連日來Google的自動翻轉(zhuǎn)功能旨在智能地裁剪視頻向來一不斷的有小伙伴關(guān)注，不僅如此還衍生出了各大相關(guān)話題，那么跟著小編來看看Google的自動翻轉(zhuǎn)功能旨在智能地裁剪視頻以及它的相關(guān)資訊吧！

傳統(tǒng)上，人們使用長寬比為16：9或4：3的電視觀看視頻。但是，使用最新的設(shè)備，人們可以按多種縱橫比觀看和創(chuàng)建視頻。裁剪視頻以適合這些設(shè)備的屏幕對于視頻治理者來說是一項繁瑣的任務(wù)。值得慶幸的是，Google希翼能夠順利裁剪視頻。

Google最近在一篇博客文章中宣布了一種開放源代碼工具，用于重新格式化和裁剪視頻以適合任何屏幕。AutoFlip是使用基于機器學(xué)習(xí)(ML)的對象檢測和跟蹤技術(shù)自動重新構(gòu)圖視頻的工具。

AutoFlip –用于智能視頻裁剪

Google創(chuàng)建了此工具，以擺脫用于裁剪視頻的常規(guī)靜態(tài)裁剪方法。靜態(tài)裁剪方法涉及不可靠的視頻重新構(gòu)圖技術(shù)，即為視頻指定攝像機視口，然后裁剪該區(qū)域之外的所有內(nèi)容。這種方法會產(chǎn)生不希翼的視頻輸出。

Google Autoflip具有許多高級功能，包括鏡頭檢測，視頻內(nèi)容分析以及最后的重新定格。讓我簡要介紹一下這些重新構(gòu)架策略中的每一個。

鏡頭(場景)檢測

視頻中的場景或鏡頭是延續(xù)的幀序列，沒有任何剪切。如果視頻的鏡頭或場景發(fā)生任何變化，則Google的AutoFlip可以通過將先前幀的顏色直方圖與新幀的顏色直方圖進行比較來檢測到變化。當(dāng)幀顏色的分布以與滑動歷史窗口不同的速率變化時，將檢測到鏡頭變化。該工具用于優(yōu)化重新構(gòu)圖過程，可在做出任何重新構(gòu)圖決定之前先緩沖整個視頻。

視頻內(nèi)容分析

通過使用這種策略，該工具可以檢測視頻中的重要對象和人物。它使用基于深度學(xué)習(xí)的對象檢測模型來識別對象。使用此模型，該工具甚至可以檢測任何文字疊加層或品牌徽標(biāo)以及體育視頻的其他元素，例如運動或球。人臉和物體檢測模型通過MediaPipe集成到工具中。它基本上是通過開辟管道來處理多模式數(shù)據(jù)的框架。該框架在CPU上使用Google的TensorFlow Lite ML框架。

重新構(gòu)架

識別視頻中的人物和物體后，該工具將對如何重新構(gòu)架視頻做出合理的決定。AutoFlip從三種重新定幀策略中選擇一種來裁剪內(nèi)容- 固定，平移或跟蹤。該工具根據(jù)視頻內(nèi)容選擇最佳策略。例如，在靜止模式下，重新構(gòu)架的攝像機視口保持固定在靜止位置，在靜止位置，視頻的大多數(shù)重要場景都存在。對于包含運動的視頻，它通過以恒定速度移動重新構(gòu)架的攝影機視口來使用“平移”。當(dāng)相框中有有趣的被攝對象時，跟蹤模式生效。

根據(jù)算法選擇的重新構(gòu)圖策略，通過AutoFlip設(shè)置每個幀的優(yōu)化裁剪窗口。這樣可以以最佳方式保留視頻的重要內(nèi)容。

Google直接向開辟商和電影制片人公布了該工具，其目的是“ 通過自動視頻編輯來減少其設(shè)計創(chuàng)意的障礙并擴大覆蓋范圍 ”。無論哪種情況，無論從風(fēng)景畫到肖像畫還是從肖像畫到風(fēng)景畫，AutoFlipis都能提供最佳效果。