今天，智能手機最吸引人的功能之一就是能捕捉正在運動的瞬間。現(xiàn)在，Pixel 2和Pixel 2XL手機推出了全新相機功能，用戶無需在相機和錄像功能中切換選擇，每次拍攝的照片都會捕捉更多運動。當你開啟運動照片模式時，你的手機就開始錄制，并裁剪成長達3秒的視頻?；谙冗M的穩(wěn)定技術，該技術率先在安卓中的Motion Stills應用。讓我們看看這些照片背后的技術吧!

硬件與軟件結合，生成動態(tài)照片

按下快門后，相機會拍攝一張照片和視頻，二者都是全分辨率JPEG模式，并帶有3秒視頻短片。在Pixel 2上，視頻還包含來自陀螺儀和光學圖像穩(wěn)定(OIS)傳感器的運動元數(shù)據(jù)，以幫助修建和穩(wěn)定運動照片。通過將基于視覺跟蹤和來自傳感器的元數(shù)據(jù)相結合，谷歌的研究人員為Pixel 2上的運動照片創(chuàng)建了新的混合生成器。

相比于Motion Stills或者基于純硬件傳感器的技術，這種方法能更精確地對齊背景。得益于Fused Video Stabilization技術，它可以減少由于深度圖層構成的復雜場景或當前景物體占據(jù)大部分畫面時帶來的偽影。它還改進了基于硬件傳感器的傳統(tǒng)方法，通過改進運動估計達到更精確的效果，尤其是近距離拍攝。

捕捉的動態(tài)照片(左)和將軟硬件結合后對圖像進行穩(wěn)定處理(右)

他們在Motion Stills中引入的純基于軟件的技術使用了視頻幀中的視覺數(shù)據(jù)，檢測并跟蹤連續(xù)幀中的特征，從而生成運動向量。然后使用運動模型(例如仿射變換或一個homography)將運動向量分類為前景和背景。然而，這種分類并不完美，并且可能被復雜的場景或主要前景誤導。

用元數(shù)據(jù)進行前景和背景區(qū)分，橙色點表示前景，綠點表示背景

針對Pixel 2上的運動照片，研究人員用陀螺儀和光學圖像穩(wěn)定器上的運動員數(shù)據(jù)改進分類功能。這可以準確捕捉相對無窮遠處的運動，這可以認為是遠處的背景。然而，對于在較近范圍內(nèi)拍攝的照片，不同深度的圖層將會把視差作為場景元素，而不考慮陀螺儀和OIS。具體來說，他們將過于偏離運動員數(shù)據(jù)的向量標記為前景。這能更精確地區(qū)分前景和背景，也能讓相機使用更復雜的運動模型。

動態(tài)照片的背景估計過程

動態(tài)照片的穩(wěn)定和播放

一旦準確地確定了視頻背景的運動，我們就可以使用之前提到的線性編程技術來確定一個最佳的相機路徑來對齊背景。此外，該技術會自動修剪視頻，避免因手機抖動造成的意外動作。所有這些處理過程是在手機里完成的，每當點擊谷歌相冊中的“動態(tài)”按鈕時，每幀都會產(chǎn)生少量的元數(shù)據(jù)，用于GPU著色器實時渲染穩(wěn)定的視頻。另外，照片從靜態(tài)轉為視頻的過度非常自然，在靜態(tài)時呈現(xiàn)的是HDR狀態(tài)。

即使在復雜場景中，也能穩(wěn)定住移動的背景

動態(tài)圖片分享

利用谷歌照片，你可以將動態(tài)照片以視頻或gif的格式和朋友分享。這也是Pixel 2上軟硬件以及機器學習結合后創(chuàng)造出的新功能。