一般來說，人類通過感知來作出相應(yīng)的決策，比如因為看到障礙物而選擇避讓。

盡管這種“從感知到動作”的邏輯已經(jīng)應(yīng)用到了傳感器和攝像頭領(lǐng)域，并成為了當(dāng)前一待機器人自主系統(tǒng)的核心。但是，目前機器的自治程度遠遠達不到人類根據(jù)視覺數(shù)據(jù)而作出決策的水平，尤其是在處理第一人稱視角（FPV）航空導(dǎo)航等開放世界感知控制任務(wù)時。

不過，微軟近日分享的新的機器學(xué)習(xí)系統(tǒng)這一領(lǐng)域帶來了新的希望：幫助無人機通過圖像推理出正確的決策。

微軟從第一人稱視角（FPV）無人機競賽中獲得啟發(fā)，競賽中的操作員可以通過單眼攝像頭來規(guī)劃和控制無人機的運行路線，從而大大降低發(fā)生危險的可能性。因此，微軟認(rèn)為，這一模式可以應(yīng)用到新的系統(tǒng)當(dāng)中，從而將視覺信息直接映射成實施正確決策的動作。

具體來說，這個新系統(tǒng)明確地將感知組件（理解“看到的”內(nèi)容）與控制策略（決定“做什么”）分開，這樣便于研究人員調(diào)試深層神經(jīng)模型。模擬器方面，由于模型必須能夠分辨出模擬和真實環(huán)境之間細微的差異性，微軟使用了一種名為“AirSim”的高保真模擬器對系統(tǒng)進行訓(xùn)練，然后不經(jīng)修改，直接將系統(tǒng)部署到真實場景里的無人機上。

雷鋒網(wǎng)注：上圖為微軟在測試中使用的無人機

他們還使用了一種稱為“CM-VAE”的自動編碼器框架來緊密連接模擬與現(xiàn)實之間的差異，從而避免對合成數(shù)據(jù)進行過度擬合。通過 CM-VAE 框架，感知模塊輸入的圖像從高維序列壓縮成低維的表示形式，比如從 2000 多個變量降至 10 個變量，壓縮后的像素大小為 128x72，只要能夠描述其最基本的狀態(tài)就行。盡管系統(tǒng)僅使用了 10 個變量對圖像進行編碼，但解碼后的圖像為無人機提供了“所見場景”的豐富描述，包括物體的尺寸、位置，以及不同的背景信息。而且，這種維度壓縮技術(shù)是平滑且連續(xù)的。

為了更好地展示這一系統(tǒng)的功能，微軟使用帶有前置攝像頭的小型敏捷四旋翼無人機進行了測試，試圖讓無人機根據(jù)來自 RGB 攝像機的圖像來進行導(dǎo)航。

研究人員分別在由 8 個障礙框組成的長達 45 米的 S 型軌道上，以及長達 40 米的 O 型軌道上對裝載系統(tǒng)的無人機進行了測試。實驗證明，使用 CM-VAE 自動編碼框架的表現(xiàn)比直接編碼的表現(xiàn)要好很多。即便是在具有強烈視覺干擾的情況下，這個系統(tǒng)也順利地完成了任務(wù)。

微軟方面聲稱：

在模擬訓(xùn)練階段，在無人機從未“見過”的視覺條件下對其進行測試，我們將感知控制框架發(fā)揮到了極致。

在通過仿真訓(xùn)練后，這個系統(tǒng)能夠獨立在現(xiàn)實世界充滿挑戰(zhàn)的環(huán)境下進行“自我導(dǎo)航”，非常適合部署在搜索和救援任務(wù)中。該項研究的參與者表示，該系統(tǒng)在實際應(yīng)用中將展現(xiàn)出巨大的潛力——盡管年齡，大小，性別，種族和其他因素有所不同，但自主搜索和救援機器人能夠更好地識別出人類，并幫助人類。