操控物體的機(jī)器人依靠攝像機(jī)來(lái)了解周圍的環(huán)境，但是這些攝像機(jī)通常需要經(jīng)過(guò)仔細(xì)的安裝以及持續(xù)的校準(zhǔn)和維護(hù)。

近日，由谷歌機(jī)器人技術(shù)部門(mén)和哥倫比亞大學(xué)的研究人員共同發(fā)表的一項(xiàng)新研究提出了一種解決方案，其中涉及一種技術(shù)，這種技術(shù)可以通過(guò)學(xué)習(xí)使用多臺(tái)彩色攝像機(jī)來(lái)完成任務(wù)而無(wú)需明確的3D表達(dá)。他們表示，與基線相比，機(jī)器人在進(jìn)行困難的堆疊和插入任務(wù)上具有出色的任務(wù)性能。

這項(xiàng)最新工作是建立在谷歌大量的機(jī)器人技術(shù)研究的基礎(chǔ)之上。去年10月，谷歌的科學(xué)家發(fā)表了一篇論文，詳細(xì)介紹了一個(gè)名為Form2Fit的機(jī)器學(xué)習(xí)系統(tǒng)，其目的是教一個(gè)帶有吸力臂的拾取機(jī)器人將物體組裝成套件。谷歌Brain研究人員正在尋求一種新穎的機(jī)器人任務(wù)規(guī)劃技術(shù)（包括深度動(dòng)力學(xué)模型或DDM），他們表示這種技術(shù)可以使機(jī)械手操控多個(gè)物體。最近，谷歌團(tuán)隊(duì)又揭開(kāi)了ClearGrasp的面紗，這是一種可以幫助機(jī)器人更好地識(shí)別透明物體的AI模型。

正如研究人員所指出的那樣，直到最近，大多數(shù)自動(dòng)化解決方案仍都是為剛性設(shè)置而設(shè)計(jì)的，在這種剛性設(shè)置中，重復(fù)執(zhí)行腳本化的機(jī)器人動(dòng)作來(lái)移動(dòng)到預(yù)設(shè)定的位置。這種方法需要高度校準(zhǔn)的設(shè)置，但是這種設(shè)置可能既昂貴又耗時(shí)，并且缺乏處理環(huán)境變化所需的魯棒性。計(jì)算機(jī)視覺(jué)的進(jìn)步已使機(jī)械手的抓握性能提高，但是諸如堆疊，插入和精密安裝等任務(wù)仍然具有挑戰(zhàn)性。這是因?yàn)樗麄冃枰獙?duì)任務(wù)環(huán)境具有準(zhǔn)確的3D幾何知識(shí)，包括物體的形狀和姿勢(shì)，位置之間的相對(duì)距離和方向以及其他因素。

相比之下，這個(gè)團(tuán)隊(duì)的方法利用了多攝像機(jī)視圖和強(qiáng)化學(xué)習(xí)框架，可以從不同的角度獲取圖像并以閉環(huán)方式產(chǎn)生機(jī)器人動(dòng)作。他們表示，通過(guò)直接從攝像機(jī)視圖中進(jìn)行組合和學(xué)習(xí)，而無(wú)需中間步驟，從而可以改善狀態(tài)估計(jì)，同時(shí)提高系統(tǒng)動(dòng)作的魯棒性。

在實(shí)驗(yàn)中，研究人員將他們的裝置部署到一個(gè)模擬環(huán)境中，這個(gè)環(huán)境包含一個(gè)配備有抓手的kuka機(jī)械手臂，兩個(gè)放置在機(jī)器人前面的垃圾箱，以及三個(gè)可以俯瞰這些垃圾箱的攝像機(jī)。這個(gè)機(jī)械手臂的第一個(gè)任務(wù)是將一個(gè)垃圾箱與一個(gè)單獨(dú)的方塊堆疊放在一個(gè)隨機(jī)的位置，從藍(lán)色或橙色的方塊開(kāi)始。而在其他任務(wù)中，機(jī)械手臂的任務(wù)是將一個(gè)木塊牢固地插入中間的固定裝置，并將方塊堆疊在另一個(gè)之上。

研究人員在10張圖形卡片上運(yùn)行了180個(gè)數(shù)據(jù)收集作業(yè)，以訓(xùn)練他們的強(qiáng)化學(xué)習(xí)模型，每次作業(yè)每小時(shí)可產(chǎn)生約5000次的插入任務(wù)。研究人員的報(bào)告稱他們?nèi)〉昧顺晒?，并大大降低了基于精度的任?wù)的錯(cuò)誤率，尤其是第一個(gè)堆疊任務(wù)的錯(cuò)誤率為49.18％，第二個(gè)堆疊任務(wù)則為56.84％，插入任務(wù)則為64.1％。

論文的合著者寫(xiě)道：“有效利用多種視圖可以更全面地觀察與任務(wù)相關(guān)的潛在狀態(tài)。我們的多視圖方法可使RGB攝像機(jī)完成3D任務(wù)，而無(wú)需明顯的3D表達(dá)，并且無(wú)需攝像機(jī)-攝像機(jī)和攝像機(jī)-機(jī)器人的校準(zhǔn)。在將來(lái)，通過(guò)學(xué)習(xí)（除任務(wù)方法之外的）攝像頭放置方法，單個(gè)移動(dòng)攝像頭也可以實(shí)現(xiàn)類似的多視圖優(yōu)勢(shì)。”