Facebook?正在研究新型?AI?系統(tǒng)，以自我視角與世界進(jìn)行交互
[導(dǎo)讀]編譯|禾木木出品|?AI科技大本營(yíng)（ID:rgznai100）你是否能想象AI以第一人稱視角來(lái)理解世界是什么樣的呢？未來(lái)，以第一人稱視角理解世界的AI可以開(kāi)啟沉浸式體驗(yàn)的新時(shí)代。增強(qiáng)現(xiàn)實(shí)（AR）眼鏡和虛擬現(xiàn)實(shí)（VR）耳機(jī)等設(shè)備在日常生活中，將會(huì)變得像智能手機(jī)一樣普遍且有用。想象一...
編譯 | 禾木木出品 | AI科技大本營(yíng)（ID:rgznai100）你是否能想象 AI 以第一人稱視角來(lái)理解世界是什么樣的呢？未來(lái)，以第一人稱視角理解世界的 AI 可以開(kāi)啟沉浸式體驗(yàn)的新時(shí)代。增強(qiáng)現(xiàn)實(shí)（AR）眼鏡和虛擬現(xiàn)實(shí)（VR）耳機(jī)等設(shè)備在日常生活中，將會(huì)變得像智能手機(jī)一樣普遍且有用。想象一下，你的 AR 設(shè)備準(zhǔn)確地顯示了如何在架子鼓課上握住鼓棒，知道你完成一個(gè)食譜；幫助你找到丟失的鑰匙，或是像全息圖一樣在你的記憶中重現(xiàn)。為了構(gòu)建這些新技術(shù)，人工智能需要像我們一樣，可以從第一人稱的角度理解世界并進(jìn)行互動(dòng)。在研究界，通常稱為以自我為中心的感知。然而，今天的計(jì)算機(jī)視覺(jué)系統(tǒng)通常是以第三人稱視角來(lái)拍攝的數(shù)百萬(wàn)張照片或是在視頻中學(xué)習(xí)，而相機(jī)只是動(dòng)作的旁觀者。
Facebook AI 推出 Ego4D
近日，F(xiàn)acebook AI 宣布推出 Ego4D，這是一個(gè)雄心勃勃的長(zhǎng)期項(xiàng)目，為的就是解決以自我為中心的感知領(lǐng)域的研究挑戰(zhàn)。研究者匯集了一個(gè)由 9 個(gè)國(guó)家的 13 所大學(xué)和實(shí)驗(yàn)室組成的聯(lián)盟，他們?cè)谝巴馐占?700 多名參與者的日常生活，超過(guò) 2,200 小時(shí)的第一人稱視頻。Ego4D 是一個(gè)具有多樣性的大規(guī)模的以第一人稱視角為中心的數(shù)據(jù)集。它由來(lái)自全球 9 個(gè)不同國(guó)家 74 個(gè)地點(diǎn)的 855 名獨(dú)特參與者收集的 3025 小時(shí)視頻組成。該項(xiàng)目匯集了 88 名國(guó)際財(cái)團(tuán)的研究人員，以大幅提高公開(kāi)的以自我為中心的數(shù)據(jù)規(guī)模，使其在錄像時(shí)間方面比任何其他數(shù)據(jù)集都大20倍以上。
AI 也可以體驗(yàn)第一視覺(jué)
Facebook 首席研究科學(xué)家克里斯汀·格勞曼 (Kristen Grauman) 表示，今天的計(jì)算機(jī)視覺(jué)系統(tǒng)不像人類那樣與第一人稱和第三人稱視角相關(guān)聯(lián)。就像是，將計(jì)算機(jī)視覺(jué)系統(tǒng)綁在過(guò)山車上，即使它是根據(jù)從地面邊線顯示的數(shù)十萬(wàn)張過(guò)山車的圖像或視頻進(jìn)行訓(xùn)練的，但是它也不知道它在看什么。為了讓人工智能系統(tǒng)能夠像我們一樣的方式與世界互動(dòng)，人工智能領(lǐng)域需要發(fā)展到一種全新的第一人稱感知范式，”格勞曼在一份聲明中說(shuō)。“這意味著人工智能在實(shí)時(shí)運(yùn)動(dòng)、交互和多感官觀察的背景下，通過(guò)人眼理解日常生活活動(dòng)?！?/span>Facebook AI 還開(kāi)發(fā)了五個(gè)以第一人稱視覺(jué)體驗(yàn)為中心的基準(zhǔn)挑戰(zhàn)，這將推動(dòng)未來(lái) AI 助手向現(xiàn)實(shí)世界應(yīng)用的發(fā)展。例如，“我把鑰匙放哪兒了？”“手機(jī)在哪里？”“有看到我的充電線嗎？”這種場(chǎng)景別提有多熟悉了，幾乎每天都會(huì)上場(chǎng)。
-
Ego4D 的第一個(gè)基準(zhǔn)挑戰(zhàn)是情景記憶（Episodic memory）。
-
下一步就是進(jìn)行預(yù)測(cè)：接下來(lái)可能會(huì)做什么？
人工智能可以理解佩戴者的行為會(huì)如何影響這個(gè)人未來(lái)的狀態(tài)，比如這個(gè)人可能會(huì)移動(dòng)到哪里，他們可能會(huì)觸摸什么物體，或者他們接下來(lái)可能會(huì)從事什么活動(dòng)。預(yù)測(cè)行動(dòng)不僅需要認(rèn)識(shí)到已經(jīng)發(fā)生的事情，還需要展望未來(lái)，預(yù)測(cè)下一步行動(dòng)。這樣AI系統(tǒng)就可以在當(dāng)下提供有用的指導(dǎo)。例如，就在你想要再次準(zhǔn)備向鍋里加鹽時(shí)，你的人工智能助手會(huì)趕緊通知你“等等，您已經(jīng)加鹽了”
-
第三個(gè)挑戰(zhàn)基準(zhǔn)就是手-物之間的互動(dòng)（Hand and object manipulation）也是難點(diǎn)和關(guān)鍵的一步，因?yàn)锳I需要理解在做什么，如何做？
-
這個(gè)就是第四個(gè)挑戰(zhàn)基準(zhǔn) - 視聽(tīng)分類
-
社會(huì)互動(dòng)（Social interaction）是 Ego4D 的最后一個(gè)方向。
解開(kāi)真實(shí)數(shù)據(jù)集
基準(zhǔn)和數(shù)據(jù)集在歷史上被證明是人工智能行業(yè)創(chuàng)新的關(guān)鍵催化劑。畢竟，今天的 CV 系統(tǒng)幾乎可以識(shí)別圖像中的任何對(duì)象，它是建立在數(shù)據(jù)集和基準(zhǔn)（例如 MNIST、COCO 和 ImageNet）之上的，它們?yōu)檠芯咳藛T提供了一個(gè)用于研究真實(shí)世界圖像的試驗(yàn)臺(tái)。但是以自我為中心的感知是一個(gè)全新的領(lǐng)域。我們不能使用昨天的工具來(lái)構(gòu)建明天的創(chuàng)新。Ego4D 前所未有的規(guī)模和多樣性對(duì)于引入下一代智能 AI 系統(tǒng)至關(guān)重要。為了構(gòu)建這個(gè)數(shù)據(jù)集，每所合作大學(xué)的團(tuán)隊(duì)向研究者分發(fā)了頭戴式攝像頭和其他可穿戴傳感器，以便他們能夠捕捉第一人稱、無(wú)腳本視頻。日常生活。參與者從日常場(chǎng)景中錄制大約8分鐘的視頻片段，例如雜貨店購(gòu)物、烹飪和邊玩游戲邊交談以及與家人和朋友一起參與其他集體活動(dòng)。Ego4D 捕捉了佩戴攝像機(jī)的人在特定環(huán)境中選擇注視的內(nèi)容，用手或是面前的物體做了什么，以及他們?nèi)绾我缘谝蝗朔Q視覺(jué)與其他人進(jìn)行互動(dòng)。與現(xiàn)有數(shù)據(jù)集相比，Ego4D 數(shù)據(jù)集提供了更大的場(chǎng)景、人物和活動(dòng)的多樣性，這增加了針對(duì)不同背景、種族、職業(yè)和年齡的人訓(xùn)練的模型的適用性。
Ego4D 及以后的下一步是什么？
Facebook AI 試圖通過(guò) Ego4D 項(xiàng)目打造一條全新的道路，以構(gòu)建更智能、更具交互性和靈活性的計(jì)算機(jī)視覺(jué)系統(tǒng)。隨著人工智能對(duì)人們正常生活方式有了更深入的理解，它可以開(kāi)始以前所未有的方式對(duì)交互體驗(yàn)進(jìn)行情境化和個(gè)性化。Grauman表示：“Ego4D 使人工智能有可能獲得根植于物理和社會(huì)世界的知識(shí)，這些知識(shí)是通過(guò)生活在其中的人的第一人稱視角收集的。”“由此開(kāi)始，人工智能不僅會(huì)更好地了解周圍的世界，有一天它可能還會(huì)實(shí)現(xiàn)個(gè)性化——它能知道你最喜歡的咖啡杯，或者為你的下一次家庭旅行指引路線。”有了 Ego4D 的基準(zhǔn)支持，配合上在全新數(shù)據(jù)集中的訓(xùn)練，AI 助手有可能以非常獨(dú)特和有意義的方式提供很多的價(jià)值，例如，幫助回憶起最近與同事交談中的關(guān)鍵信息，或者指導(dǎo)制作新的晚餐食譜，新的宜家家居等。Facebook 表示，從這一系列工作中獲得的價(jià)值將推動(dòng)我們走向未來(lái)的現(xiàn)實(shí)。瑪麗皇后大學(xué)的人工智能研究員Mike Cook認(rèn)為，“從積極的角度來(lái)說(shuō)，至少就目前而言，這是一個(gè)非常棒的大型數(shù)據(jù)集?！?/span>“但，這實(shí)際上并沒(méi)有解決人工智能中的一個(gè)緊迫挑戰(zhàn)或問(wèn)題......除非你是一家想要銷售可穿戴相機(jī)的科技公司。它確實(shí)告訴你更多關(guān)于Facebook的未來(lái)計(jì)劃，但是......他們向它注入資金并不意味著它一定會(huì)變得重要?！?/span>參考鏈接：https://venturebeat.com/2021/10/14/facebook-introduces-dataset-and-benchmarks-to-make-ai-more-egocentric/https://ai.facebook.com/blog/teaching-ai-to-perceive-the-world-through-your-eyes/本文由AI科技大本營(yíng)翻譯，轉(zhuǎn)載請(qǐng)注明出處。
下載文檔
