我們希望賦予機器人大腦——不僅僅是動作，還要有理解能力和目標意識。該項目是“2025 年 Seeed 構建搭載 NVIDIA Jetson Thor 的烹飪與家用機器人”黑客馬拉松活動的一部分。

什么是“腦機機器人”?

“Brainbot”

這是一個模塊化的遠程操作與學習平臺。它包含一個統(tǒng)一的遠程操作系統(tǒng)、演示數(shù)據(jù)收集系統(tǒng)、推理系統(tǒng)以及可視化系統(tǒng)。在運行時可以進行模式切換，并且您可以從世界任何地方實時監(jiān)控您的機器人的動作狀態(tài)和攝像頭流。此外，它還支持多設備、不依賴特定機器人，并且完全無線化!

該腦機接口與 Huggingface 的 Lerobot 中的任何機器人定義都兼容，并且其數(shù)據(jù)格式和流程是 Lerobot 執(zhí)行方式的定制化鏡像。

我們自行開發(fā)了一種名為 GR00T 的模型，這是一種基于身體動作的策略模型，能夠通過人類示范進行學習，用于執(zhí)行諸如家庭相關的任務，例如：

?折疊衣物、整理玩具、堆疊積木

?打開/合上抽屜，將物品放入籃子中

?取水 / 拿水

?季節(jié)模式：與孩子們一起進行“萬圣節(jié)糖果派對”，分發(fā)糖果，清理包裝紙，清理紙杯

其工作原理

服務提供商架構

任何動作提供者，例如空閑模式、遠程操作模式或人工智能動作模式，都托管在專用的服務服務器上。這些服務服務器與一個命令服務器進行通信，該命令服務器將狀態(tài)發(fā)送至機器人服務器。在命令服務器中，模式調(diào)度器負責管理不同動作提供者的切換。

任何動作提供者，例如空閑模式、遠程操作模式或人工智能動作模式，都托管在相應的專用服務服務器上。這些服務服務器與一個命令服務器進行通信，命令服務器將狀態(tài)發(fā)送至機器人服務器。在命令服務器中，一個模式調(diào)度器負責管理不同動作提供者的切換。

當然，所有的狀態(tài)信息和攝像頭畫面都會實時傳輸至一個網(wǎng)絡服務器，這樣您就可以從全球任何地方監(jiān)控機器人。這些畫面還被用于某些遠程操作模式中，比如增強現(xiàn)實模式，在這種模式下，您可以直接通過頭戴設備查看所有畫面。

運行模式切換

?AR 超級操作(Quest 3)：在混合現(xiàn)實環(huán)境中實現(xiàn)全 3D 控制及標注功能

?Joy-Con / 游戲手柄遠程操控：直觀的操縱桿控制，便于快速收集數(shù)據(jù)

?領導者-跟隨者手臂遠程操作：用于精細操作的雙臂物理鏡像模式

?人工智能推理模式：直接在 Jetson Thor 上運行經(jīng)過訓練的 GR00T 策略

?數(shù)據(jù)收集模式：與勒羅伯特的數(shù)據(jù)傳輸管道及格式保持一致

所有模式均通過一個統(tǒng)一的接口進行通信，該接口能夠同步關節(jié)狀態(tài)、動作和視頻信號——從而實現(xiàn)人機控制與人工智能控制之間的無縫切換。

真實 + 模擬數(shù)據(jù)管道

?我們在現(xiàn)實世界中以及在 NVIDIA Isaac 實驗室的模擬環(huán)境中都收集了數(shù)據(jù)。

?來自 Quest 3 增強現(xiàn)實遠程操作(手部追蹤 + 體態(tài)捕捉)的真實數(shù)據(jù)

?來自艾薩克實驗室遠程操作、強化學習流程以及領域隨機化的模擬數(shù)據(jù)

?視覺+慣性測量單元同步定位與地圖構建技術，用于實時場景重建、地圖繪制以及三維感知對齊。

訓練 GR00T 模型

?GR00T 模型學習的是基于語言條件的視覺運動策略，這些策略將感知、意圖和控制聯(lián)系在一起。

?利用遠程操作數(shù)據(jù)，我們訓練了相應的策略，使其能夠?qū)⑾鄼C圖像和狀態(tài)輸入映射為操作指令。

?在將技術應用于 Jetson Thor 之前，我們先在模擬環(huán)境中對模仿學習(用于短期技能的重現(xiàn))和強化學習(用于長期優(yōu)化)進行了探索。

網(wǎng)絡可視化儀表盤

我們構建了一個基于網(wǎng)絡的可視化界面，并與 Brainbot 的統(tǒng)一通信協(xié)議相連接。

?實時聯(lián)合狀態(tài)圖

?機器人 RGB 畫面的攝像頭實時傳輸畫面

這使得在訓練或遠程操作期間能夠輕松監(jiān)測機器人內(nèi)部的狀態(tài)——這對于“人機協(xié)作”模式下的監(jiān)督工作至關重要。

部分代碼1：

代碼2：

代碼3：

本文編譯自hackster.io