Omniverse是NVIDIA模擬器的根本基礎(chǔ)，包括加入了多項(xiàng)新功能的Isaac平臺(tái)。NVIDIA Isaac Sim目前已發(fā)布公測(cè)版，為開發(fā)者帶來(lái)了福利。您可以通過(guò)該平臺(tái)探索更高級(jí)的機(jī)器人模擬功能。

Isaac Sim基于NVIDIA Omniverse平臺(tái)而構(gòu)建，它是一個(gè)機(jī)器人模擬應(yīng)用與合成數(shù)據(jù)生成工具。機(jī)器人專家可使用它更高效地訓(xùn)練和測(cè)試機(jī)器人，模擬機(jī)器人與指定環(huán)境的真實(shí)互動(dòng)，而且這些環(huán)境可以超越現(xiàn)實(shí)世界。

Isaac Sim的發(fā)布還增加了經(jīng)過(guò)改進(jìn)的多攝像頭支持功能、傳感器功能以及一個(gè)PTC OnShape CAD導(dǎo)入器，讓3D素材的導(dǎo)入變得更加輕松。從實(shí)體機(jī)器人的設(shè)計(jì)和開發(fā)、機(jī)器人的訓(xùn)練，到在“數(shù)字孿生”中的部署(數(shù)字孿生是一種精確、逼真的機(jī)器人模擬和測(cè)試虛擬環(huán)境)，這些新功能將全方位地?cái)U(kuò)大可以建模和部署的機(jī)器人和環(huán)境范圍。

主要新功能

● 支持多攝像頭

● 帶合成數(shù)據(jù)的魚眼相機(jī)

● 支持ROS2

● PTC OnShape導(dǎo)入器

● 經(jīng)過(guò)改進(jìn)的傳感器支持

○ 超聲波傳感器

○ 力傳感器

○ 自定義激光雷達(dá)模式

● 可從NVIDIA Omniverse Launcher中下載

Isaac Sim可以將多攝像頭傳感器數(shù)據(jù)發(fā)送到Rviz(ROS可視化工具)

在Isaac Sim中控制Dofbot操作機(jī)器人

Isaac Sim實(shí)現(xiàn)了更多的機(jī)器人模擬

開發(fā)者早已明白強(qiáng)大的模擬環(huán)境對(duì)機(jī)器人測(cè)試和訓(xùn)練的益處，但此類模擬器往往存在著限制其使用的缺點(diǎn)。Isaac Sim通過(guò)以下優(yōu)勢(shì)來(lái)彌補(bǔ)這些缺點(diǎn)。

逼真的模擬

為了提供逼真的機(jī)器人模擬，Isaac Sim運(yùn)用了Omniverse平臺(tái)的強(qiáng)大技術(shù)：使用PhysX 5進(jìn)行高級(jí)GPU物理模擬、借助實(shí)時(shí)光線追蹤和路徑追蹤實(shí)現(xiàn)高逼真度，以及支持物理渲染的材質(zhì)定義語(yǔ)言(Material Definition Language ，MDL)。

模塊化設(shè)計(jì)與豐富的應(yīng)用

Isaac Sim專為解決許多最常見(jiàn)的機(jī)器人用例而創(chuàng)建，包括操控、自主導(dǎo)航和用于訓(xùn)練數(shù)據(jù)的合成數(shù)據(jù)生成。其模塊化設(shè)計(jì)能夠讓用戶輕松自定義和擴(kuò)展工具集，以適應(yīng)多種應(yīng)用和環(huán)境。

無(wú)縫連接和互操作性

借助NVIDIA Omniverse，Isaac Sim可以使用Omniverse Nucleus和Omniverse Connectors在通用場(chǎng)景描述(USD)中合作構(gòu)建、分享、導(dǎo)入環(huán)境模型與機(jī)器人模型。通過(guò)ROS/ROS2接口或功能齊全的Python腳本，以及用于導(dǎo)入機(jī)器人模型和環(huán)境模型的插件，可以輕松地讓機(jī)器人的大腦與虛擬世界相連。

Isaac Sim的合成數(shù)據(jù)生成助力實(shí)現(xiàn)機(jī)器學(xué)習(xí)

合成數(shù)據(jù)生成是一個(gè)重要的工具，它正在被越來(lái)越多地用于訓(xùn)練當(dāng)今機(jī)器人的感知模型。獲取真實(shí)世界的、正確標(biāo)記的數(shù)據(jù)是一項(xiàng)耗時(shí)且成本高昂的工作。 但就機(jī)器人技術(shù)而言，在現(xiàn)實(shí)世界中收集某些所需的訓(xùn)練數(shù)據(jù)可能太困難或太危險(xiǎn)。 對(duì)于必須靠近人類工作的機(jī)器人來(lái)說(shuō)尤其如此。

Isaac Sim 內(nèi)置了對(duì)訓(xùn)練感知模型很重要的各種傳感器類型的支持。這些傳感器包括 RGB、深度、邊界框和分割。

玻璃物體的真值合成數(shù)據(jù)

在公測(cè)版中，我們能夠輸出KITTI格式的合成數(shù)據(jù)。這些數(shù)據(jù)可以直接用于NVIDIA遷移學(xué)習(xí)工具包，以使用特定用例數(shù)據(jù)提高模型性能。

域隨機(jī)化

域隨機(jī)化能夠?qū)Χx模擬場(chǎng)景的參數(shù)進(jìn)行更改，如場(chǎng)景中的照明、顏色和材質(zhì)紋理等。域隨機(jī)化的主要目標(biāo)之一，便是通過(guò)將神經(jīng)網(wǎng)絡(luò)暴露在所模擬的各種域參數(shù)中，來(lái)加強(qiáng)機(jī)器學(xué)習(xí)(machine learning ，ML)模型的訓(xùn)練。這有助于模型在真實(shí)世界場(chǎng)景中實(shí)現(xiàn)有效的泛化。實(shí)際上，這項(xiàng)技術(shù)能夠教會(huì)模型忽略不重要的內(nèi)容。

工廠場(chǎng)景的域隨機(jī)化

Isaac Sim能夠?qū)Χx一個(gè)特定場(chǎng)景的多個(gè)不同屬性進(jìn)行隨機(jī)化。借助這些功能，機(jī)器學(xué)習(xí)工程師可以確保合成數(shù)據(jù)集包含足夠的多樣性來(lái)驅(qū)動(dòng)穩(wěn)健的模型性能。

在Isaac Sim公測(cè)版中，我們通過(guò)允許用戶定義隨機(jī)化區(qū)域來(lái)增強(qiáng)域隨機(jī)化功能。開發(fā)人員現(xiàn)在可以在場(chǎng)景中要隨機(jī)化的區(qū)域周圍繪制一個(gè)框，場(chǎng)景的其余部分將保持靜態(tài)。