本周，Oculus Quest推出手部追蹤功能，您可在本周V12更新發(fā)行版的“Experimental Features（實(shí)驗(yàn)功能）”菜單中啟用體驗(yàn)。該手部追蹤功能使用內(nèi)置攝像頭來識(shí)別用戶手指及手部運(yùn)動(dòng)，用戶無需學(xué)習(xí)控制器就可操作一體式VR頭顯。

這是一種固件更新，不僅沒有添加新硬件，反而減少了硬件數(shù)量。Quest用戶將首次在沒有Oculus Touch控制器的情況下，向朋友和家人演示這款一體式頭顯的一些基本功能。Quest并不是首個(gè)支持手部追蹤的頭顯，此前HTC Vive Cosmos VR頭顯也宣布支持光學(xué)手指追蹤功能。不過，手部追蹤對(duì)于一體式頭顯要困難許多，而且有報(bào)道稱Cosmos手指追蹤效果不佳。

Quest系統(tǒng)程序首發(fā)，本周只有一些系統(tǒng)應(yīng)用程序可以支持手部追蹤功能，其他游戲體驗(yàn)還需要等待一段時(shí)間。

Oculus主菜單，包括Store和Library

Oculus瀏覽器（內(nèi)置網(wǎng)頁瀏覽器）

Oculus TV（適用于2D內(nèi)容和360視頻）

這意味著您可以直接把Quest當(dāng)作沉浸式媒體播放器或便攜式影院，無需Touch控制器。不過UploadVR尚不清楚Facebook何時(shí)會(huì)推出入門級(jí)體驗(yàn)Elixir，之前曾用于向媒體展示手部追蹤功能。

下周，F(xiàn)acebook計(jì)劃發(fā)布用于手部追蹤的軟件開發(fā)工具包（SDK），此后所有Quest開發(fā)者都可以在應(yīng)用程序或游戲中使用這項(xiàng)功能。Oculus Avatar計(jì)劃于2020年支持手指追蹤，將允許開發(fā)者在默認(rèn)情況下添加與用戶實(shí)際膚色匹配的手部皮膚。

UploadVR表示還不清楚會(huì)有哪些開發(fā)者支持手部追蹤技術(shù)，但大多數(shù)社交和媒體應(yīng)用應(yīng)該都會(huì)支持。UploadVR正在整理一份支持手部追蹤功能的Quest應(yīng)用程序清單，所以如果您是VR開發(fā)者，請(qǐng)發(fā)郵件至tips@uploadvr.com。Bigscreen首席執(zhí)行官已經(jīng)表示加入，并且UploadVR已經(jīng)證實(shí)Guy Godin的Virtual Desktop將會(huì)使用此功能。

Facebook預(yù)計(jì)第三方應(yīng)用將于2020年首次開始支持這項(xiàng)功能。但該功能僅限制某些支持手部追蹤的游戲 內(nèi)容，其他更多游戲仍然需要按鈕、模擬搖桿、觸發(fā)器或觸覺反饋。此外，追蹤質(zhì)量可能達(dá)不到高級(jí)雙手交互體驗(yàn)的要求。

研發(fā)時(shí)間長(zhǎng) 難度大

2014年底，F(xiàn)acebook首次表達(dá)了對(duì)VR手指追蹤技術(shù)的興趣。此后，公司收購(gòu)了Nimble VR初創(chuàng)公司，并將其四名手控跟蹤技術(shù)的資深研究員納入麾下。收購(gòu)時(shí)，Oculus非常清楚這項(xiàng)技術(shù)“甚至可能不會(huì)用于CV2或CV3”。

或許是因?yàn)镹imble技術(shù)需要一個(gè)專用的深度傳感器。深度傳感器能夠提供良好的手指追蹤效果，與現(xiàn)在的HoloLens 2 AR新頭顯類似。然而，專用傳感器會(huì)增加頭顯的成本和重量，很可能不會(huì)被廣泛采用。按照Quest的思路，在普通相機(jī)上挑戰(zhàn)高質(zhì)量的手指追蹤效果，難度很大。Quest采用了與其他追蹤技術(shù)相同的硬件，這一點(diǎn)可能會(huì)成為Facebook的競(jìng)爭(zhēng)優(yōu)勢(shì)，也可能廣泛用于Facebook的未來產(chǎn)品中。

在2016年Oculus Connect 3大會(huì)上，首席科學(xué)家Michael Abrash曾對(duì)2021年的VR發(fā)展做出一系列預(yù)測(cè)。他指出在手套上添加標(biāo)記可以完美實(shí)現(xiàn)手指跟蹤（并展示了出來），但當(dāng)時(shí)還不能直接投入使用，預(yù)計(jì)2021年或許可以實(shí)現(xiàn)：

Facebook現(xiàn)在就推出這一功能，比Abash的預(yù)測(cè)早了一年。2018年，F(xiàn)acebook在年度F8大會(huì)上展示了高質(zhì)量的無手套、無標(biāo)記手指追蹤技術(shù)。Oculus的一名代表在臺(tái)上解釋說，這一“突破”之所以成為可能，是因?yàn)镕acebook在機(jī)器學(xué)習(xí)（“AI”）研究方面投入了大量資金。他們使用了2016年Abrash描述的手套系統(tǒng)來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，用以識(shí)別手部姿勢(shì)。

進(jìn)步潛力

Quest的手指追蹤功能進(jìn)步空間還很大：

“當(dāng)我握拳或者手移動(dòng)得太快時(shí)，手就會(huì)消失。如果我轉(zhuǎn)頭又回看手部動(dòng)作時(shí)，會(huì)有一秒的延遲時(shí)間。當(dāng)用指尖指向虛擬對(duì)象時(shí)，他們之間仍然有一些小間隙，然后才能迅速調(diào)整到合適位置。我認(rèn)為所有這些都是追蹤技術(shù)需要努力的方向。”

除非Facebook在過去的三個(gè)月里做出了巨大改進(jìn)，否則您可能無法體驗(yàn)到與Touch控制器相同的追蹤效果。（控制器包含一個(gè)加速度計(jì)和一組紅外發(fā)光二極管，專門用于一定范圍內(nèi)的追蹤定位。）

不過，對(duì)于社交VR、媒體及休閑類游戲來說，手指及手部追蹤功能還是足夠的。Facebook計(jì)劃“在2020年添加新功能和功能，以改善Quest頭顯的手部追蹤體驗(yàn)。”

與Touch控制器的發(fā)展軌跡相同，今后，F(xiàn)acebook可能會(huì)繼續(xù)提高手指追蹤的質(zhì)量和穩(wěn)定性。

在Oculus Connect 6大會(huì)上，工程經(jīng)理Robert Wang解釋說，目前迭代“只觸及了手部追蹤功能的皮毛”。雖然Robert很謹(jǐn)慎地沒有透露發(fā)展計(jì)劃，但也確實(shí)表示Facebook將“樂于”實(shí)現(xiàn)常規(guī)攝像頭下的雙手追蹤交互體驗(yàn)。

我們期待看到Facebook未來的研發(fā)成果。