目前VR(虛擬現(xiàn)實)技術(shù)在各行業(yè)都有不同程度的應(yīng)用，在醫(yī)學教育領(lǐng)域，它是醫(yī)生學習的新選擇。醫(yī)生只需要戴上VR眼鏡就可以完全沉浸式地體驗身臨手術(shù)室的感覺，可以讓醫(yī)生全面了解手術(shù)的各個環(huán)節(jié)，第一視角學習手術(shù)技巧。

視覺學習之外，虛擬現(xiàn)實技術(shù)與計算機技術(shù)相結(jié)合用于建立具有實時力反饋的手術(shù)模擬訓練系統(tǒng)，似乎更能夠在一定程度上緩解當下醫(yī)學所面臨的瓶頸。例如用VR進行解剖教學，極大地緩解了醫(yī)學教育中尸體標本短缺的情況。

“我們開發(fā)的系統(tǒng)，就是針對國際和國內(nèi)市場上還沒有較為通用、商業(yè)化的骨科手術(shù)訓練系統(tǒng)的情況，以期解決骨科醫(yī)生的手術(shù)訓練問題。”中國科學院深圳先進技術(shù)研究院人機交互中心執(zhí)行主任王瓊在接受專訪時告訴《中國科學報》記者。

滿足手術(shù)訓練需求

據(jù)介紹，骨科手術(shù)訓練系統(tǒng)以椎弓根釘手術(shù)為基本背景，提供了不同種類的手術(shù)工具在脊柱上進行操作的三維交互場景模擬，主要仿真了圓鉆磨骨、長鉆打孔和置釘這幾種椎弓根釘手術(shù)中風險較高、也最具有訓練意義的手術(shù)操作。

“我們搭建了一套具有動態(tài)反饋、視覺變化的虛擬環(huán)境，與人機交互反饋的設(shè)備連接。對手術(shù)工具與骨骼交互時產(chǎn)生的控制力進行建模，并且模擬骨頭被鉆后的視覺變化，并通過VR眼鏡和力反饋設(shè)備反饋給用戶，模擬醫(yī)生拿著鉆頭鉆骨頭的真實場景，這可以做到手眼協(xié)調(diào)方面的訓練。”王瓊說。

在系統(tǒng)中，王瓊團隊采用了融合體數(shù)據(jù)和面數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)，不僅可以滿足在骨骼拓撲結(jié)構(gòu)頻繁改變狀態(tài)下的三維手術(shù)工具與骨骼模型之間100Hz的碰撞檢測刷新率，同時還可以精準地對磨削后的骨骼表面進行重建，并建立了基于磨削原理的手術(shù)工具交互反饋力模型，通過GPU硬件的加速，可以保證力覺的刷新率在1000Hz以上，避免視、觸覺交互場景的失真。

該項目可以為醫(yī)生進行椎弓根釘手術(shù)訓練提供較為真實的、具有實時力覺反饋的虛擬三維場景，解決臨床骨科醫(yī)生缺乏手術(shù)訓練機會的問題。

因為用不同的計算機程序可以產(chǎn)生新的交互環(huán)境，滿足不同的手術(shù)訓練的情況。“系統(tǒng)可以設(shè)置手術(shù)的難易程度，開始訓練時，系統(tǒng)給出固定的骨釘位置和下鉆方向，進階后把所有預設(shè)信息全部刪除，訓練者自己判斷病情與鉆頭位置，增加難度，這樣的訓練方式更加有效。”王瓊說。

不同的變化方式，一方面提供精細、有效、重復的訓練，既節(jié)約經(jīng)濟成本，又可以實現(xiàn)傳統(tǒng)訓練做不到的進階訓練。

四大總體框架

王瓊介紹，一般虛擬骨科手術(shù)系統(tǒng)的總體設(shè)計框架主要包括： 三維骨組織建模、虛擬手術(shù)工具建模、形變仿真和力覺模擬以及人機交互模塊等四個主要組成部分。

三維骨組織建模主要負責從原始的CT 掃描的二維數(shù)據(jù)圖像中，利用圖像處理方法將目標骨骼區(qū)域分割出來，然后利用三維重建方法，將骨骼三角面片網(wǎng)格提取出來，同時還可以融合體數(shù)據(jù)表示的三維骨骼模型。為了方便給后續(xù)的力覺建模打下基礎(chǔ)，進而對不同的骨骼部位所具有的物理材料屬性進行設(shè)定，這些參數(shù)一般需要通過真實的組織承壓拉伸測試或者有限元建模的方法進行確定。

虛擬手術(shù)工具的建模對手術(shù)中會用到的手術(shù)器械，創(chuàng)建它們的三維幾何模型和物理模型，并實時接收交互硬件設(shè)備傳送的信息，用來確定手術(shù)工具模型當前的位置、姿態(tài)和運動狀態(tài)。

形變仿真和力覺模塊要通過虛擬手術(shù)工具與三維骨骼模型之間的碰撞檢測來確定兩者之間的交互區(qū)域，獲取交互信息，并對骨骼的三維模型進行相應(yīng)的形變。通常碰撞檢測算法的選取與力覺交互建模有十分緊密的聯(lián)系，根據(jù)力模型的計算特性選擇恰當?shù)呐鲎矙z測算法可提高整體的運算效率。隨后，可根據(jù)獲取的交互信息，計算碰撞交互力。

人機交互模塊提供人與計算機交互接口。一方面將用戶控制力反饋設(shè)備時，對設(shè)備的空間位置坐標、變化矩陣以及用戶手移動的速度等，傳送給虛擬手術(shù)工具模塊，用于力覺計算。此外，還負責對交互模擬的力覺反饋結(jié)果進行實時渲染，使用戶感受到手術(shù)工具上所受到的力覺效果。

遵循總體框架建構(gòu)的骨科手術(shù)訓練系統(tǒng)，與傳統(tǒng)的訓練模式效果比較之后，得到了合作醫(yī)院的認可。但同時，系統(tǒng)建立的每個環(huán)節(jié)也存在很多困難。

模擬系統(tǒng)目前大多采用標準化的模型，個性化的病人數(shù)據(jù)案例比較少，因為在將病人醫(yī)學圖像數(shù)據(jù)處理做成個性化三維模型時，中間涉及到的環(huán)節(jié)非常多，包括：圖像處理、圖像分割、三維重建、模型修補等步驟。一方面它們復雜費時，很多步驟仍需要人工介入處理，另外在將模型用于虛擬手術(shù)系統(tǒng)時，考慮到計算速率的問題，又需要對模型的體量進行控制，使用過于精細的數(shù)據(jù)會影響交互、計算速度，而使用簡化的模型，雖然可以提升計算速率，但又可能會丟失了病人的疾病特征。“這些要素之間要做到平衡，由圖像數(shù)據(jù)轉(zhuǎn)變?yōu)榭山换サ娜S模型，中間環(huán)節(jié)多，目前還沒有統(tǒng)一的標準和成熟的解決方案。”王瓊說。

應(yīng)用仍有條件

在高盛2016年的報告中對VR醫(yī)療的市場規(guī)模進行了預測：2020年VR/AR(增強現(xiàn)實)的市場規(guī)模將達到800億美元，其中在醫(yī)療保健領(lǐng)域市場達到51億美元，覆蓋340萬用戶。未來幾年VR將會給醫(yī)療行業(yè)帶來巨大的想象空間，而中國必然將為VR+醫(yī)療提供巨大的發(fā)展空間。但在目前的實際應(yīng)用中，某些領(lǐng)域似乎并不順利。

“不論應(yīng)用在哪個行業(yè)，虛擬現(xiàn)實普遍存在內(nèi)容生成不夠豐富，以及重度VR應(yīng)用真實感、沉浸感不強的情況。”在解釋經(jīng)歷2016的火熱，虛擬現(xiàn)實逐漸回歸理性的原因時，王瓊說道。從醫(yī)學的角度來看，一套模型只能用在一套系統(tǒng)上，換一個病種或手術(shù)工具，算法、數(shù)據(jù)模型就要重新來做，整套虛擬場景的建立非常緩慢，這導致虛擬手術(shù)系統(tǒng)的開發(fā)周期相對較長。

醫(yī)生接受度也是影響虛擬手術(shù)系統(tǒng)應(yīng)用的方面，“我國的醫(yī)生有嚴格的行業(yè)規(guī)范，要破壞原有的訓練流程，提高醫(yī)生的接受度，仍需要進一步努力。”王瓊說。

對比臨床手術(shù)領(lǐng)域，VR應(yīng)用在康復醫(yī)療領(lǐng)域接受度更高，先進院醫(yī)工所醫(yī)學圖像與數(shù)字手術(shù)研究室吳劍煌團隊研發(fā)的虛擬腦卒中康復訓練系統(tǒng)正在推進應(yīng)用。該系統(tǒng)向腦卒中患者提供了一種成本低廉且有效的康復訓練方案。利用虛擬現(xiàn)實系統(tǒng)，患者可以在虛擬環(huán)境完成可控的功能性運動和操作，完成有意義的任務(wù)性訓練和得到視覺、聽覺、觸覺的反饋。

而對于醫(yī)療美容領(lǐng)域的VR應(yīng)用，相比骨科精度要求更高，涉及軟組織處理容易發(fā)生形變，王瓊認為，整形領(lǐng)域的VR應(yīng)用也有很多需要解決的問題。

人才短缺、硬件設(shè)備價格、穿戴設(shè)備的舒適度、軟件系統(tǒng)如何快速開發(fā)等都是VR發(fā)展過程中需要面對的問題。但從長遠看，“硬件的計算速率不斷提升，整體還是會平穩(wěn)推動行業(yè)的發(fā)展”。王瓊說。

中國工程院院士趙沁平對VR在醫(yī)療領(lǐng)域的應(yīng)用十分樂觀：“虛擬人體已經(jīng)成為‘實驗室到病床’轉(zhuǎn)化醫(yī)學研究的新概念平臺和實驗手段，并已廣泛應(yīng)用在醫(yī)學研究、新藥開發(fā)、虛擬手術(shù)、醫(yī)療器械開發(fā)、醫(yī)學教育培訓、康復訓練等方面。未來十年，虛擬人體可能在生命科學和醫(yī)藥領(lǐng)域產(chǎn)生顛覆性的影響。”