基于增強現(xiàn)實技術的潛艇雷彈發(fā)控裝備訓練系統(tǒng)開發(fā)
引 言
潛艇雷彈發(fā)控裝備的技術含量和復雜程度較高,在武器裝載裝填和發(fā)射過程中均涉及高壓氣、液壓、注排水、供電、艇內(nèi)武器等多種裝備和不同系統(tǒng)。在實裝操作時面臨操作步驟多、協(xié)同動作復雜等問題,容易造成裝備和武器損害等,因此迫切需要在訓練和操作過程中提供基于實裝的實時操作流程和動作原理指導。目前虛擬現(xiàn)實(VirtualReality,VR)技術日趨成熟,大量虛擬訓練平臺研發(fā)成功并裝配部隊。利用 VR技術研發(fā)的虛擬訓練系統(tǒng)能夠在一定程度上解決實裝操作風險高, 容易造成設備損壞等問題,但 VR設備操作虛擬環(huán)境越貼近實際裝備,需要考慮的細節(jié)就越多,如虛擬環(huán)境空間尺寸、碰撞檢測、應力反饋、視角變化、部件動作物理規(guī)律等,投入大, 開發(fā)周期較長。部隊的優(yōu)勢是有大量實際裝備,而完全脫離裝備使用虛擬現(xiàn)實進行操作訓練,則無法發(fā)揮部隊優(yōu)勢,不利于提高訓練水平。增強現(xiàn)實(AugmentedReality,AR)技術將真實世界與虛擬世界的信息無縫集成,利用定位跟蹤、虛擬成像等技術,將實際裝備與裝備三維虛擬信息集合到同一空間 [1], 通過AR可穿戴設備,使人眼看到虛擬信息與真實信息疊加后的效果?;贏R技術的發(fā)控裝備訓練系統(tǒng)利用 AR頭戴設備實時跟蹤定位操作者目光鎖定的目標,在發(fā)控裝備標示部件上顯示部件三維全息模型,透視其內(nèi)部結構,給出操作方法和操作指示,利用語音輸入、手勢輸入讓用戶與 AR頭戴設備顯示的實裝與虛擬信息相結合的畫面進行交互,在 AR設備的輔助下完成從理論知識到實裝操作的過渡,提高系統(tǒng)訓練效果,降低研制成本。
1 系統(tǒng)設計
基于增強現(xiàn)實技術的潛艇雷彈發(fā)控裝備訓練系統(tǒng)利用AR光學透視式頭戴顯示器開發(fā),如圖1 所示。針對艇內(nèi)真實環(huán)境,依托實際裝備,使用人員利用 AR 頭戴設備實現(xiàn)目光追蹤,對于使用者目光鎖定的主要實裝部件,在 AR 頭戴設備顯示目鏡上顯示部件的全息模型、透視結構、動作原理動畫視頻、操作使用指南等信息,全息模型和動作原理與實裝部件貼合,操作指南基于實裝部件給出,具有極強的針對性和真實的操作感覺反饋。系統(tǒng)通過語音和手勢操作完成交互。
圖1 AR 光學透視式頭盔顯示器
基于AR技術的潛艇雷彈發(fā)控裝備訓練系統(tǒng)原理如圖 2 所示。虛擬場景生成單元完成虛擬場景的模型建立、實時管理并集中管理其他外設 ;頭戴顯示器負責顯示裝備三維信息和實際裝備融合后的信號 ;傳感器跟蹤用戶視線變化 ;交互設備用于語音信號及手勢操作信號的輸入、輸出。首先傳感器和攝像頭采集艇內(nèi)實際裝備的視頻或者圖像,傳入系統(tǒng)后臺信息處理單元對其進行數(shù)據(jù)分析和環(huán)境重構,并結合頭部跟蹤設備采集的數(shù)據(jù)來分析裝備虛擬結構和真實裝備環(huán)境的相對位置,完成兩者坐標系的對齊及融合計算;交互設備采集用戶語音和手勢控制信號,完成在虛實結合場景中的交互操作。經(jīng)過系統(tǒng)融合處理的信息實時顯示在頭戴顯示器中。
系統(tǒng)的主要功能如下:
(1) 發(fā)控裝備實裝部件視線定位結構原理三維全息輔助學習。利用 AR頭戴設備檢測使用者的視線,實現(xiàn)視線指示, 三維模型跟蹤定位,在使用者視線聚焦的部件上顯示部件的三維模型,利用三維模型、實際裝備融合顯示和手勢控制等技術進行部件結構分解,動作過程顯示,實現(xiàn)基于實裝的三維全息輔助學習。
(2) 發(fā)控裝備實裝操作步驟全息實時指導?;趯嵮b部件在具體操作位置上給出全息操作指導,并能夠通過三維模型顯示操作引起的部件內(nèi)部動作過程和工作介質的主要流向。
(3) 利用三維全息武器實現(xiàn)系統(tǒng)綜合訓練。對于需要武器配合的綜合訓練項目,如水下重裝訓練、武器裝載訓練,可在訓練過程中通過顯示設備顯示三維虛擬武器,利用增強現(xiàn)實技術實現(xiàn)虛擬武器的發(fā)控裝備實裝綜合操作訓練。
系統(tǒng)通過攝像機識別并讀取已知標識的相對位置,借以實現(xiàn)真實潛艇環(huán)境中發(fā)控裝備實際部件相對于攝像機位置、方向信息的跟蹤,通過矩陣計算得到坐標的映射關系,然后在實際裝備上描繪出其三維結構,最終實現(xiàn)虛擬裝備與實際裝備的疊加[2]。系統(tǒng)工作流程如圖 3 所示,系統(tǒng)結構框圖如圖 4所示。
在系統(tǒng)的開發(fā)設計過程中,使用了圖 5 所示的邏輯結構, 每一層的意義如下:
(1) 數(shù)據(jù)層 :包含了訓練應用模塊中的所有相關數(shù)據(jù), 如設備的基本參數(shù)、設備操作運行數(shù)據(jù)以及三維模型數(shù)據(jù)等。數(shù)據(jù)層規(guī)定了數(shù)據(jù)結構和存儲方式,規(guī)范數(shù)據(jù)調(diào)用機制是系統(tǒng)功能得以實現(xiàn)的基礎。
(2) 模型層:將裝備部件的結構模型數(shù)據(jù)進行有機組織, 在盡量保持模型細節(jié)的基礎上縮減模型存貯規(guī)模,并整合對應部件模型的文本信息、三維動畫或視頻指導等。
(3) 平臺層 :對系統(tǒng)數(shù)據(jù)層和模型層進行集成與管理, 使得各功能模塊可以順利實現(xiàn)。該層作為數(shù)據(jù)層與應用層之間的紐帶,包括設備查詢平臺和操作過程指導平臺。
(4) 應用層 :應用層是部件結構原理和操作指導功能的體現(xiàn)。包括裝備結構信息查詢、部件動作過程三維視頻、裝備操作過程指導、工作過程介質流向展示等。
(5) 界面層 :界面層規(guī)定了人機交互界面風格和界面顯示內(nèi)容,涉及語音輸入和手勢操作等交互方式。
2 關鍵技術
2.1 發(fā)控裝備部件模型建立
模型的建立要考慮兼容目標、傳感器和環(huán)境三個方面 [3]。首先對于追蹤的裝備目標,需要裝備目標的先驗信息,如裝備的外觀、形狀、相對位置、姿態(tài)等特性 [4] ;其次需要考慮傳感器的特性,選定的設備使用立體相機按照米制構建 ;最后從環(huán)境角度出發(fā),考慮到環(huán)境對跟蹤的準確性起決定性作用, 在跟蹤過程中,當光照充足、環(huán)境相對穩(wěn)定時,視野中所見的重構三維模型顯示更加穩(wěn)定,提高了模型追蹤定位位置的準確性。在模型建立階段,以離線方式完成模型構建,將建模和跟蹤分開。
模型的制作可以通過Autodesk Revit,Autodesk Solidworks 等軟件對發(fā)控裝備部件模型進行調(diào)整和修改,設備操作人員根據(jù)實際操作需要,對模型進行拆分并進一步處理成不同操作指導需求的 AR 虛擬場景模型,分類存儲在部件模型數(shù)據(jù)庫中 [5]。模型的具體處理過程是通過數(shù)據(jù)共享與交換的標準格式實現(xiàn)不同軟件之間的信息交換,將模型導出為 FBX 格式,然后將此格式文件導入 3DSMax 軟件中再進行處理或加以渲染,導出WRL 格式的模型,該模型將作為后期 AR 程序調(diào)用的模型。
在發(fā)控裝備部件的建模過程中考慮 AR 系統(tǒng)的實際技術需求和資料儲備情況,若已知裝備目標部件的 CAD 圖形則可將其作為先驗知識,在構建實際裝備訓練環(huán)境時以本情況為主。在缺少 CAD 圖形的情況下,部分部件可通過傳感器逆向獲取目標物體的模型信息作為先驗知識。
2.2 基于模型的追蹤定位技術
識別追蹤技術、顯示技術和輸入交互技術是增強現(xiàn)實技術的核心組成部分,如圖 6 所示 [6]。實現(xiàn) AR 的基本功能主要依靠交互技術及空間感知的定位追蹤技術。傳感器獲取的數(shù)據(jù)經(jīng)過預處理作為輸入,實現(xiàn)對實際裝備的定位跟蹤,該過程可分為檢測和跟蹤兩個階段。在檢測階段,以被跟蹤裝備部件的先驗信息作為初始值,利用視覺信息處理技術獲取的部件模型信息與輸入數(shù)據(jù)進行匹配,確定其在空間的姿態(tài)和位置,實現(xiàn)對目標部件的跟蹤。目前針對頭戴式 AR 眼鏡的跟蹤技術,大多將視覺和慣性測量原件進行融合。本系統(tǒng)的跟蹤技術主要依靠視覺光學追蹤,其開發(fā)成本低,定位較精確。AR中的光學追蹤分類如圖 7 所示。
圖 6 增強現(xiàn)實的核心技術
圖 7 光學追蹤分類
采用 OutsideIn方式需使用反光或特殊材質制作的標示點進行輔助定位,如在識字卡片、繪本中的應用。該技術定位準確, 但需要預先在實際場景中粘貼標識,在使用適應性和用戶體驗方面存在局限性。在 InsideOut無標示追蹤技術中主要采用模型追蹤定位技術。視覺信息技術和跟蹤技術是該技術的主要難點。視覺信息處理需要提取和關聯(lián)傳感器所獲取的目標物體信息,實時更新跟蹤系統(tǒng)狀態(tài)。針對潛艇內(nèi)部發(fā)控裝備的實際空間特性,選擇部件模型的 CAD形狀和拓撲信息作為穩(wěn)定的跟蹤線索,結合其各自對應的紋理特征和形狀特征,整個視覺信息的處理過程以提取、優(yōu)化獲取構建模型的穩(wěn)定特征為目標。
由于潛艇內(nèi)部燈光較暗,環(huán)境狹窄,AR 追蹤定位存在一定的困難,且由于艇上設備密集,觀察空間狹窄,無標示追蹤在小于最小觀測距離時,模型定位無法完成。此時可考慮使用標記跟蹤技術,但大量使用標示會影響實際裝備的使用, 所以基于AR 技術的潛艇雷彈發(fā)控裝備訓練系統(tǒng)以模型定位為主,綜合使用模型定位和標示定位,在觀察空間不足和觀察條件較差的位置使用標示定位方法,根據(jù)具體環(huán)境綜合使用兩種技術可取得更好的效果。
3 結 語
利用 AR技術研發(fā)雷彈發(fā)控裝備訓練系統(tǒng)可以顯著提升日常訓練水平,并在實際使用過程中提供實時操作和維護指導。使用基于 AR技術的潛艇雷彈發(fā)控裝備訓練系統(tǒng)將顯著縮短新型潛艇雷彈發(fā)控裝備的學習掌握周期,提升掌握熟練程度。AR技術在 2017 年完成了新一輪大發(fā)展,被大量應用于手機游戲中,頭戴式 AR設備被投入市場,AR技術在軍事訓練領域中的應用條件已經(jīng)初步具備。推進 AR技術在軍事裝備領域的應用對于科技興軍,加深新技術領域的軍民融合具有積極意義。





