在備受關注的視頻領域，百度增強現(xiàn)實技術部技術架構師馬曉昕從技術層面全面解讀了百度AR與百度智能云的強強聯(lián)合為短視頻創(chuàng)作者提供的云端賦能，為激活內容創(chuàng)造力帶來了無限可能。

據(jù)第三方數(shù)據(jù)顯示，2018年短視頻行業(yè)月獨立設備數(shù)已近7億臺，短視頻日漸成為營銷傳播的通用手段和普通人記錄分享的常規(guī)方式?？梢哉f，短視頻時代，每個人都能成為內容的生產者。

在短視頻制作方面，百度智能云構建了從基礎設施、平臺工具到數(shù)據(jù)傳輸?shù)囊徽捉鉀Q方案，全能力覆蓋互動拍攝、智能編輯、轉碼上傳流程，為UGC/PGC內容創(chuàng)作打造了利器。而百度AR與智能云平臺的能力打通，在拍攝階段引入豐富的AR特效能力，讓創(chuàng)作者通過疊加人機交互玩法獲得更大的想象空間；對平臺開發(fā)者來說，DuMix AR 5.0提供的涵蓋硬件層、結合層、能力層、技術平臺、內容平臺和業(yè)務場景的多層次開放架構，將有助于他們進行靈活擴展，大幅提高生產效率。

AR技術在短視頻中有哪些應用場景？從最常見的美顏濾鏡，到手勢控雨、肢體游戲、環(huán)境風格變換等，百度增強現(xiàn)實技術部技術架構師馬曉昕結合不同玩法實例解析了DuMix AR 5.0人臉肢體手勢環(huán)境的一體化交互的技術解決方案。

通常在說到人臉特效能力時，大家往往關注的是能夠精準定位150個2D關鍵點，涵蓋78個骨骼的關鍵點，能輸出3D的人臉姿態(tài)。其實在基礎能力之上，對于嘴部和眼球這兩個最“出戲”的部位，我們提供了更加精準的解析，以保障應用層可實現(xiàn)的玩法更多；另外，我們還對人臉平面進行了三角剖分，分成264個三角形；以及5210個三角形人臉立體剖分，基于這個面部網(wǎng)格可以制作各種2D/3D貼紙、變形或進行其他拓展。

我們也預設了32個人臉的表情基和15個表情語義，包含如微笑、大笑、睜眼、閉眼等一些常見的表情。通過內置的19套塑形參數(shù)、五種基礎美妝、立體的3D的妝容等更加高階的能力，可以滿足開發(fā)者對于人臉特效玩法的各種需求，如美妝美體、微整形、多人實時換臉和個性化的美顏需求，并且在應對光照變化劇烈、大角度追蹤、抖動遮擋這些復雜情境都表現(xiàn)出很強的穩(wěn)定性和魯棒性。

手勢特效預設了8種手勢語義，包含21個關鍵點，能夠復原出3D的手掌姿態(tài)；肢體特效提供59個輪廓點/18個關節(jié)點兩種輸出方式，其中18個關節(jié)點識別速度，全機型測試最多不超過6.7毫秒；人像分割更是達到IOU 93.76%的高指標。

從人體跟蹤到物理世界大場景跟蹤，依靠低成本的地圖采集和在線融合跟蹤方案，百度AR推出了VPAS視覺定位與增強服務，用戶在打開時省去了掃描平面這一步驟，體驗路徑更加順暢。開發(fā)者可以在真實世界中構建更加宏大的虛擬場景，我們提供的實時渲染能力對于26萬面大場景在普通手機上的渲染幀率也達到了30fps。

為了降低開發(fā)者的使用門檻，百度DuMix AR平臺對一體化人機交互能力進行了封裝，靈活的架構確保開發(fā)者可以自主高效地進行能力和玩法擴展。

此外，針對不同需求的短視頻內容制作者，百度DuMix AR特效開放平臺也提供了兩套不同的工具：具備創(chuàng)意技術能力的平臺開發(fā)者可以應用工具插件進行內容制作，也可以通過生態(tài)合作伙伴進行定制化生產；而個人開發(fā)者則可以使用平臺開放編輯器DuMix AR Studio和移動端預覽工具DuMix AR Cam進行開發(fā)和實時調試。

百度AR提供的創(chuàng)意生產工具結合百度智能云的基礎架構服務，以及百度生態(tài)資源閉環(huán)，共同構建了從創(chuàng)意內容到AR互動體驗的完整工具鏈，提升生產端到消費端的整體效率，有效降低生產成本，讓AI/AR賦能產業(yè)、改變生活！