掃地機(jī)器人視覺語義感知,依托硬件感知層與算法處理層協(xié)同工作,完成圖像采集、特征提取、物體分類、屬性標(biāo)注的全流程,實(shí)現(xiàn)對家居物體與空間的語義化解讀。
硬件支撐:家用場景適配的視覺感知硬件
主流家用掃地機(jī)器人多采用單目/雙目攝像頭、dToF深度傳感器與激光雷達(dá)融合的感知方案,兼顧視覺識別與深度測距能力。單目攝像頭成本適中、體積小巧,適合部署在機(jī)身前部或頂部,采集環(huán)境圖像信息;雙目攝像頭通過視差計(jì)算獲取物體深度信息,能更精準(zhǔn)判斷障礙物距離與大小,識別精度更高,可應(yīng)對低矮、小型障礙物;部分高端機(jī)型還會(huì)搭配魚眼廣角攝像頭,擴(kuò)大視野范圍,減少視覺盲區(qū),適配家居環(huán)境的大空間與邊角區(qū)域。
為適配家用光線環(huán)境,視覺傳感器通常具備寬動(dòng)態(tài)范圍調(diào)節(jié)能力,可在客廳逆光、臥室暗光、走廊燈光陰影等場景下,采集清晰、無過曝、無暗角的圖像;同時(shí)硬件層面會(huì)做防塵、防刮擦處理,應(yīng)對地面灰塵、碎屑對鏡頭的污染,保證長期穩(wěn)定感知。此外,為兼顧家庭隱私,多數(shù)機(jī)型會(huì)采用本地算力處理視覺數(shù)據(jù),圖像信息無需上傳云端,直接在機(jī)內(nèi)完成識別與分析。
算法核心:語義識別與特征標(biāo)注
視覺語義感知的核心是基于深度學(xué)習(xí)的目標(biāo)檢測與圖像分割算法,通過海量家居場景數(shù)據(jù)訓(xùn)練,讓機(jī)器人學(xué)會(huì)識別各類常見物體與空間特征。針對家用環(huán)境,算法模型重點(diǎn)訓(xùn)練數(shù)十類高頻物體,包括家具(沙發(fā)、茶幾、床、餐桌)、雜物(拖鞋、電線、書本、玩具)、寵物、地面材質(zhì)(地毯、瓷磚、木地板)、特殊區(qū)域(踢腳線、樓梯邊緣、門檻)等。
算法處理流程分為三步:首先對采集的圖像進(jìn)行預(yù)處理,包括去噪、畸變校正、光線均衡化,提升圖像質(zhì)量;其次通過輕量化目標(biāo)檢測模型,提取圖像中的物體特征,框定目標(biāo)區(qū)域并判斷物體類別,完成初步語義分類;通過語義分割算法,精細(xì)化區(qū)分物體邊界與地面區(qū)域,判斷物體大小、位置與占用空間,同時(shí)結(jié)合深度信息,確定障礙物的高度、距離,為后續(xù)避障與路徑規(guī)劃提供依據(jù)。
考慮到掃地機(jī)器人嵌入式芯片的算力限制,語義識別模型會(huì)做輕量化優(yōu)化,壓縮參數(shù)量、簡化網(wǎng)絡(luò)結(jié)構(gòu),在保證識別精度的前提下,提升推理速度,實(shí)現(xiàn)實(shí)時(shí)感知響應(yīng)。同時(shí)算法會(huì)加入抗干擾優(yōu)化,降低家居紋理、光影變化對識別結(jié)果的影響,避免將地板花紋、墻面裝飾誤判為障礙物。