在自動(dòng)駕駛感知系統(tǒng)中,激光雷達(dá)(LiDAR)與相機(jī)是互補(bǔ)性極強(qiáng)的核心傳感器:LiDAR能輸出高精度三維點(diǎn)云,精準(zhǔn)獲取障礙物距離、尺寸與空間位置,卻缺乏紋理色彩信息;相機(jī)可捕捉豐富的環(huán)境紋理、顏色與語(yǔ)義特征,卻難以直接獲取深度。二者融合是實(shí)現(xiàn)魯棒環(huán)境感知的關(guān)鍵,而“LiDAR-相機(jī)聯(lián)合標(biāo)定”正是打通數(shù)據(jù)壁壘、實(shí)現(xiàn)空間精準(zhǔn)對(duì)齊的前提——只有建立起LiDAR點(diǎn)云坐標(biāo)系與相機(jī)像素坐標(biāo)系的精確映射關(guān)系,才能讓點(diǎn)云數(shù)據(jù)“附著”在圖像上,讓圖像語(yǔ)義“落地”到三維空間,為目標(biāo)檢測(cè)、路徑規(guī)劃、決策控制提供可靠的多源數(shù)據(jù)支撐。
本文聚焦自動(dòng)駕駛場(chǎng)景,從核心原理、坐標(biāo)系關(guān)系、標(biāo)定方法、實(shí)操流程、精度驗(yàn)證五大維度,全面拆解LiDAR-相機(jī)聯(lián)合標(biāo)定的底層邏輯與工程實(shí)踐,側(cè)重落地細(xì)節(jié)與避坑指南,幫助從業(yè)者快速掌握標(biāo)定核心技能。
聯(lián)合標(biāo)定的本質(zhì)是求解“空間變換關(guān)系”,而理解兩者的坐標(biāo)系定義與固有參數(shù),是讀懂標(biāo)定邏輯的開始。
關(guān)鍵坐標(biāo)系:三維空間到二維像素的傳遞鏈路
標(biāo)定過程涉及四個(gè)核心坐標(biāo)系,它們層層傳遞,完成從LiDAR三維點(diǎn)到相機(jī)二維像素的映射:
LiDAR坐標(biāo)系:原點(diǎn)位于激光雷達(dá)幾何中心,通常定義為X軸向前(車輛行駛方向)、Y軸向左、Z軸向上,是點(diǎn)云數(shù)據(jù)的原生坐標(biāo)系,每個(gè)點(diǎn)云都自帶該坐標(biāo)系下的三維坐標(biāo)。
相機(jī)坐標(biāo)系:原點(diǎn)位于相機(jī)鏡頭光心,Z軸沿光軸向前(指向拍攝場(chǎng)景)、X軸向右、Y軸向下,是連接三維空間與二維圖像的中間橋梁。
圖像物理坐標(biāo)系:位于相機(jī)成像平面,原點(diǎn)在圖像中心,單位為毫米,記錄光線投射后的物理位置。
像素坐標(biāo)系:原點(diǎn)在圖像左上角,單位為像素,是我們看到的圖像坐標(biāo),也是感知算法的直接輸入。
聯(lián)合標(biāo)定的核心任務(wù),就是找到LiDAR坐標(biāo)系到相機(jī)坐標(biāo)系的剛性變換關(guān)系(旋轉(zhuǎn)+平移),再結(jié)合相機(jī)自身的內(nèi)參,完成點(diǎn)云到像素的完整投影。
兩類核心參數(shù):內(nèi)參打底,外參對(duì)齊
標(biāo)定參數(shù)分為內(nèi)參和外參,二者分工明確、缺一不可:
相機(jī)內(nèi)參:相機(jī)自身的固有屬性,包括焦距、主點(diǎn)坐標(biāo)、畸變系數(shù),由相機(jī)傳感器和鏡頭決定,出廠后固定(變焦相機(jī)除外)。內(nèi)參負(fù)責(zé)將相機(jī)坐標(biāo)系的三維點(diǎn),投影為像素坐標(biāo)系的二維點(diǎn),聯(lián)合標(biāo)定前需要單獨(dú)完成相機(jī)內(nèi)參標(biāo)定,否則會(huì)直接導(dǎo)致投影偏差。
LiDAR-相機(jī)外參:描述兩個(gè)傳感器的相對(duì)空間位姿,包含3個(gè)旋轉(zhuǎn)量(橫滾、俯仰、航向)和3個(gè)平移量(X、Y、Z方向偏移),是聯(lián)合標(biāo)定的核心求解目標(biāo)。外參的物理意義是:把LiDAR坐標(biāo)系下的點(diǎn)云,通過旋轉(zhuǎn)和平移,轉(zhuǎn)換到相機(jī)坐標(biāo)系下,實(shí)現(xiàn)空間位置對(duì)齊。
簡(jiǎn)單來說,內(nèi)參解決“相機(jī)怎么成像”,外參解決“LiDAR和相機(jī)怎么對(duì)齊”,只有兩者精準(zhǔn)配合,才能實(shí)現(xiàn)點(diǎn)云與像素的無偏差匹配。