中國計(jì)量大學(xué)賽博-10 (
智能視覺 組)隊(duì)員對(duì)于參加第十六屆智能車競賽進(jìn)行總結(jié)與展望。
01 賽 后反饋一、實(shí)驗(yàn)室介紹 賽博智能車實(shí)驗(yàn)室成立于2012年,隸屬于中國計(jì)量大學(xué)信息學(xué)院,歷來以技術(shù)為核心,以培養(yǎng)優(yōu)秀技術(shù)型人才和綜合性人才為宗旨,鍛煉學(xué)生實(shí)踐能力,并通過選拔去參加以全國大學(xué)生智能汽車競賽為核心的各項(xiàng)大型技術(shù)類競賽,不斷為學(xué)校、團(tuán)隊(duì)、個(gè)人爭奪榮譽(yù)。實(shí)驗(yàn)室創(chuàng)辦以來,拿下全國獎(jiǎng)項(xiàng)十余項(xiàng)和數(shù)不清的浙江省的省級(jí)獎(jiǎng)項(xiàng)。
▲ 圖1.0 比賽車模頂視圖 二、賽后總結(jié) 首先,在
大二參賽 就獲得不錯(cuò)的成績,令我們感到意外和驚喜。當(dāng)初選擇AI視覺組也是因?yàn)樵摻M別具有一定的挑戰(zhàn)性,更加能夠鍛煉自我。這一年的調(diào)車生涯對(duì)我們?nèi)M隊(duì)員的心理素質(zhì)進(jìn)行了多次考驗(yàn),令我們印象深刻的是省賽前幾天忽然的
硬件故障 ,著實(shí)讓我們的心態(tài)受到了不小的影響。做智能車不僅僅是知識(shí)和技能的學(xué)習(xí),也是對(duì)我們的
心態(tài)和抗壓能力 的考驗(yàn)與提升。
▲ 圖1.2 參賽隊(duì)員 三、芯片使用 我們采用的芯片是
RT1064 ,功能十分強(qiáng)大,
600MHz 的主頻不用過于擔(dān)心主控芯片的代碼復(fù)雜度。另外,逐飛科技推出的最小系統(tǒng)核心板引腳功能也十分充足,即使我們花里胡哨地上了2.0寸IPS彩色屏幕,它依舊有足夠的功能引腳用來滿足打靶任務(wù)的外設(shè)使用。不過在使用過程中也遇到些問題:
前中期我們沒有考慮供電時(shí)序 問題,導(dǎo)致單片機(jī)和攝像頭同時(shí)供電時(shí),需要給單片機(jī)復(fù)位才能激活使用。 剛開始使用RT1064芯片的時(shí)候主要還是靠逐飛的例程,但是想做一些例程以外的嘗試就比較困難了,找不到中文版的芯片手冊(cè),全程硬啃著實(shí)費(fèi)腦子。希望以后可以多出一些基礎(chǔ)的教學(xué)之類的,拉低門檻。 四、NXP大學(xué)計(jì)劃 從老師層面來講,我們的帶隊(duì)老師是很希望能和NXP進(jìn)行合作的。在參加智能車競賽的這幾年,我們深刻領(lǐng)略到了NXP芯片的高性能,尤其是算力方面,與以往使用的芯片相比,具有高容量flash、RAM的優(yōu)點(diǎn),我們也從中發(fā)現(xiàn)了NXP芯片的
優(yōu)秀性能 和
無限潛力 ,我們實(shí)驗(yàn)室老師更是將NXP的
K60芯片 設(shè)置為實(shí)驗(yàn)室新晉人員培訓(xùn)專用芯片。另外,實(shí)驗(yàn)室人員在參加其他技術(shù)類比賽的過程中,常常將NXP芯片作為項(xiàng)目開發(fā)核心芯片。和NXP合作,以競賽、項(xiàng)目為切入口,不斷去創(chuàng)新開發(fā)NXP芯片的應(yīng)用,可以讓學(xué)生更加深入的去掌握這些芯片的原理與應(yīng)用開發(fā),拓寬知識(shí)面,對(duì)芯片類行業(yè)未來也可以有更貼切的了解。同時(shí)我們可以在校內(nèi)進(jìn)行推廣普及,這樣不僅可以讓更多的同學(xué)了解NXP芯片,也讓同學(xué)們?nèi)ブ匾曅酒袠I(yè)。
▲ 圖1.3 車模于教室內(nèi)的同學(xué)們 五、AI元素 組委會(huì)把AI融入智能車這個(gè)想法很好,順應(yīng)機(jī)器學(xué)習(xí)的時(shí)代大潮的同時(shí)提高國家相關(guān)人才率.但也許正是因?yàn)檫@是一次新的嘗試,我們感受到了比賽方想盡力降低比賽難度的誠心,從:one:增加紫色框方便我們對(duì)目標(biāo)的定位(雖然也有芯片算力受限的原因)到:two:逐飛發(fā)布例程模板和使用教程以及專門針對(duì)比賽的攝像頭mini,可以說為AI識(shí)別部分的鋪好了路。 對(duì)于
openart,我們是”
又愛又恨 ”,"
愛 ?"是因?yàn)橛辛诉@個(gè)攝像頭,我們盡早確定了相關(guān)方案,避免了很多麻煩。"
恨 "便是使用過程中出現(xiàn)的各種意外。由于使用不當(dāng)導(dǎo)致
openart芯片損壞等故障,壞了好幾次也修了好幾次,前后累計(jì)總共買了4個(gè)。
從通電開機(jī)或復(fù)位到進(jìn)入工作狀態(tài)往往需要10秒左右(不知道是不是只有我們有這種情況); 切換模型、圖像變化過快、切換畫質(zhì)等都會(huì)造成RAM溢出的問題; 和上位機(jī)之間的兼容情況,有些情況下需要頻繁插拔數(shù)據(jù)線; 可能還是受限于芯片的性能,在Openart上部署的模型的網(wǎng)絡(luò)層很難超過3層,否則開機(jī)便是死機(jī)┐(′-`)┌ 不過總的來說,
OpenartMini這款產(chǎn)品對(duì)于比賽來說還是很有針對(duì)性的,對(duì)我們幫助很大。
▲ 圖1.5 識(shí)別任務(wù)積分 六、機(jī)械結(jié)構(gòu) --我們隊(duì)伍里沒有專門負(fù)責(zé)機(jī)械結(jié)構(gòu)的人員,在車模的機(jī)械結(jié)構(gòu)設(shè)計(jì)的過程中,我們根據(jù)應(yīng)用需求和實(shí)際使用效果慢慢摸索和不斷修改。省賽前,我們隊(duì)伍把重心放在了任務(wù)要素的完成率,從而忽視了小車的行駛速度,所以攝像頭架得過高,導(dǎo)致
重心偏高 ,速度稍快就容易發(fā)生彎道側(cè)翻。在省賽現(xiàn)場觀摩了其他車友的車模后,發(fā)現(xiàn)即使是低攝像頭也有很好的實(shí)現(xiàn)效果,于是省賽結(jié)束就開始連夜重構(gòu)結(jié)構(gòu)。我們?cè)诮Y(jié)構(gòu)上做了許多嘗試,
一維結(jié)構(gòu) 、
二維結(jié)構(gòu) 、
補(bǔ)光措施 、
不同舵機(jī) 等等,甚至還給
openart 上了一個(gè)顯示屏用以調(diào)試方便。最終搭建出了我們較為滿意的車模結(jié)構(gòu)。
▲ 圖1.4 車模機(jī)械外觀 我們的打靶瞄準(zhǔn)前期是采用
openart抓框瞄準(zhǔn),然后將坐標(biāo)信息傳到主控板來控制舵機(jī)。但是調(diào)試過程中發(fā)現(xiàn)這樣的方法受舵機(jī)角度精度影響較大,并且抓框的穩(wěn)定性難以保證。所以最后在學(xué)長的建議下我們?cè)诮Y(jié)構(gòu)上安裝了激光測距模塊測量靶子兩邊緣跳變點(diǎn)的距離和角度,再通過數(shù)學(xué)幾何直接算出靶心打角實(shí)現(xiàn)瞄準(zhǔn),最終,打靶效果變得
快準(zhǔn)狠 。這也需要有相關(guān)模塊的使用經(jīng)歷,才能在備賽期間想到運(yùn)用。不過在我們花大力氣把打靶最終優(yōu)化好了以后被通知沒有打靶項(xiàng)目了,實(shí)屬一大遺憾。
▲ 圖1.5 車模前視圖 七、規(guī)則變動(dòng) 受突如其來的疫情影響,全國總決賽變成了線上賽,還是有點(diǎn)可惜的,體會(huì)不到到總決賽現(xiàn)場的緊張刺激,也無法公費(fèi)旅游了呢哈哈。電賽宣布被取消的那段時(shí)間,天天凌晨還盯著卓老師的公眾號(hào),唯恐錯(cuò)過某些重要通知。不過最后智能車比賽依舊能如期舉行,已經(jīng)足夠幸運(yùn)了。
八、賽提建議 智能視覺組是第十六屆新增加的組別,可能是組委會(huì)出于降低難度的考量,從比賽規(guī)則和現(xiàn)場執(zhí)行效果來看還是有些地方能鉆漏洞。例如肉眼 就可以分辨靶子的左右方位然后按鍵寫入單片機(jī)進(jìn)而跳過AP碼的識(shí)別。所以光從這一點(diǎn)來看可以在賽道兩邊都放上靶子之類的方式。當(dāng)然,下一屆也不必拘泥于一定要打靶。 如上所述,如果不打靶,視覺組的車模可以選擇麥輪車 ,因?yàn)辂溳嗆嚹茏龅膭?dòng)作更加豐富和自由,例如順逆時(shí)針原地轉(zhuǎn)動(dòng) 代表識(shí)別結(jié)果的顯示表達(dá)。這里只是提供一個(gè)不成熟的思路,還是認(rèn)為打靶的難度和觀賞性更高 。 對(duì)于圖像分類 的問題,我們?cè)趯?shí)際比賽準(zhǔn)備的過程中感覺缺少對(duì)模型泛化能力 的體現(xiàn)。因?yàn)閲惖臅r(shí)候,我們用來訓(xùn)練的數(shù)據(jù)集是逐飛科技提供的比賽軟件里出現(xiàn)的圖片,最后訓(xùn)練出來的模型就變成了對(duì)固有圖片的簡單記憶,針對(duì)比賽而言,過擬合才是正道。而真正的AI應(yīng)當(dāng)是能預(yù)測陌生數(shù)據(jù)集的分類,所以下一屆智能視覺 建議可以注重模型泛化能力的考察。