摘要：雙目計(jì)算機(jī)視覺是利用仿生學(xué)原理,通過標(biāo)定后的雙攝像頭來得到同步曝光圖像,然后計(jì)算獲取的2維圖像像素點(diǎn)的第3維深度信息。為了對(duì)不同環(huán)境場(chǎng)景進(jìn)行監(jiān)控提出了一種新的基于雙目計(jì)算機(jī)視覺的自適應(yīng)識(shí)別算法。該算法首先利用像素點(diǎn)的深度信息對(duì)場(chǎng)景進(jìn)行識(shí)別判斷,然后采用統(tǒng)計(jì)的方法為場(chǎng)景建模,并通過時(shí)間濾波克服光照漸變,以及通過深度算法特性克服光照突變。與單攝像頭監(jiān)控系統(tǒng)相比,利用該算法實(shí)現(xiàn)的視頻監(jiān)控原型系統(tǒng),可應(yīng)用于更多場(chǎng)合,并利用深度信息設(shè)置報(bào)警級(jí)別,來降低誤檢率。

關(guān)鍵詞：雙目計(jì)算機(jī)視覺　深度信息　自適應(yīng)　光照變化　視頻監(jiān)控

1　引　言

面對(duì)日益復(fù)雜的社會(huì)和政治環(huán)境,國家安全、社會(huì)安全、個(gè)人人生安全和財(cái)產(chǎn)安全等都面臨著不同程度的威脅,都需要各種安全保護(hù)措施,在眾多場(chǎng)所建立切實(shí)有效的安保措施,成為一個(gè)迫切的課題。本文提出了一種基于雙目計(jì)算機(jī)視覺的自適應(yīng)識(shí)別算法,將該算法應(yīng)用于現(xiàn)有的監(jiān)控系統(tǒng),并賦予監(jiān)控終端智能性,不僅使其脫離人而具有獨(dú)立智能、自主判斷的能力,而且使得視頻監(jiān)控系統(tǒng)在安防方面的作用大大提高。

在現(xiàn)有的背景建模方法中,大多對(duì)于背景象素點(diǎn)的亮度值,例如最小亮度值、最大亮度值和最大亮度差值[ 1 ] ,或是對(duì)顏色信息進(jìn)行建模[ 2 ] 。對(duì)于背景的更新,一般使用自適應(yīng)濾波器對(duì)像素的統(tǒng)計(jì)特性進(jìn)行遞歸更新,為了考慮到噪聲的影響,文獻(xiàn)[ 3 ]提出了Kalman濾波器的方法,該文認(rèn)為系統(tǒng)的最優(yōu)信息可通過估計(jì)獲得?？紤]到環(huán)境的動(dòng)態(tài)緩慢改變,文獻(xiàn)[ 4 ]利用統(tǒng)計(jì)模型給背景建模,即由一個(gè)時(shí)域?yàn)V波器保留著一個(gè)序列均值和一個(gè)標(biāo)準(zhǔn)偏差,并通過濾波過程統(tǒng)計(jì)值隨時(shí)間改變來反映環(huán)境的動(dòng)態(tài)特性。另外有一些方法解決了光照漸變等影響[ 5～7 ] ,但計(jì)算較復(fù)雜。

2雙目計(jì)算機(jī)視覺深度算法

基于實(shí)際應(yīng)用考慮,攝像頭的數(shù)量關(guān)系著成本和計(jì)算量,所以選擇支持雙攝像頭(雙目視覺)的算法是最合適的。在支持雙目視覺的算法中,Princeton NEC research institute 基于最大流算法(maximum2flow)的計(jì)算機(jī)視覺算法( Stereo2MF)在深度效果平滑性上做得較好[ 8, 9 ] ,適用于監(jiān)控區(qū)域深度計(jì)算的應(yīng)用背景。但原有算法所需的計(jì)算量和計(jì)算過程中的暫存數(shù)據(jù)量是較大的,雖然支持計(jì)算量的削減,但只是機(jī)械地在一塊區(qū)域中選擇中心點(diǎn)來進(jìn)行計(jì)算,這樣計(jì)算的結(jié)果會(huì)因選擇的機(jī)械性,而出現(xiàn)大量的“偽點(diǎn)”,這些偽點(diǎn)錯(cuò)誤地表現(xiàn)了該區(qū)域的平均深度信息。本文采用統(tǒng)計(jì)平均值選取計(jì)算點(diǎn),通過距離因子的Gauss分布將塊內(nèi)其他點(diǎn)的值融合計(jì)算,從而使得計(jì)算出的值較準(zhǔn)確的代表了這一塊內(nèi)的大致深度分布。

m, n分別是圖像的長和寬所包含的像素點(diǎn)個(gè)數(shù),M、N 表示像素點(diǎn)的橫縱坐標(biāo), .d 是塊內(nèi)深度統(tǒng)計(jì)平均值, dM, N為計(jì)算點(diǎn)的深度值, q為距離因子, dB是計(jì)算所得的塊深度代表值。圖1為改進(jìn)后雙目視覺深度算法與原算法識(shí)別效果比較。由圖1可以明顯看出,修改后的算法效果在細(xì)節(jié)表現(xiàn)、平滑性、偽點(diǎn)減少上均有明顯改善,而且深度計(jì)算精確度能夠完全滿足視頻

圖1　改進(jìn)后雙目視覺深度算法與原算法識(shí)別效果比較Fig. 1Effect comparison after algorithm modification

度計(jì)算精確度能夠完全滿足視頻監(jiān)控應(yīng)用的需要。

3　自適應(yīng)識(shí)別算法

對(duì)于一個(gè)固定的場(chǎng)景,場(chǎng)景各像素點(diǎn)的深度值是符合一個(gè)隨機(jī)概率分布。以某一均值為基線,在其附近做不超過某一偏差的隨機(jī)振蕩,這種情況下的場(chǎng)景稱之為背景。而場(chǎng)景環(huán)境往往是動(dòng)態(tài)變化的,如環(huán)境自然光的緩變,燈光的突然熄滅或點(diǎn)亮,以及運(yùn)動(dòng)對(duì)象的出現(xiàn)、運(yùn)動(dòng)和消失等。如果能識(shí)別出場(chǎng)景中的動(dòng)態(tài)變化,就能自適應(yīng)的更新背景值,將光照的改變?nèi)诤系奖尘爸抵?。本文采取了用統(tǒng)計(jì)模型的方式給每個(gè)像素點(diǎn)建模,而以像素點(diǎn)變化的分布情況來確定光照突變引起的深度突變,并結(jié)合深度計(jì)算本身特性,解決光照緩變突變引起的誤判問題,以及判別場(chǎng)景中對(duì)象的主次性。

3. 1　背景象素點(diǎn)的深度值建模

由于雙目計(jì)算機(jī)視覺算法得到的深度值,已經(jīng)是塊融合的,可以根據(jù)精度要求,來加大塊面積, 減少數(shù)據(jù)量。本文獲得的數(shù)據(jù)量只有原像素點(diǎn)的( k, l分別是塊的長和寬所包含的像素點(diǎn)個(gè)數(shù)) 。以統(tǒng)計(jì)的方法給每個(gè)像素點(diǎn)的深度值建模, 設(shè)為第u幀圖像的某個(gè)像素點(diǎn)的深度值, 其中u代表第u幀圖像, i, j分別代表像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)。由一個(gè)時(shí)間濾波器來保持該像素點(diǎn)深度值的序列均值和時(shí)間偏差

其中,α是一個(gè)可調(diào)增益參數(shù), 其與采樣頻率有關(guān)。通過濾波過程,來得到每個(gè)像素點(diǎn)的深度值基于時(shí)間的統(tǒng)計(jì)特性,由于這些統(tǒng)計(jì)特性反映了環(huán)境的動(dòng)態(tài)特性,據(jù)此可以了解到是環(huán)境的光照發(fā)生了突變,還是有運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)。

3. 2　背景更新與場(chǎng)景識(shí)別

通過上述濾波過程,就可以將光照緩變?nèi)谌氲奖尘爸腥?實(shí)現(xiàn)背景的自適應(yīng)更新。而對(duì)于光照突變,此時(shí)幾乎所有的象素點(diǎn)的亮度值會(huì)同時(shí)增大或減小,但根據(jù)最大流算法的特性,同方向的變化對(duì)流量差不會(huì)引起太大變化, 而對(duì)深度計(jì)算結(jié)果只會(huì)引起較小的同方向變化。這種全局的等量變化, 可以認(rèn)為是光照突變引起的。

其中, a、b和c是3個(gè)可調(diào)節(jié)系數(shù),他們的取值可依據(jù)場(chǎng)景的情況及檢測(cè)光照突變的速度與誤差來進(jìn)行選取。s, t分別是深度圖像的長和寬所包含的像素點(diǎn)個(gè)數(shù)。Q是符合式( 9)的像素點(diǎn)個(gè)數(shù)。一旦檢測(cè)到環(huán)境光照發(fā)生了突變, 就把背景點(diǎn)像素的深度序列均值,全部以當(dāng)前幀像素點(diǎn)的深度值的測(cè)量

值代替,而j以0取代,從而實(shí)現(xiàn)背景的及時(shí)更新。

如果式(10)式(12)中任意一個(gè)不成立的話,則認(rèn)為像素塊深度值的變化并非由光照突變引起, 而是場(chǎng)景中有運(yùn)動(dòng)對(duì)象出現(xiàn)。

4　算法分析與實(shí)驗(yàn)

4. 1　算法復(fù)雜度

對(duì)于光照突變檢測(cè),若有突變的話,則會(huì)立即檢測(cè)出來,當(dāng)有運(yùn)動(dòng)對(duì)象出現(xiàn)時(shí), 并且式( 10)式( 12)都接近滿足時(shí),處理會(huì)較慢,因?yàn)樾枰幚硗蛔儥z測(cè)和運(yùn)動(dòng)對(duì)象兩個(gè)過程。當(dāng)b取25% s ×t時(shí)的處理速度與變化點(diǎn)比例關(guān)系如圖2所示。

相對(duì)于一般的光強(qiáng)、灰度的識(shí)別檢測(cè)算法,本算法的優(yōu)勢(shì)在于不僅可以利用深度特性更容易地檢測(cè)到光照的漸變與突變, 而且可以判斷出現(xiàn)的多個(gè)運(yùn)動(dòng)對(duì)象的主次性。

4. 2　算法誤檢率

由于光照直接對(duì)于像素點(diǎn)的光強(qiáng)、灰度等產(chǎn)生影響,所以深度算法的噪聲容限更大,這樣可降低了誤檢率,多組實(shí)驗(yàn)后得到的誤檢率對(duì)比圖如圖3所示。但是由于深度算法本身對(duì)于反光或者陰暗面會(huì)產(chǎn)生偽點(diǎn),所以,某些時(shí)候由于光照突變中光源的位置變化而會(huì)誤檢為運(yùn)動(dòng)對(duì)象,為此算法還需進(jìn)一步改進(jìn)能判別偽點(diǎn)的出現(xiàn), 除去它在光照突變檢測(cè)中的影響。另外,公式中可調(diào)系數(shù)a, b, c的選取也會(huì)對(duì)不同場(chǎng)景產(chǎn)生影響。

筆者在實(shí)驗(yàn)室環(huán)境下做了不同光照角度、不同環(huán)境光強(qiáng)度、不同運(yùn)動(dòng)物體的多組實(shí)驗(yàn),發(fā)現(xiàn)在反光面或是陰暗面較多的情況下,光照突變檢測(cè)不是很靈敏,而且會(huì)出錯(cuò),但是在增加系數(shù)a, c的值后, 誤檢率有所降低(如圖3所示) 。

5　基于算法的監(jiān)控系統(tǒng)

我們利用該算法實(shí)現(xiàn)了視頻監(jiān)控原型系統(tǒng)。計(jì)算機(jī)視覺算法對(duì)于攝像頭的同步曝光要求很高,所以本系統(tǒng)終端用一塊單獨(dú)的MCU (micro control unit)控制同步曝光。核心算法用DSP處理。系統(tǒng)結(jié)構(gòu)如圖4所示。實(shí)際系統(tǒng)原型圖如圖5所示。

6　結(jié)　論

利用深度信息做智能場(chǎng)景識(shí)別,是一種新的嘗試,有其優(yōu)勢(shì)。將這種方法應(yīng)用到智能視頻監(jiān)控中,能起到很好的效果,克服了其他方法較難處理的光照漸變和突變等問題。對(duì)比單攝像頭監(jiān)控系統(tǒng),該系統(tǒng)可應(yīng)用于更多場(chǎng)合。后續(xù)研發(fā)準(zhǔn)備在系統(tǒng)上加上更多功能,以適用于更多的環(huán)境,并與其他保安類監(jiān)控系統(tǒng)互聯(lián),以組成一整套功能強(qiáng)大、達(dá)到國內(nèi)外一流水平的安防系統(tǒng)。

參考文獻(xiàn)( References)

1Ude A, Riley M. Prediction of body configurations and appearance for model-based estimation of articulated human motions [A ]. In: IEEE SMC’99 Conference Proceeding [ C ] , Tokyo, Japan, 1999: 687～691.

2Ricquebourg Y, Bouthemy P. Real-time tracking of moving persons by exp loiting spatio2tempp ral image slices[ J ]. IEEE Transactions on Pattern Analysis andMachine Intelligence, 2000, 22 (8) : 797～808.

3Tsap L V, Goldof D B, Sarkar S. Nonrigid motion analysis based on dynamic refinement of finite elementmodelsp [ J ]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 ( 5 ) : 526～543.

4Haritaoglu I, Harwood D, Davis L. A real time system for detecting and tracking peop le [ A ]. In: Third International Conference on Automatic Face and Gesture[ C ] , Nara, Japan, Ap ril 1998.

5Wren C, AzarbayejaniA, Darrell T. Real-time tracking of the human body [ J ]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19 (7) : 780～785.

6Ridder C, Munkelt O, Kirchner H. Adap tive background estimation and foreground detection using Kalman filtering[A ]. In: Proceedings International Conference. Recent Advances in Mechatronics, ICRAM’95, Istanbul, Turkey, 1995: 193～199.

7Fujiyoshi H, Lip ton A J. Real-time human motion analysis by image skeletonization[A ]. In: Proceedings of theWorkshop on App lication of ComputerVision, Freiburg, Germany, October 1998.

8Sebastien Roy, Ingemar J Cox. A maximum-flow formulation of the n-camera stereo correspondence p roblem [ A ]. In: International Conference on Computer Vision ( ICCV’98 ) [ C ] , Bombay, India, January 1998: 492～499.

9Cox I J, Hingorani S, Maggs B M. A maximum likelihood stereo algorithm[ J ]. Computer Vision and Image Understanding, 1996, 63 (3) : 542～567.

更多計(jì)算機(jī)與外設(shè)信息請(qǐng)關(guān)注：21ic計(jì)算機(jī)與外設(shè)頻道