事件相機是感知“事件”發(fā)生變化并輸出“事件”信息，有別于傳統(tǒng)相機輸出的圖像信息。而所謂的“事件”指的就是每個像素的亮度變化，輸出的也就是像素亮度變化情況。事件相機的關鍵器件就是基于事件的視覺傳感器，簡稱EVS（Event-based Vision Sensor）。

雖然EVS看上去是很新穎的技術，但是離我們的生活其實越來越近，在不論是消費或工業(yè)領域都會有越來越多相關的落地應用。

Prophesee是第一家商業(yè)化EVS技術的公司，在近日召開的2023上海機器視覺展上也展出了諸多EVS的demo。我們也有幸在現場采訪到了Prophesee副總裁兼大中華區(qū)總經理楊雪飛先生，他針對EVS技術特點和相關應用方向進行了深入的分享。

Prophesee 2023上海機器視覺展展位（圖片來源：Prophesee）

EVS為AI運算提供高效低時延動態(tài)數據

據楊雪飛介紹，EVS技術原理來自仿生學，和傳統(tǒng)幀率相機的工作原理截然不同。人眼的視網膜中有兩種視覺感知細胞。一種叫視錐細胞，另一種叫視桿細胞。視錐細胞可以提供給人腦豐富的色彩感知；視桿細胞其實它只捕捉一個光線的變化，然后形成一個動態(tài)的框架。人眼看到的信息，是在視錐細胞感知色彩的基礎上，加上大量的來自視桿細胞的動態(tài)框架信息，在人腦中進行變化和補償，才產生了我們意識當中所看到的視覺信息。通過這種方法可以節(jié)省大量的功耗，不需要每個細節(jié)的視覺信息都傳輸到大腦皮層，只需要把變化量傳輸到大腦皮層以后，在大腦皮層進行修補，因此人腦才能實現這樣一個高效的視覺系統(tǒng)。

基于幀的相機（左）與Prophesee事件相機（右）（圖片來源：Prophesee）

而傳統(tǒng)CMOS傳感器的原理就好比是視錐細胞，提供豐富的色彩信息；而EVS就好比是視桿細胞，輸出的信號沒有顏色，而是捕捉光的變化中物體的邊緣信息，輸出這一動態(tài)變化的框架信息。

基于工作原理的不同，EVS有著一些獨特的優(yōu)勢。

首先，EVS能夠為AI類運算提供更高效、豐富且低時延的動態(tài)數據信息。EVS輸出的只是邊緣數據，例如整幅畫面是100萬像素，有可能變化的邊緣信息只是其中的1%甚至千分之一，但EVS能夠將這一時間點內所有的動態(tài)變化的框架信息輸出，所以EVS的數據非常高效。

傳統(tǒng)相機輸出的是同步信號，而EVS輸出的是異步信號。傳統(tǒng)相機都是以幀為單位的，例如通常一秒鐘有24幀、30幀向外傳輸圖像。而EVS產生的影像是沒有幀率的，只根據光線變化對外輸出信號，沒有變化就沒有信號輸出。

“在時間域上EVS輸出信號是完全連續(xù)的，考慮到半導體實現的過程當中會帶來延時，所以目前我們事件和事件當中的最小間隔是以微秒為單位?！睏钛╋w分享到，“換句話說，EVS可以在同一個地方輸出上萬次/秒的信息，類比傳統(tǒng)相機相當于提供了上萬幀/秒的動態(tài)影像，所以速度會非?？欤瑪祿卜浅８咝?，這樣就能夠把AI所需要的數據采集、豐富起來。”

第二，EVS能夠提供高動態(tài)范圍。傳統(tǒng)相機拍照時都需要一定的曝光時間，而對于明暗差別大的場景，就容易出現高亮度區(qū)域過曝、低亮度區(qū)域看不見的情況。而EVS是獨立觀察每個像素上的光線的變化量，不做長時間的累積，因此沒有曝光時間，在暗的地方它用暗的判斷方式快速的提供信號，亮的地方就用亮的方式快速提供信號。

“Prophesee Metavision傳感器的動態(tài)范圍可以往120dB、140dB以上無限向上延伸，在歐洲某些天文觀測領域會采用EVS來進行恒星拍攝?！睏钛╋w介紹到。

結合EVS的上述特點，EVS能夠在很多傳統(tǒng)的應用上，帶來突破性體驗。例如在手機相機應用上，疊加EVS的信息，融合EVS和CMOS的數據實現更好的暗光、防抖效果。在老人看護應用上，替代傳統(tǒng)的相機和雷達方案，在保證隱私情況下實現對老人看護實時監(jiān)控。在汽車自動駕駛應用中，通過高效數據實現AI算力高效處理。而在工業(yè)領域，EVS能夠替代傳統(tǒng)機器視覺中的相機，實現更高效可靠的應用。這也是此次機器視覺展上，Prophesee展出的demo的重點，我們也將重點介紹在此領域的EVS應用。

機器視覺應用，EVS更適合

“其實視覺信號一直有一個發(fā)展的趨勢——即從imaging（圖像）向sensing（感知）的方向轉變。 Imaging顧名思義要有圖像，讓人們能夠看清楚它是什么樣子的，但是sensing不需要把每個細節(jié)看得很清楚，只要感知到動態(tài)的變化，這恰恰是EVS能夠提供的?！睏钛╋w分享到。

從未來發(fā)展趨勢來看，機器對于視覺的判斷一定是越來越快的，但算力和帶寬的提升是一方面，從傳感器上實現高效數據采集則能夠幫助這個那個系統(tǒng)實現極大的加速。傳統(tǒng)相機是為人眼的觀感構建的圖像信息，而EVS則是更適合機器來“觀看”的動態(tài)信息。對于機器視覺而言，對于視覺信息的理解和人眼的理解是不同的，從機器的角度獲得更多動態(tài)影像而非靜態(tài)影像信息才能夠幫助其在有限帶寬、有限算力的情況下實現快速捕捉。

在此次機器視覺展上，Prophesee展出了一款塔吊的demo，借助EVS實現了高效、可靠同時低功耗的被吊物體3維實時監(jiān)測。

在此demo中，塔吊的駕駛艙下方安裝了一顆EVS相機，而在需要被塔吊吊起的集裝箱上選取6個點安裝了6顆LED。每一顆LED都采用了不同閃爍方式，EVS相機可以基于此來判斷不同的燈的移動變化，從而提供整個集裝箱的三維建模信息。例如在有風吹過時，整個集裝箱的小幅擺動的位置數據都能夠實時在捕捉到。在一些惡劣環(huán)境中，操作員可以遠程實現塔吊的操作，從而無需在塔吊的駕駛室中進行操作。

Prophesee展出了一款塔吊的demo（圖片來源：Prophesee）

在此應用案例中，EVS只需要捕捉幾個燈的光線閃爍的移動信息即可，因此整體的數據量極小，對于系統(tǒng)整體的功耗要求也就更低。此外，因為六個燈的位置已經提前相互確定，所以即使其中一個或兩個燈被遮擋住了，通過其他的燈的連續(xù)位置變化，也能夠獲得整個集裝箱的位置變化。

對于塔吊場景的遠程控制，關鍵的一點在于要能夠實現幾乎零延時觀察和操作。EVS的優(yōu)勢在于延時低、數據量小、采集速度快，后端的算力延遲也小，因此應用在塔吊遠程實時監(jiān)控上是一個非常好的方案，塔吊安全系數也得以提高。

在工業(yè)領域，通過振動檢測、狀態(tài)監(jiān)測來實現預測性維護，能夠幫助客戶提前發(fā)現可能出現的故障問題，免除產線意外停工造成的巨額損失。而目前常見的方案大多采用振動傳感器，通過貼裝的方式來進行振動數據捕捉。EVS為這種工業(yè)預測性維護應用也提供了一種新穎的方案。

傳送帶demo（圖片來源：Prophesee）

在現場的demo演示中，通過Prophesee的一個EVS相機，可以實現對輸料帶的振動頻率的實時監(jiān)控。首先最明顯的優(yōu)勢在于，采用EVS相機可以在不接觸被測工業(yè)設備的情況下進行安裝部署，從而無需被測工業(yè)設備停機，而且安裝位置相對靈活的多。第二點好處在于，EVS拍出的是時間上連續(xù)的影像動態(tài)框架信息，因此可以直接判斷出傳送帶的頻率，具有更高的準確率和精度。第三點優(yōu)勢在于，一個相機就可以實時判斷出多個不同部位的不同振動頻率。因為是捕捉的整個畫面中的框架信息變化，所以一個工業(yè)設備或一個輸料帶上的多個位置的不同頻率，都可以記錄下來通過后端算法進行處理，獲得更豐富的設備狀態(tài)監(jiān)測。

據楊雪飛介紹，這種采用EVS相機進行振動監(jiān)測的應用，目前在歐洲已經有了落地的工業(yè)級項目。

在此次展會現場，Prophesee還展出了一個采用EVS相機進行計數的demo。在此演示中，展示了一個高速旋轉的圓盤，圓盤上會有需要計數的圓點出現。而要對這些高速變化和移動的圓點進行計數，人眼是無法做到的，甚至連物體移動的狀態(tài)都無法判斷出來。

這類應用的實際場景非常多，例如糧食、藥片的快速檢測。比如在藥品的快速下落過程中，判斷藥片的尺寸是否有不合格的，可以通過噴頭將不合格藥片吹掉。而像大米計數等也有類似的應用案例。

傳統(tǒng)上此類方案是通過高速相機的方式來計數，但要達到如此高效率的高速相機的成本極高，而且采集到的同步信息的數據量極大，對于后端的處理和算法優(yōu)化的難度也非常高，因此整個系統(tǒng)的成本都比較高。而采用EVS替代高速相機之后，由于本身EVS價格相比高速相機更低，而且傳輸的數據量更小，因此對于整體的效益、效率都有提升。對于此類工業(yè)系統(tǒng)而言是非常好的降本增效的解決方案。

推動EVS的大規(guī)模應用落地

EVS雖然算起來已經誕生很久了，但實際商業(yè)化時間并不長。目前仍存在著價格偏高的應用痛點，同時雖然其應用面很廣，想要打入傳統(tǒng)應用中還要面臨很多市場客戶等方面的困難。

Prophesee正在扎扎實實地推進EVS在各個應用領域的全面落地。據楊雪飛介紹，面向工業(yè)和消費等不同的市場Prophesee提供了不同的產品，但都是能夠符合整個市場的價格預期，價格能夠被客戶所接受。工業(yè)上用量不大，規(guī)格要求更高，而消費類上用量大，價格方面會做到更容易被大面積搭載和接受。

在量產方面，EVS同樣需要克服一系列的挑戰(zhàn)，實現規(guī)模化從而降低成本。Prophesee是全球第一家商業(yè)化EVS技術的公司，2015年就有了第一代的量產傳感器，然后按照每兩年一迭代的節(jié)奏進行產品更新，2021年發(fā)布了第四代傳感器，今年是第五代傳感器。在商用化的過程當中，Prophesee也積累了大量的經驗，包括提高產品的良率等。

在第四代的時候，索尼作為非常重要的相機模組合作伙伴加入了，Prophesee的第四代傳感器也由雙方共同開發(fā)，在索尼工廠進行的生產，目前第四代的整體良率情況非常好。而在現在的第五代產品層面，Prophesee也會考慮更多不同的合作方案。

而考慮到新硬件技術的實際應用，軟件同樣重要。Prophesee是軟硬件兼?zhèn)涞墓?，提供的產品里面既包括機器視覺傳感器，又提供了Metavision軟件包。據悉，Metavision軟件包可以免費下載使用，類似于底層應用的調用。客戶基于此軟件包可以更加專注于上層應用開發(fā)，而無需關注底層數據層的開發(fā)。從而幫助客戶快速實現對于EVS的上手調試，更快地完成應用層的軟件設計。

而說到生態(tài)建設，Prophesee已經提供了Metavision的評估套件，并且與SoC廠商、手機廠商、軟件廠商、工業(yè)消費等等一系列各種不同應用不同類型的廠商展開了合作，積極進行大規(guī)模商業(yè)化落地的探索。而在開發(fā)者生態(tài)層面，Prophesee有一個專門的基于EVS技術的社區(qū)，全球知名學府教授在內的幾千位注冊用戶都在上面進行EVS相關的應用開發(fā)交流，中文版的開發(fā)者社區(qū)也在建設中，不久將會上線，為中國的EVS應用開發(fā)者提供更好的支持。

對于EVS的大規(guī)模商用落地，Prophesee已經做好了準備。從傳感器到相機模組量產、從硬件到各行業(yè)解決方案、從高校培育到開發(fā)者生態(tài)建設，整個布局已經全面完成，接下來在哪個應用方向上會率先實現突破、占據有競爭力的市場份額，會是我們持續(xù)觀察的點。而楊雪飛對此非常有信心，“雖然EVS看上去是很新穎的技術，但是離我們的生活其實越來越近，會有越來越多相關的應用能夠直接推到市場上供用戶使用。”