汽車(chē)制造商正在檢查神經(jīng)形態(tài)技術(shù)以實(shí)現(xiàn)人工智能驅(qū)動(dòng)的功能，例如關(guān)鍵字定位、駕駛員注意力監(jiān)控和乘客行為監(jiān)控。

模仿生物大腦過(guò)程很有吸引力，因?yàn)樗型谲?chē)輛趨向于電池供電運(yùn)行的時(shí)候啟用高級(jí)功能而不會(huì)增加顯著的功耗。神經(jīng)形態(tài)計(jì)算和傳感還承諾極低的延遲，在某些情況下實(shí)現(xiàn)實(shí)時(shí)決策。

以下是有關(guān)該技術(shù)如何工作以及它如何出現(xiàn)在未來(lái)汽車(chē)中的內(nèi)幕。

尖峰網(wǎng)絡(luò)

盡管我們?nèi)匀徊煌耆私馊祟?lèi)大腦的工作原理，但前沿研究表明，神經(jīng)元通過(guò)相互發(fā)送稱(chēng)為尖峰的電信號(hào)進(jìn)行交流，而這些尖峰的序列和時(shí)間，而不是它們的大小，才是最重要的。關(guān)鍵因素。神經(jīng)元如何響應(yīng)這些尖峰的數(shù)學(xué)模型仍在制定中。但許多科學(xué)家一致認(rèn)為，如果多個(gè)尖峰同時(shí)（或非?？焖俚剡B續(xù)）從其鄰居到達(dá)神經(jīng)元，這意味著這些尖峰所代表的信息是相關(guān)的，因此導(dǎo)致神經(jīng)元向其發(fā)射一個(gè)尖峰。鄰居。

這與基于深度學(xué)習(xí)（今天的主流人工智能）的人工神經(jīng)網(wǎng)絡(luò)形成對(duì)比，其中信息以有規(guī)律的速度通過(guò)網(wǎng)絡(luò)傳播；也就是說(shuō)，進(jìn)入每個(gè)神經(jīng)元的信息被表示為數(shù)值，而不是基于時(shí)間。

建立一個(gè)基于尖峰的人工系統(tǒng)并不容易。我們不僅不確切知道神經(jīng)元是如何工作的，而且對(duì)于訓(xùn)練尖峰網(wǎng)絡(luò)的最佳方法也沒(méi)有達(dá)成一致。反向傳播——使訓(xùn)練深度學(xué)習(xí)算法成為可能的算法——需要計(jì)算導(dǎo)數(shù)，而這對(duì)于尖峰是不可能的。

一些在該領(lǐng)域工作的人，例如 SynSense，近似尖峰的導(dǎo)數(shù)以使用反向傳播。其他人使用一種稱(chēng)為尖峰定時(shí)依賴(lài)可塑性（STDP）的技術(shù)，它更接近生物大腦的功能。BrainChip 使用這種方法在邊緣進(jìn)行一次性學(xué)習(xí)。然而，STDP 是一種不太成熟的技術(shù)。還有可能采用以正常方式通過(guò)反向傳播訓(xùn)練的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò) (CNN) 并將它們轉(zhuǎn)換為在尖峰域中運(yùn)行。BrainChip 也在追求這種技術(shù)。

SynSense 斑點(diǎn)

SynSense 和寶馬正在合作推進(jìn)神經(jīng)形態(tài)芯片與智能座艙的集成，并探索相關(guān)領(lǐng)域。寶馬將評(píng)估 SynSense 的 Speck 片上系統(tǒng)，它將 SynSense 的神經(jīng)形態(tài)視覺(jué)處理器與來(lái)自 iniVation 的 128 × 128 像素基于事件的相機(jī)相結(jié)合。SoC 可用于捕獲實(shí)時(shí)視覺(jué)信息、識(shí)別和檢測(cè)物體，以及執(zhí)行其他基于視覺(jué)的檢測(cè)和交互功能。

SynSense 全球研究運(yùn)營(yíng)副總裁 Dylan Muir 表示：“當(dāng) BMW 用 Speck 模塊取代 RGB 攝像頭進(jìn)行視覺(jué)傳感時(shí)，它們不僅可以取代傳感器，還可以取代處理標(biāo)準(zhǔn) RGB 視覺(jué)流所需的大量 GPU 或 CPU 計(jì)算?！?

使用基于事件的攝像頭可提供比標(biāo)準(zhǔn)攝像頭更高的動(dòng)態(tài)范圍，這有利于車(chē)內(nèi)和車(chē)外的極端照明條件范圍。

寶馬將探索用于汽車(chē)應(yīng)用的神經(jīng)形態(tài)技術(shù)，包括使用 Speck 模塊進(jìn)行駕駛員注意力和乘客行為監(jiān)控，合作伙伴將“在未來(lái)幾個(gè)月內(nèi)探索車(chē)輛內(nèi)外的其他應(yīng)用，”穆?tīng)栒f(shuō)。

SynSense 的神經(jīng)形態(tài)視覺(jué)處理器具有完全異步的數(shù)字架構(gòu)。每個(gè)神經(jīng)元都使用具有 8 位突觸權(quán)重、16 位神經(jīng)元狀態(tài)、16 位閾值以及單位輸入和輸出尖峰的整數(shù)邏輯。神經(jīng)元使用簡(jiǎn)單的集成和觸發(fā)模型，將輸入尖峰與神經(jīng)元的突觸權(quán)重相結(jié)合，直到達(dá)到閾值，此時(shí)神經(jīng)元觸發(fā)一個(gè)簡(jiǎn)單的 1 位尖峰。Muir 說(shuō)，總體而言，該設(shè)計(jì)是復(fù)雜性和計(jì)算效率之間的平衡。

SynSense 的數(shù)字芯片設(shè)計(jì)用于處理基于事件的 CNN，每一層由不同的內(nèi)核處理。核心異步獨(dú)立運(yùn)行；整個(gè)處理管道是事件驅(qū)動(dòng)的。

“我們的 Speck 模塊以低延遲實(shí)時(shí)運(yùn)行，”Muir 說(shuō)。“我們可以在 <5-mW 的功耗下管理 >20 Hz 的有效推理速率。這比標(biāo)準(zhǔn) RGB 視覺(jué)流上的傳統(tǒng)低功耗計(jì)算要快得多?！?

雖然 SynSense 和寶馬最初將在“智能駕駛艙”中探索神經(jīng)形態(tài)汽車(chē)用例，但其他汽車(chē)應(yīng)用也有潛力。

“首先，我們將探索非安全關(guān)鍵用例，”繆爾說(shuō)?！拔覀冋谟?jì)劃未來(lái)版本的更高分辨率的 Speck，以及與高分辨率傳感器接口的 DynapCNN 視覺(jué)處理器的修訂版。我們計(jì)劃這些未來(lái)技術(shù)將支持先進(jìn)的汽車(chē)應(yīng)用，例如自動(dòng)駕駛、緊急制動(dòng)等?！?

腦芯片秋田

梅賽德斯 EQXX 概念車(chē)在 2022 年國(guó)際消費(fèi)電子展上首次亮相，配備了 BrainChip 的 Akida 神經(jīng)形態(tài)處理器，可在車(chē)內(nèi)進(jìn)行關(guān)鍵詞識(shí)別。這款車(chē)被譽(yù)為“有史以來(lái)最高效的梅賽德斯-奔馳”，它利用神經(jīng)形態(tài)技術(shù)比深度學(xué)習(xí)驅(qū)動(dòng)的關(guān)鍵字識(shí)別系統(tǒng)消耗更少的能量。這對(duì)于應(yīng)該在一次電池充電后提供 620 英里范圍（約 1,000 公里）的汽車(chē)來(lái)說(shuō)至關(guān)重要——比梅賽德斯旗艦電動(dòng)汽車(chē) EQS 遠(yuǎn) 167 英里。

梅賽德斯在 EQXX 公告中表示，當(dāng)發(fā)現(xiàn)喚醒詞“Hey Mercedes”時(shí)，BrainChip 的解決方案比傳統(tǒng)語(yǔ)音控制效率高 5 到 10 倍。

“雖然神經(jīng)形態(tài)計(jì)算仍處于起步階段，但像這樣的系統(tǒng)將在短短幾年內(nèi)投放市場(chǎng)，”梅賽德斯表示?！爱?dāng)在整個(gè)車(chē)輛中大規(guī)模應(yīng)用時(shí)，它們有可能從根本上減少運(yùn)行最新人工智能技術(shù)所需的能量?！?

“[Mercedes] 正在研究電池管理和傳輸?shù)戎卮髥?wèn)題，但每一毫瓦都很重要，[BrainChip] 納入的背景是，即使是最基本的推斷，如發(fā)現(xiàn)關(guān)鍵字，在考慮功率包絡(luò)時(shí)也很重要， ” BrainChip 的首席營(yíng)銷(xiāo)官 Jerome Nadel說(shuō)。

Nadel 表示，2022 年一輛典型的汽車(chē)可能有多達(dá) 70 個(gè)傳感器。在車(chē)廂中，這些傳感器可以實(shí)現(xiàn)面部檢測(cè)、注視估計(jì)、情緒分類(lèi)等。

“從系統(tǒng)架構(gòu)的角度來(lái)看，我們可以以 1:1 的方式做到這一點(diǎn)；有一個(gè)傳感器可以進(jìn)行一定程度的預(yù)處理，然后數(shù)據(jù)將被轉(zhuǎn)發(fā)，”他說(shuō)?！皞鞲衅鞲浇鼤?huì)有 AI 推理，并且……它將向前傳遞推理元數(shù)據(jù)，而不是來(lái)自傳感器的完整數(shù)據(jù)陣列。”

這個(gè)想法是為了最大限度地減少發(fā)送到汽車(chē)主機(jī)中的人工智能加速器的數(shù)據(jù)包的大小和復(fù)雜性，同時(shí)降低延遲并最大限度地減少能源需求。Nadel 說(shuō)，每輛車(chē)都可能配備 70 個(gè) Akida 芯片或支持 Akida 的傳感器，每一個(gè)都將是“一個(gè)不起眼的低成本部件”，并指出公司需要注意材料清單.

展望未來(lái)，Nadel 表示，神經(jīng)形態(tài)處理也將進(jìn)入 ADAS 和自動(dòng)駕駛汽車(chē)系統(tǒng)。他說(shuō)，有可能減少對(duì)其他類(lèi)型的耗電人工智能加速器的需求。

“如果每個(gè)傳感器都有一個(gè)有限的，比如說(shuō)，一個(gè)或兩個(gè)節(jié)點(diǎn)的 Akida 實(shí)現(xiàn)，它將進(jìn)行足夠的推理，并且將傳遞的數(shù)據(jù)將減少一個(gè)數(shù)量級(jí)，因?yàn)檫@將是推理元數(shù)據(jù)，”納德?tīng)栒f(shuō)?！斑@會(huì)對(duì)后備箱服務(wù)器所需的馬力產(chǎn)生影響?！?

Akida 加速了脈沖神經(jīng)網(wǎng)絡(luò) (SNN) 和卷積神經(jīng)網(wǎng)絡(luò)（通過(guò)轉(zhuǎn)換為 SNN）。它不是為任何特定用例或傳感器量身定制的，因此它可以與視覺(jué)傳感一起用于人臉識(shí)別或人員檢測(cè)，或者與揚(yáng)聲器 ID 等音頻應(yīng)用程序一起使用。BrainChip 還展示了 Akida 的氣味和味覺(jué)傳感器，盡管很難想象這些傳感器如何用于汽車(chē)（也許是空氣污染或燃料質(zhì)量的氣味和味道）。

Akida 設(shè)置為處理已轉(zhuǎn)換為尖峰域的 SNN 或深度學(xué)習(xí) CNN。與原生尖峰網(wǎng)絡(luò)不同，轉(zhuǎn)換后的 CNN 保留了尖峰幅度的一些信息，因此可能需要 2 位或 4 位計(jì)算。然而，這種方法允許利用 CNN 的特性，包括它們從大型數(shù)據(jù)集中提取特征的能力。兩種類(lèi)型的網(wǎng)絡(luò)都可以使用 STDP 在邊緣進(jìn)行更新。在梅賽德斯的示例中，這可能意味著重新訓(xùn)練網(wǎng)絡(luò)以在部署后發(fā)現(xiàn)更多或不同的關(guān)鍵字。

據(jù) Autocar 報(bào)道，梅賽德斯已確認(rèn)“許多創(chuàng)新”，包括 EQXX 概念車(chē)的“特定組件和技術(shù)”，將使其成為量產(chǎn)車(chē)。目前還沒(méi)有關(guān)于梅賽德斯的新車(chē)型是否會(huì)配備人工大腦的消息。