在人工智能（AI）領域，由于具有先天技術和應用優(yōu)勢，英偉達和谷歌幾乎占據(jù)了AI處理器領域80%的市場份額，其他廠商，如英特爾、特斯拉、ARM、IBM以及Cadence等，也在人工智能處理器領域占有一席之地。最近幾年，我國國內也涌現(xiàn)出了一批AI芯片公司，如地平線、深鑒科技、中科寒武紀等。

從應用場景看，AI芯片主要有兩類，一是部署在以數(shù)據(jù)中心為代表的云端，其特點是高性能，功耗隨之也偏高；另一個是部署在消費級和物聯(lián)網(wǎng)的終端，其最大特點就是低功耗。

目前，AI芯片的大規(guī)模應用場景主要還是在云端。在云端，互聯(lián)網(wǎng)巨頭已經成為了事實上的生態(tài)主導者，因為云計算本來就是巨頭的戰(zhàn)場，現(xiàn)在所有開源AI框架也都是這些巨頭發(fā)布的。在這樣一個生態(tài)已經固化的環(huán)境中，留給創(chuàng)業(yè)公司的空間實際已經消失。

而在終端上，由于還沒有一統(tǒng)天下的事實標準，芯片廠商可以八仙過海各顯神通。目前，AI芯片在終端的應用場景主要還是手機，各大手機處理器廠商都在打AI牌，生怕錯過了熱點。

而隨著5G和物聯(lián)網(wǎng)的成熟，廣闊的市場空間，為終端側的AI芯片應用提供了巨大的機遇，而由于物聯(lián)網(wǎng)終端數(shù)量巨大，應用場景繁多，而所有終端幾乎都有一個共同的需求和特點，那就是低功耗，從而使其能長時間的穩(wěn)定工作，不需要人為干預和維護，以降低運營維護成本。

云端AI芯片已經被各大巨頭把控，而終端側又有著巨大的發(fā)展空間，這使得產學研各界的眾多企業(yè)和科研機構在最近兩年紛紛投入人力和財力，進行低功耗AI芯片的研發(fā)，以期在競爭中占得先機。

前些天，在美國檀香山召開的2018 國際超大規(guī)模集成電路研討會（2018 Symposia on VLSI Technology and Circuits，簡稱 VLSI）上，我國清華大學Thinker團隊發(fā)表了兩款極低功耗AI 芯片（Thinker-II 和 Thinker-S）的相關論文，以及一種支持多種稀疏度網(wǎng)絡和線上可調節(jié)功能的人工神經網(wǎng)絡處理器STICKER。

之所以推出以上3款AI芯片，主要基于以下行業(yè)背景和需求：深度學習的突破性發(fā)展帶動了機器視覺、語音識別以及自然語言處理等領域的進步，然而，由于深度神經網(wǎng)絡巨大的存儲開銷和計算需求，功耗成為 Deploy AI Everywhere 的主要障礙，人工智能算法在移動設備、可穿戴設備和 IoT 設備中的廣泛應用受到了制約。

為克服上述瓶頸，清華大學 Thinker 團隊對神經網(wǎng)絡低位寬量化方法、計算架構和電路實現(xiàn)進行了系統(tǒng)研究，提出了支持低位寬網(wǎng)絡高能效計算的可重構架構，設計了神經網(wǎng)絡通用計算芯片Thinker-II和語音識別芯片Thinker-S。Thinker-II 芯片運行在 200MHz 時，其功耗僅為10mW；Thinker-S芯片的最低功耗為141微瓦，其峰值能效達到90TOPs/W。這兩款芯片有望在電池供電設備和自供能IoT設備中廣泛應用。

Thinker-S中設計了一種基于二值卷積神經網(wǎng)絡和用戶自適應的語音識別框架，同時利用語音信號處理的特點，提出了時域數(shù)據(jù)復用、近似計算和權值規(guī)整化等優(yōu)化技術，大幅度優(yōu)化了神經網(wǎng)絡推理計算。Thinker-S 芯片采用 28nm 工藝，單次推理計算中每個神經元上消耗的能量最低僅為 2.46 皮焦。

圖：Thinker-S 芯片架構

該芯片中設計了兩種二值/三值卷積優(yōu)化計算方法及硬件架構，大幅降低了算法復雜度、有效去除了冗余計算。此外，針對由稀疏化帶來的負載不均衡問題，設計了層次化均衡調度機制，通過軟硬件協(xié)同的兩級任務調度，有效提升了資源利用率。Thinker-II 芯片采用 28nm 工藝，通過架構和電路級重構，支持神經網(wǎng)絡通用計算。

圖：Thinker-II 芯片架構

通過動態(tài)配置人工智能芯片的運算和存儲電路，實現(xiàn)了對不同稀疏度神經網(wǎng)絡的自適應處理，大幅提升了人工智能加速芯片的能量效率。該論文作為人工智能處理器分會場的首篇論文，得到了本屆VLSI技術委員會的高度認可，一同入選的論文還包含了IBM， Intel， Renesas等公司的相關工作。

圖：STICKER神經網(wǎng)絡加速器硬件架構

據(jù)悉，STICKER是世界首款全面支持不同稀疏程度網(wǎng)絡，且同時支持片上網(wǎng)絡參數(shù)微調的神經網(wǎng)絡加速芯片。通過片上自適應編碼器、多模態(tài)計算單元以及多組相連存儲架構技術，實現(xiàn)了針對不同稀疏程度神經網(wǎng)絡的動態(tài)高效處理，大幅提升能量效率，并減少芯片面積。針對傳統(tǒng)神經網(wǎng)絡加速器無法片上調整網(wǎng)絡參數(shù)以適應物聯(lián)網(wǎng)應用場景中目標及環(huán)境多變的問題，首次使用了片上微調稀疏神經網(wǎng)絡參數(shù)的技術，以極低的開銷實現(xiàn)片上神經網(wǎng)絡參數(shù)的自適應調整。相比于傳統(tǒng)加速器，該工作極限能效高達62.1 TOPS/W（為目前有報道的8bit人工智能處理器的最高值）。

圖：Sticker芯片照片

韓國科學技術院KAIST的Dongjoo Shin等人在ISSCC 2017上提出了一個針對CNN和RNN結構可配置的加速器單元DNPU，除了包含一個RISC核之外，還包括了一個針對卷積層操作的計算陣列CP和一個針對全連接層RNN-LSTM操作的計算陣列FRP，DNPU支持CNN和RNN結構，能效比高達8.1TOPS/W。該芯片采用了65nm CMOS工藝。

比利時魯汶大學的Bert Moons等在2017年IEEE ISSCC上提出了能效比高達10.0TOPs/W的、針對卷積神經網(wǎng)絡加速的芯片ENVISION，該芯片采用28nm FD-SOI技術，包括一個16位的RISC處理器核，1D-SIMD處理單元進行ReLU和Pooling操作，2D-SIMD MAC陣列處理卷積層和全連接層的操作，還有128KB的片上存儲器。

SCALLDEEP

普渡大學的Venkataramani S等人在計算機體系結構頂級會議ISCA 2017上提出了針對大規(guī)模神經網(wǎng)絡訓練的人工智能處理器SCALLDEEP。

該論文針對深度神經網(wǎng)絡的訓練部分進行針對性優(yōu)化，提出了一個可擴展服務器架構，且深入分析了深度神經網(wǎng)絡中卷積層，采樣層，全連接層等在計算密集度和訪存密集度方面的不同，設計了兩種處理器core架構，計算密集型的任務放在了comHeavy核中，包含大量的2D乘法器和累加器部件，而對于訪存密集型任務則放在了memHeavy核中，包含大量SPM存儲器和tracker同步單元，既可以作為存儲單元使用，又可以進行計算操作，包括ReLU，tanh等。

論文作者針對深度神經網(wǎng)絡設計了編譯器，完成網(wǎng)絡映射和代碼生成，同時設計了設計空間探索的模擬器平臺，可以進行性能和功耗的評估，性能則得益于時鐘精確級的模擬器，功耗評估則從DC中提取模塊的網(wǎng)表級的參數(shù)模型。該芯片采用了Intel 14nm工藝進行了綜合和性能評估，峰值能效比高達485.7GOPS/W。

英特爾為了加強在人工智能芯片領域的實力，收購了機器視覺公司Movidius。

Movidius在2017年推出了Myriad X，這是一款視覺處理器（VPU，visionprocessing unit），是一款低功耗的SoC，用于在基于視覺的設備上加速深度學習和人工智能——如無人機、智能相機和VR / AR頭盔。

Myriad X是全球第一個配備專用神經網(wǎng)絡計算引擎的片上系統(tǒng)芯片（SoC），用于加速設備端的深度學習推理計算。該神經網(wǎng)絡計算引擎是芯片上集成的硬件模塊，專為高速、低功耗且不犧牲精確度地運行基于深度學習的神經網(wǎng)絡而設計，讓設備能夠實時地看到、理解和響應周圍環(huán)境。引入該神經計算引擎之后，Myriad X架構能夠為基于深度學習的神經網(wǎng)絡推理提供1TOPS的計算性能。

一些傳統(tǒng)AI服務廠商將自己的服務進行垂直拓展，比如的自然語音處理廠商云知聲從自己的傳統(tǒng)語音業(yè)務出發(fā)，開發(fā)了UniOne語音AI芯片，用于物聯(lián)網(wǎng)IoT設備。

相對于語音市場，安防更是一個AI芯片扎堆的大產業(yè)，如果可以將自己的芯片置入攝像頭，是一個不錯的場景，也是很好的生意。包括云天勵飛、海康威視等廠商都在大力開發(fā)安防領域的AI嵌入式芯片，而且已經完成了一定的商業(yè)化部署。

在計算機體系結構頂級會議ISSCC 2018，“Digital Systems： Digital Architectures and Systems”分論壇主席Byeong-GyuNam對AI芯片，特別是深度學習芯片的發(fā)展趨勢做了概括，去年，大多數(shù)論文都在討論卷積神經網(wǎng)絡的實現(xiàn)問題，今年則更加關注兩個問題：一，如果更高效地實現(xiàn)卷積神經網(wǎng)絡，特別是針對手持終端等設備；二，關于全連接的非卷積神經網(wǎng)絡，如RNN和LSTM。

為了獲得更高的能效比，越來越多的研究者把精力放在了低精度神經網(wǎng)絡的設計和實現(xiàn)上，如1bit的神經網(wǎng)絡。這些新技術使深度學習加速器的能效比從去年的幾十TOPS/W提升到了今年的上百TOPS/W。有些研究者也對數(shù)字+模擬的混合信號處理實現(xiàn)方案進行了研究。對數(shù)據(jù)存取具有較高要求的全連接網(wǎng)絡，有些研究者則借助3D封裝技術來獲得更好的性能。

總之，AI芯片在終端側的發(fā)展?jié)摿薮?，且應用場景眾多，品類也多，這就更適合眾多初創(chuàng)的、中小規(guī)模AI芯片企業(yè)的胃口。相信隨著5G和物聯(lián)網(wǎng)的大面積鋪開，低功耗AI芯片將是未來的主要發(fā)展方向，只要相關標準能夠確定，則商機無限。