根據(jù)計算模式，人工智能核心計算芯片的發(fā)展分為兩個方向：一個是利用人工神經(jīng)網(wǎng)絡(luò)從功能層面模仿大腦的能力，其主要產(chǎn)品就是通常的CPU、GPU、FPGA及專用定制芯片ASIC。另一個神經(jīng)擬態(tài)計算則是從結(jié)構(gòu)層面去逼近大腦，其結(jié)構(gòu)還可進一步分為兩個層次，一是神經(jīng)網(wǎng)絡(luò)層面，與之相應(yīng)的是神經(jīng)擬態(tài)架構(gòu)和處理器，如IBM的TrueNorth芯片，這種芯片把數(shù)字處理器當作神經(jīng)元，把內(nèi)存作為突觸。與傳統(tǒng)馮諾依曼結(jié)構(gòu)不同，它的內(nèi)存、CPU和通信部件完全集成在一起，因此信息的處理完全在本地進行，克服了傳統(tǒng)計算機內(nèi)存與CPU之間的瓶頸。同時神經(jīng)元之間可以方便快捷地相互溝通，只要接收到其他神經(jīng)元發(fā)過來的脈沖（動作電位），這些神經(jīng)元就會同時做動作。二是神經(jīng)元層面，與之相應(yīng)的是元器件層面的創(chuàng)新。如IBM蘇黎世研究中心宣布制造出世界上首個人造納米尺度隨機相變神經(jīng)元，可實現(xiàn)高速無監(jiān)督學(xué)習。

目前，AI芯片雖然在某些具體任務(wù)上可以大幅超越人的能力，但在通用性、適應(yīng)性上相較于人類智能還有很大差距，大多數(shù)仍處于對特定算法的加速階段。從短期來看，以異構(gòu)計算（多種組合方式）為主來加速各類應(yīng)用算法的落地（看重能效比、性價比、可靠性）；從中期來看，要發(fā)展自重構(gòu)、自學(xué)習、自適應(yīng)的芯片來支持算法的演進和類人的自然智能；從長期來看，則是朝著通用AI芯片的方面發(fā)展。

“通用AI芯片”是AI芯片皇冠上的明珠。它最理想化的方式是淡化人工干預(yù)（如限定領(lǐng)域、設(shè)計模型、挑選訓(xùn)練樣本、人工標注等）的通用智能芯片，必須具備可編程性、架構(gòu)的動態(tài)可變性、高效的架構(gòu)變換能力或自學(xué)習能力、高計算效率、高能量效率、應(yīng)用開發(fā)簡潔、低成本和體積小等特點。就目前而言，實現(xiàn)通用AI的主要直面兩大挑戰(zhàn)：一是通用性（算法和架構(gòu)），二是實現(xiàn)的復(fù)雜度。通用AI芯片的復(fù)雜度來自于任務(wù)的多樣性和對自學(xué)習、自適應(yīng)能力的支持。因此，通用AI芯片的發(fā)展方向不會是一蹴而就地采用某一種芯片來解決問題，因為理論模型和算法尚未完善。最有效的方式是先用一個多種芯片設(shè)計思路組合的靈活的異構(gòu)系統(tǒng)來支持，各取所長，取長補短。一旦架構(gòu)成熟，就可以考慮設(shè)計SoC來在一個芯片上支持通用AI。

從短期來看，很難期待出現(xiàn)像CPU那樣的AI通用算法芯片，AI殺手級應(yīng)用還沒出現(xiàn)，未來還有很長一段路要走。但必須承認的是，AI芯片是人工智能技術(shù)發(fā)展過程中不可逾越的關(guān)鍵階段。無論哪種AI算法，最終的應(yīng)用必然通過芯片來實現(xiàn)。目前，AI算法都有各自長處和短板，必須給它們設(shè)定一個合適的應(yīng)用邊界，才能最好地發(fā)揮它們的作用。因此，確定應(yīng)用領(lǐng)域就成為了發(fā)展AI芯片的重要前提。

在應(yīng)用方面，“無行業(yè)不AI”似乎正在成為主旋律，無論是人臉識別、語音識別、機器翻譯、視頻監(jiān)控，還是交通規(guī)劃、無人駕駛、智能陪伴、輿情監(jiān)控、智慧農(nóng)業(yè)等，人工智能似乎涵蓋了人類生產(chǎn)生活的方方面面。然而，是所有的應(yīng)用都需要人工智能嗎？我們希望人工智能解決哪些實際的問題？什么才是AI的“殺手級”應(yīng)用？這些問題目前依然等待答案。但對于芯片從業(yè)者而言，當務(wù)之急是研究芯片架構(gòu)問題。從感知、傳輸?shù)教幚?，再到傳輸、?zhí)行，這是AI芯片的一個基本邏輯。研究者需要利用軟件系統(tǒng)、處理器等去模仿。軟件是實現(xiàn)智能的核心，芯片是支撐智能的基礎(chǔ)。

從芯片發(fā)展的大趨勢來看，目前尚處于AI芯片發(fā)展的初級階段，無論是科研還是產(chǎn)業(yè)應(yīng)用都有巨大的創(chuàng)新空間。從確定算法、領(lǐng)域的AI加速芯片向具備更高靈活性、適應(yīng)性的智能芯片發(fā)展是科研發(fā)展的必然方向。神經(jīng)擬態(tài)芯片技術(shù)和可重構(gòu)計算芯片技術(shù)允許硬件架構(gòu)和功能隨軟件變化而變化，實現(xiàn)以高能效比支持多種智能任務(wù)，在實現(xiàn)AI功能時具有獨到的優(yōu)勢，具備廣闊的前景。

雖然AI芯片目前還不是特別智能，但它們絕對很聰明，而且很有可能在不久的將來變得更加智能。這些芯片將繼續(xù)利用半導(dǎo)體加工、計算機架構(gòu)和SoC設(shè)計方面的先進技術(shù)，以提高處理能力，支持下一代AI算法。與此同時，新的AI芯片將繼續(xù)需要先進的存儲系統(tǒng)和片上互連架構(gòu)，以便為新的專有硬件加速器提供深度學(xué)習所需的源源不斷的數(shù)據(jù)流。相信，未來十年將是AI芯片發(fā)展的重要時期，有望在架構(gòu)和設(shè)計理念取得巨大的突破。

具體到不同計算場景和不同計算需求，云端和終端芯片的架構(gòu)設(shè)計趨勢將朝不同的方向發(fā)展，而軟件定義芯片已經(jīng)成為靈活計算領(lǐng)域的主流。

一、云端訓(xùn)練和推斷：大存儲、高性能、可伸縮

雖然訓(xùn)練和推斷在數(shù)據(jù)精度、架構(gòu)靈活和實時性要求上有一定的差別，但它們在處理能力（吞吐率）、可伸縮可擴展能力以及功耗效率上具有類似的需求。

NVIDA的V100GPU和Google的CloudTPU是目前云端商用AI芯片的標桿。

（CloudTPU的機柜包括64個TPU2，能夠為機器學(xué)習的訓(xùn)練任務(wù)提供11.5PFLOPS的處理能力和4TB的HBM存儲器。這些運算資源還可以靈活地分配和伸縮，能夠有效支持不同的應(yīng)用需求。）

從NVIDA和Goolge的設(shè)計實踐我們可以看出云端AI芯片在架構(gòu)層面，技術(shù)發(fā)展呈現(xiàn)三大特點和趨勢：

（1）存儲的需求（容量和訪問速度）越來越高。未來云端AI芯片會有越來越多的片上存儲器（比如Graphcore公司就在芯片上實現(xiàn)的300MB的SRAM），以及能夠提供高帶寬的片外存儲器（HBM2和其它新型封裝形式）。

（2）處理能力推向每秒千萬億次（PetaFLOPS），并支持靈活伸縮和部署。對云端AI芯片來說，單芯片的處理能力可能會達到PetaFLOPS的水平。實現(xiàn)這一目標除了要依靠CMOS工藝的進步，也需要靠架構(gòu)的創(chuàng)新。比如在Google第一代TPU中，使用了脈動陣列（SystolicArray）架構(gòu)，而在NVIDA的V100GPU中，專門增加了張量核來處理矩陣運算。

（3）專門針對推斷需求的FPGA和ASIC。推斷和訓(xùn)練相比有其特殊性，更強調(diào)吞吐率、能效和實時性，未來在云端很可能會有專門針對推斷的ASIC芯片（Google的第一代TPU也是很好的例子），提供更好的能耗效率并實現(xiàn)更低的延時。

二、邊緣設(shè)備：把效率推向極致。

相對云端應(yīng)用，邊緣設(shè)備的應(yīng)用需求和場景約束要復(fù)雜很多，針對不同的情況可能需要專門的架構(gòu)設(shè)計。拋開需求的復(fù)雜性，目前的邊緣設(shè)備主要是執(zhí)行“推斷”。衡量AI芯片實現(xiàn)效率的一個重要指標是能耗效率--TOPs/W，這也成為很多技術(shù)創(chuàng)新競爭的焦點。在ISSCC2018會議上，就出現(xiàn)了單比特能效達到772TOPs/W的驚人數(shù)據(jù)。

在提高推斷效率和推斷準確率允許范圍內(nèi)的各種方法中，降低推斷的量化比特精度是最有效的方法。此外，提升基本運算單元（MAC）的效率可以結(jié)合一些數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換來減少運算量，比如通過快速傅里葉變換（FFT）變換來減少矩陣運算中的乘法；還可以通過查表的方法來簡化MAC的實現(xiàn)等。

另一個重要的方向是減少對存儲器的訪問，這也是緩解馮·諾伊曼“瓶頸”問題的基本方法。利用這樣的稀疏性特性，再有就是拉近運算和存儲的距離，比如把神經(jīng)網(wǎng)絡(luò)運算放在傳感器或者存儲器中。

三、軟件定義芯片

對于復(fù)雜的AI任務(wù)，甚至需要將多種不同類型的AI算法組合在一起。即使是同一類型的AI算法，也會因為具體任務(wù)的計算精度、性能和能效等需求不同，具有不同計算參數(shù)。因此，AI芯片必須具備一個重要特性：能夠?qū)崟r動態(tài)改變功能，滿足軟件不斷變化的計算需求，即“軟件定義芯片”。

可重構(gòu)計算技術(shù)允許硬件架構(gòu)和功能隨軟件變化而變化，具備處理器的靈活性和專用集成電路的高性能和低功耗，是實現(xiàn)“軟件定義芯片”的核心，被公認為是突破性的下一代集成電路技術(shù)。清華大學(xué)微電子所設(shè)計的AI芯片（代號Thinker），采用可重構(gòu)計算架構(gòu)，能夠支持卷積神經(jīng)網(wǎng)絡(luò)、全連接神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)等多種AI算法。

Thinker芯片通過三個層面的可重構(gòu)計算技術(shù)，來實現(xiàn)“軟件定義芯片”，最高能量效率達到了5.09TOPS/W：

1。計算陣列重構(gòu)：Thinker芯片每個計算單元可以根據(jù)算法所需要的基本算子不同而進行功能重構(gòu)，支持計算陣列的按需資源劃分以提高資源利用率和能量效率。

2。存儲帶寬重構(gòu)：Thinker芯片的片上存儲帶寬能夠根據(jù)AI算法的不同而進行重構(gòu)。存儲內(nèi)的數(shù)據(jù)分布會隨著帶寬的改變而調(diào)整，以提高數(shù)據(jù)復(fù)用性和計算并行度，提高了計算吞吐和能量效率。

3。數(shù)據(jù)位寬重構(gòu)：為了滿足AI算法多樣的精度需求，Thinker芯片的計算單元支持高低（16/8比特）兩種數(shù)據(jù)位寬重構(gòu)。高比特模式下計算精度提升，低比特模式下計算單元吞吐量提升進而提高性能。

采用可重構(gòu)計算技術(shù)之后，軟件定義的層面不僅僅局限于功能這一層面。算法的計算精度、性能和能效等都可以納入軟件定義的范疇。

四、新興存儲技術(shù)打開新思路

《白皮書》第六章主要介紹對AI芯片至關(guān)重要的存儲技術(shù)，包括傳統(tǒng)存儲技術(shù)的改進和基于新興非易失存儲（NVM）的存儲器解決方案。

可以預(yù)見的是，從器件到體系結(jié)構(gòu)的全面創(chuàng)新或?qū)①x予AI芯片更強的能力。近期，面向數(shù)字神經(jīng)網(wǎng)絡(luò)的加速器（GPU、FPGA和ASIC）迫切需要AI友好型存儲器；中期，基于存內(nèi)計算的神經(jīng)網(wǎng)絡(luò)可以為規(guī)避馮·諾依曼瓶頸問題提供有效的解決方案；最后，基于憶阻器的神經(jīng)形態(tài)計算可以模擬人類的大腦，是AI芯片遠期解決方案的候選之一。

1。AI友好型存儲器

上圖顯示了新興存儲技術(shù)中帶寬和容量的快速增長。新興的NVM由于其相對較大的帶寬和迅速增長的容量，可以在AI芯片的存儲技術(shù)中發(fā)揮至關(guān)重要的作用。對于嵌入式應(yīng)用，NVM的片上存儲器也可以提供比傳統(tǒng)NVM更好的存取速度和低功耗，可在非常有限的功率下工作，這對于物聯(lián)網(wǎng)邊緣設(shè)備上的AI芯片特別具有吸引力。

2。片外存儲器

3D集成已經(jīng)被證明是增加商業(yè)存儲器的帶寬和容量的有效策略，其可以通過使用從底部到頂部的硅通孔（TSV）技術(shù)，堆疊多個管芯或者單片制造的方法來完成。DRAM的代表作品包括HBM和混合存儲器立方體（HMC）。

上圖顯示了NVIDA的GPU產(chǎn)品與HBM集成的AI應(yīng)用程序。對于NAND閃存，3DNAND正在深入研究。最近，三星已經(jīng)開發(fā)出96層3DNAND。

3。片上（嵌入型）存儲器

由于能夠連接邏輯和存儲器電路，并且與邏輯器件完全兼容，SRAM是不可或缺的片上存儲器，其性能和密度不斷受益于CMOS的尺寸縮放。其易失性使得芯片上或芯片外的非易失性存儲器成為必須。當前主要和新興存儲器的器件指標如下：

此外，自旋力矩傳輸存儲器（STT-MRAM）由于其高耐久性和高速度被認為是DRAM的替代品。