2019年人工智能逐步從弱人工智能邁入下一階段，而這一切都離不開強大的芯片?，F(xiàn)有深度神經(jīng)網(wǎng)絡(luò)需要用更短的時間、更低功耗完成計算，這就給深度學(xué)習(xí)計算芯片提出了更高的要求。

　　總體來看，深度神經(jīng)網(wǎng)絡(luò)對計算芯片的需求主要有以下兩個方面：

　　一是計算芯片和存儲間海量數(shù)據(jù)通信需求，這里有兩個層面，一個是緩存（Cache）和片上存儲（Memory）的要大，另一個是計算單元和存儲之間的數(shù)據(jù)交互帶寬要大。

　　二是專用計算能力的提升，解決對卷積、殘差網(wǎng)絡(luò)、全連接等計算類型的大量計算需求，在提升運算速度的同時實現(xiàn)降低功耗?？偟膩碚f，AI 計算芯片的發(fā)展過程可以總結(jié)為一直在圍繞如何有效解決存儲與計算單元的提升這兩個問題而展開，成本問題則作為一個舵手控制著終的航向。

　　在深度學(xué)習(xí)訓(xùn)練環(huán)節(jié)，除了使用 CPU 或 GPU 進行運算外，現(xiàn)場可編程門陣列（ Field－Programmable Gate Array，FPGA）以及專用集成電路（Application Specific Integrated Circuit，ASIC）也發(fā)揮了重大作用；而用于終端推斷的計算芯片主要以 ASIC 為主。

　　CPU 在深度學(xué)習(xí)訓(xùn)練場景下表現(xiàn)不佳。初的深度學(xué)習(xí)場景是使用CPU為架構(gòu)搭建的，如初GoogleBrain就是基于CPU組成的。但由于 CPU 其本身是通用計算器，大量芯片核心面積要服務(wù)于通用場景的元器件，導(dǎo)致可用于浮點計算的計算單元偏少，無法滿足深度學(xué)習(xí)特別是訓(xùn)練環(huán)節(jié)的大量浮點運算需求，且并行計算效率太低，很快被具有數(shù)量眾多的計算單元、具備強大并行計算能力的 GPU 代替。

　　GPU 成為目前深度學(xué)習(xí)訓(xùn)練的首要選擇。GPU 的關(guān)鍵性能是并行計算，適合深度學(xué)習(xí)計算的主要原因一是高帶寬的緩存有效提升大量數(shù)據(jù)通信的效率。GPU 的緩存結(jié)構(gòu)為共享緩存，相比于 CPU，GPU線程（Thread）之間的數(shù)據(jù)通訊不需要訪問全局內(nèi)存，而在共享內(nèi)存中就可以直接訪問。二是多計算核心提升并行計算能力。GPU 具有數(shù)以千計的計算核心，可實現(xiàn) 10-100 倍于 CPU 的應(yīng)用吞吐量。同時，基于由 NVIDIA 推出的通用并行計算架構(gòu) CUDA，使 GPU 能夠解決復(fù)雜的計算問題。其包含的 CUDA 指令集架構(gòu)（ISA）以及 GPU 內(nèi)部的并行計算引擎可針對當(dāng)前深度學(xué)習(xí)計算進行加速，但是由于深度學(xué)習(xí)算法還未完全穩(wěn)定，若深度學(xué)習(xí)算法發(fā)生大的變化，則 GPU 存在無法靈活適配問題。

　　FPGA在深度學(xué)習(xí)加速方面具有可重構(gòu)、可定制的特點。因FPGA沒有預(yù)先定義的指令集概念，也沒有確定的數(shù)據(jù)位寬，所以可以實現(xiàn)應(yīng)用場景的高度定制。但 FPGA 的靈活性（通用性）也意味著效率的損失。由于 FPGA 應(yīng)用往往都需要支持很大的數(shù)據(jù)吞吐量，這對于內(nèi)存帶寬和 I/O 互連帶寬要求很高。同時由于邏輯利用率低，引發(fā)無效功耗大。FPGA 市場化的主要阻礙是成本高昂，價格在幾十到幾萬美元一片不等，且應(yīng)用者必須具備電路設(shè)計知識和經(jīng)驗。由于 FPGA 省去了流片過程，在深度學(xué)習(xí)發(fā)展初期成為計算芯片主要解決方案之一，在 GPU 和 ASIC 中取得了權(quán)衡，很好的兼顧了處理速度和控制能力。

　　ASIC（專用集成電路，ApplicaTIon Specific Integrated Circuit）是不可配置的高度定制專用計算芯片。ASIC 不同于 GPU 和 FPGA 的靈活性，定制化的 ASIC 一旦制造完成將不能更改，所以初期成本高、開發(fā)周期長，使得進入門檻高。但 ASIC 作為專用計算芯片性能高于FPGA，相同工藝的ASIC計算芯片比FPGA計算芯片快5-10倍，同時規(guī)模效應(yīng)會使得 ASIC 的成本降低。但高昂的研發(fā)成本和研發(fā)周期是未來廣泛應(yīng)用的阻礙。

　　ASIC 主要生產(chǎn)企業(yè)包括如 Google 的TPU 系列計算芯片，以及國內(nèi)的寒武紀(jì)、地平線等公司。 TPU 的核心為脈動陣列機，其設(shè)計思想是將多個運算邏輯單元（ALU）串聯(lián)在一起，復(fù)用從一個寄存器中讀取的結(jié)果，從而有效平衡了運算和 I/O 的需求。但其只適合做信號處理的卷積、信號和圖像處理（signal and image processing），矩陣算術(shù)（matrix arithmeTIc）和一些非數(shù)值型應(yīng)用（non-numeric applicaTIon）。 另一類 ASIC 代表企業(yè)為國內(nèi)寒武紀(jì)，其 DianNao 系列核心思想為結(jié)合神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)局部性特點以及計算特性，進行存儲體系以及專用硬件設(shè)計，從而獲取更好的性能加速比以及計算功耗比。