【導讀】AI技術(shù)在未來將會如何發(fā)展，在上一篇文章《人工智能下一個10年：敢問路在何方？》中，筆者從人工智能的三要素數(shù)據(jù)、算法、算力的角度闡述了AI產(chǎn)業(yè)的演進趨勢。

AI時代的算力、算法和數(shù)據(jù)處在一種螺旋式的提升關(guān)系中。未來10年，我們將進入一個“算力為王”的智能社會，算力成為AI產(chǎn)業(yè)的核心驅(qū)動力，算力的發(fā)展也將開啟它自己的黃金時代。

本文我們就從算力的發(fā)展說起，聊聊未來10年，算力的挑戰(zhàn)和機遇。

算力有多重要？

算力警告

人們從來沒有想到過芯片的算力會有到達極限的一天，至少從來沒有想到芯片算力極限會這么快到來。

• 每一網(wǎng)絡遍歷的計算量，或給定深度學習模型中單次遍歷(即權(quán)值調(diào)整)所需的浮點運算數(shù)

  
  

• 訓練整個模型的硬件負擔，用處理器數(shù)量乘以計算速度和時間來估算

  
  

• 香農(nóng)定律：定義了熵、信道容量和失真情況下壓縮極限，我們距離這三個極限已比較接近

  
  

• 馮諾依曼架構(gòu)：指五個最基本模塊加上程序存儲原理，是圖靈意義下最好的一種實現(xiàn)。瓶頸在于數(shù)據(jù)和計算的分離。在深度學習中，龐大數(shù)據(jù)量本身就會形成一個瓶頸

  
  

• 摩爾定律：摩爾定律的不斷演進發(fā)展,高性能芯片大幅降低了深度學習算法所需的計算時間和成本，摩爾定律正在逐漸放緩

  
  

• 重新定義“數(shù)據(jù)-信息-知識" ,制定全新的計算范式

  
  

• 設計實現(xiàn)全新的、通用的計算體系、感知體系、通訊架構(gòu)

  
  

• 需要探索全新的芯片模態(tài)。傳統(tǒng)的馮諾依曼架構(gòu)已難以支持當前深度學習所需的計算要素

  
  

• 一是基于老架構(gòu)，使其老樹開新花，以英偉達、AMD、Xilinx和Google等為代表的芯片大廠基于馮諾伊曼計算架構(gòu)繼續(xù)發(fā)展GPU、FPGA和ASIC芯片

  
  

• 二是開發(fā)新架構(gòu)，如存算一體芯片、軟件定義硬件、類腦芯片等

  
  

AI芯片的關(guān)鍵技術(shù)和挑戰(zhàn)

• 訓練

  
  

• 對AI芯片有高算力、高容量和訪問速率、高傳輸速率、通用性的要求

  
  

• 推理

  
  

• 對于AI芯片主要注重算力功耗比、時延、價格成本的綜合能力。實驗證明低精度運算（如float16，int8）可達到幾乎和float32同等的推理效果，所以AI推理芯片有低精度算力的要求

  
  

• AI芯片當前的核心是利用乘加計算（multiplier and accumulation，MAC）陣列來實現(xiàn)卷積神經(jīng)網(wǎng)絡中最主要的卷積運算的加速。MAC陣列的大量運算，會造成功耗的增加。很多AI應用的場景對于功耗都有嚴格的限制，如何達到優(yōu)異的性能功耗比是AI芯片研發(fā)的一個重要目標

  
  

• 深度學習算法中參與計算的數(shù)據(jù)量龐大，導致內(nèi)存帶寬成為了整個系統(tǒng)的一個瓶頸“Memory Wall”也是需要優(yōu)化和突破的主要問題

  
  

• 提高編譯器和工具鏈軟件的優(yōu)化能力、易用性越來越重要

  
  

普惠的算力

正如前面闡述的，算力有多重要，就有多昂貴。巨大的算力需求，使得GPU價格一直居高不下。高昂的成本，讓更多的用戶在AI世界的大門面前望而卻步。

• Make it work

  
  

• Make it perform

  
  

• Make it cheap

  
  

• 針對芯片架構(gòu)進行創(chuàng)新

  
  

• AI應用不同于傳統(tǒng)計算架構(gòu)，AI的算法、模型均有各自特點，因此，從新設計芯片的架構(gòu)，使得性能、能效比達到最優(yōu)

  
  

• 這也是初創(chuàng)企業(yè)最大的機會

  
  

• 軟件定義硬件

  
  

• 虛擬化、資源池化等技術(shù)實現(xiàn)算力的動態(tài)可調(diào)，按需供給

  
  

• 生態(tài)開放和開源

  
  

• 規(guī)?；鼓墚a(chǎn)業(yè)，在產(chǎn)業(yè)中實現(xiàn)規(guī)模化

  
  

• 實現(xiàn)盈利，保證產(chǎn)業(yè)健康可持續(xù)

  
  

• 在產(chǎn)業(yè)發(fā)展演進中實現(xiàn)產(chǎn)品和技術(shù)迭代

  
  

展望下一個十年

未來10年，將是人工智能算力的“超摩爾時代”

• 一方面，芯片制程技術(shù)從7納米、5納米到3納米不斷突破

  
  

• 另一方面，將人工智能算法和算力耦合設計，智能芯片的算力密度提升將超越摩爾定律約束，從而帶來性價比更高的智能算力，讓算力無處不在

  
  

• 5G傳輸技術(shù)的加持，也將以更大的傳輸帶寬、更低的延時，讓智能實時、可感、泛在

  
  

結(jié)語

• 冷兵器時期的——“人力時代”：那時候的一切基本靠肌肉，人能制造工具，讓自己區(qū)別于了其他生物

  
  

• 工業(yè)革命開啟了“馬力時代”：雖然叫馬力，其實這個單位評價的一直是物理功率和化學能量

  
  

• 時至今日，人類正在逐步被“算力時代”所取代