3月15日，由智東西主辦，AWE和極果聯(lián)合主辦的AI芯片創(chuàng)新峰會，在上海成功舉辦！本次峰會報名參會的觀眾覆蓋了近4500家企業(yè)，到會觀眾極為專業(yè)，其中總監(jiān)以上級別占比超過62%，現(xiàn)場實際到會人數(shù)超過1800位。

大會現(xiàn)場，20位人工智能及AI芯片業(yè)界翹楚共聚一堂，系統(tǒng)的探討了AI芯片在架構創(chuàng)新、生態(tài)構建、場景落地等方面的技術前景和產(chǎn)業(yè)趨勢。

憑借其創(chuàng)新的存儲優(yōu)先架構（SFA），探境科技去年完成A輪上億元融資，是中國新崛起的AI芯片新生力量之一。大會現(xiàn)場，探境科技創(chuàng)始人兼CEO魯勇進行了主題為《基于存儲優(yōu)先架構的AI芯片使能前端智能》的演講。

由于AI神經(jīng)網(wǎng)絡數(shù)據(jù)量較大，具有高并發(fā)、高耦合等特性，引發(fā)了AI芯片高帶寬存取、以及數(shù)據(jù)間的相關耦合性等問題，所以在馮諾伊曼架構之下，目前AI芯片普遍面臨了“存儲墻”問題——AI計算資源豐富，但存儲及數(shù)據(jù)搬運效率低下。

魯勇認為，本質上AI計算的核心問題是“如何更高效地將數(shù)據(jù)輸送給計算單位”，而并不是如何增加更多AI計算資源。

因此，去年探境發(fā)布了存儲優(yōu)先架構（Storage First Architecture，簡稱SFA），這是一套不同于馮諾伊曼的AI芯片架構，它這套架構從數(shù)據(jù)層和計算層中間，通過數(shù)據(jù)航線，進行節(jié)點間的數(shù)據(jù)搬移。

這套架構的本質是圖計算，控制器通過知道在動態(tài)運行過程中，哪些數(shù)據(jù)和哪些算子需要有一定的相關性，從而構建更加合理的網(wǎng)絡路徑。

SFA架構由此帶來的優(yōu)勢包括：數(shù)據(jù)訪問量能降低10到100倍、存儲子系統(tǒng)的功耗能下降10倍以上、28nm條件下計算資源利用率高達80%、芯片面積極大縮小。

魯勇還表示，SFA還可以做到通用型的AI芯片，不僅可以支持任意已知的神經(jīng)網(wǎng)絡，等同于GPU的兼容性，還對神經(jīng)網(wǎng)絡的參數(shù)、數(shù)據(jù)類型沒有限制，能夠支持多種應用場景，可以真正符合商業(yè)應用。

附探境科技創(chuàng)始人兼CEO魯勇演講實錄

魯勇：大家好！剛才眾多演講者給大家分享了很多AI在各種應用場景的例子，包括從云端的替代GPU作為提高能效比的工具，從云端到終端的延展，終端包括從小到可穿戴，大到安防、自動駕駛等應用場景。所以我在這里就不重復這些應用場景的情況。

最近有很多AI芯片層出不窮地往這個領域在進展，這里有很多機會，目的是能讓AI芯片更加強大、更加易用、更加低功耗。今天上午魏老師提到了AI芯片從0.5到2.0的演進，這當中有大量的創(chuàng)新需要做，基于非?；A層的芯片底層架構，我在這里分享一些探境科技在這方面的創(chuàng)新。

去年探境發(fā)布了存儲優(yōu)先架構（Storage First Architecture，簡稱SFA），這一架構有非常高的領先度，由于很多朋友比較關心和關注，我們今天會先簡單回顧一下SFA是什么。

先預告一下，下面的內容可能會比較偏硬核一些，會談到比較深的技術要點。深度學習給芯片設計帶來了很大挑戰(zhàn)，深度學習的數(shù)據(jù)量非常大，包括訓練好的權重和運行的動態(tài)中間數(shù)據(jù)。

神經(jīng)網(wǎng)絡的運算主要看到的是卷積，左邊是單層的卷積，但實際上在神經(jīng)網(wǎng)絡上真正被用到的是右邊的立體卷積。立體卷積是多個通道的二維卷積，有非常強的耦合性，其數(shù)據(jù)的連接關系以及重復的使用給我們帶來很大的問題。

通常做卷積運算的第一種方法是直接進行卷積運算，設計一個比較硬核的加速器，這種方式在傳統(tǒng)的通信芯片設計里會采用，還有一種方法是采用數(shù)學變換的方式，把卷積轉化為矩陣，這樣可以更加通用地應對不同卷積的尺寸。

在這幾種常見的方法中，我們提到的問題都存在，包括高并發(fā)、高耦合，大量的數(shù)據(jù)引發(fā)了高帶寬存取、以及數(shù)據(jù)間的相關耦合性，帶來了一個“存儲墻”的問題。

在現(xiàn)在的學術界、工業(yè)界，“存儲墻”都是熱點的話題，我們也看到了很多使用試圖破解“存儲墻”的不同方法?！按鎯Α睅淼钠款i是性能跟功耗兩方面的。最開始需要通過外存和內存之間交換數(shù)據(jù)，這一步功耗比較大，第二步是在存儲器的數(shù)據(jù)排序，如何高效地填入到計算單元，這是第二個非常重要的難點。

這個問題我們可以簡化抽象成用EU是計算單元，Memory是所有的存儲。本質上AI計算的核心問題是“如何更高效地將數(shù)據(jù)輸送給計算單位”，而計算并不重要。

我們看到之前很多的解決方案在計算上做了很多文章，包括把計算單位EU升級，從小規(guī)模的計算，比如將乘法器升級到更高規(guī)格的卷積、三維卷積、矩陣等方式。這種方式并不真正地破解瓶頸，瓶頸是在數(shù)據(jù)供給方面。

這里有幾個具體的困難大家可以探討一下：

1、數(shù)據(jù)量大，帶寬要求高，數(shù)據(jù)是不能完全存在片內的，存在片外會有DDR不僅會有功耗問題，我們做SoC的知道，DDR帶寬一向是大家爭奪的重點，所以系統(tǒng)瓶頸會產(chǎn)生。

2、數(shù)據(jù)耦合性比較高，很大程度上數(shù)據(jù)是重復使用的，重復使用的數(shù)據(jù)會進一步加大功耗。

3、其實更大的困難是第三點，數(shù)據(jù)的使用復雜度很高，很多朋友在設計AI芯片的時候，數(shù)據(jù)的排序從不同的網(wǎng)絡層之間切換的是非常困難的。

我們總結一下現(xiàn)在常見解決方式：

1、增加計算資源。剛才提到了，這一方法只能增加計算的效率，但是沒有辦法破解“存儲墻”。

2、通過軟件的方式編輯數(shù)據(jù)，讓數(shù)據(jù)的存儲方式利于硬件直接調取。但是這種方法對于中間的動態(tài)數(shù)據(jù)流是無法應對的。

3、通過硬件整合更大規(guī)模的算子。這一方法有些困難，剛才講到神經(jīng)網(wǎng)絡有很多不同的配置，這些配置對神經(jīng)網(wǎng)絡很難做到全部兼容。

4、在計算資源內部放入少量的存儲資源。但是存儲資源仍然有瓶頸，少量的存儲資源放不了太多的數(shù)據(jù)。

5、還有現(xiàn)在比較火的一種方式是把計算資源放到存儲器內部，一般叫“存算一體化”，這當中也有很多問題沒有被解決，首先它需要非常大的片上存儲，只有大量的片上存儲才能夠把整個神經(jīng)網(wǎng)絡模型都放進去；第二基本上做存算一體的大部分都還是針對全聯(lián)接層構成的DNN或feature map非常小的卷積層進行設計，對這些比較復雜的卷積神經(jīng)網(wǎng)絡是否能夠支持，也是要打問號的。

6、還有一種方法是在算法上設計低精度的網(wǎng)絡，降低對存儲的需求。這種方式看上去是解決了一定問題，但也有場景受限的情況。

總結一下，如果主要關注在計算方面，即使芯片提高了再大的并行度，它對AI計算的效能提升也是有限的。這種架構我們稱之為“類CPU架構，或者“馮諾伊曼架構”。這種架構是由計算驅動存儲。因為這種計算資源在神經(jīng)網(wǎng)絡上是比較富余的，用富余的資源驅動稀缺的存儲資源，顯然沒有辦法帶來很好的收益。

探境科技重新思考了存儲和計算的關系，以存儲來驅動計算，做了一套完全不同于馮諾伊曼的架構。

這套架構從數(shù)據(jù)層和計算層中間，通過數(shù)據(jù)航線，數(shù)據(jù)作為節(jié)點和計算節(jié)點，這個過程是一個數(shù)據(jù)搬移的過程，因為我們可以認為所有的數(shù)據(jù)都有自己的生命周期，它在生命周期里可能會和其他數(shù)據(jù)發(fā)生相應關系，我們以數(shù)據(jù)作為優(yōu)先可以考慮到數(shù)據(jù)帶動算子，而非由算子找數(shù)據(jù)的關系。

這套關系是由Scheduler控制器來控制的，這樣一個CPU可以知道在動態(tài)運行過程中哪些數(shù)據(jù)和哪些算子需要有一定的相關性，從而構建出一張相對比較合理的網(wǎng)絡。

所以這里本質上來講深度學習的計算是圖計算，這個方向上我們對此有很高的認知。

舉個例子，像曾經(jīng)大家做通信算法的時候都會做到傅里葉變換，做時域和頻域的變化，很多問題在時域里無法解決的時候，你走到頻域里就迎刃而解。所以神經(jīng)網(wǎng)絡的本質問題是圖計算問題，當你走到圖計算的高度的時候，很多問題會迎刃而解。

SFA能帶來什么好處呢？首先數(shù)據(jù)訪問量能降低10到100倍，所以存儲子系統(tǒng)的功耗能下降10倍以上；在28nm條件下，系統(tǒng)能效比超過4 TOPS/W，計算資源利用率也很高，超過80%，我們可以看到現(xiàn)在公開的很多AI架構芯片資源利用率都只在50%上下浮動。另外SFA面積非常小，在28nm工藝條件下的Post Layout面積是每TOPS 0.5平方毫米。

同時，SFA可以做到通用型的AI芯片，可以支持任意已知的神經(jīng)網(wǎng)絡，等同于GPU的兼容性。很多設計芯片的朋友都知道，想要做一款通用型的AI芯片非常非常困難，有的只能支持幾個神經(jīng)網(wǎng)絡，有的會在神經(jīng)網(wǎng)絡的參數(shù)上有非常大的限制，只能支持一些，有些可能就不支持了。

SFA對所有的神經(jīng)網(wǎng)絡參數(shù)、架構沒有任何限制，對數(shù)據(jù)類型也任何限制，包括INT8、INT16、浮點16、浮點32、甚至包括一些自定義的浮點，全都可以支持；并且對于深度學習里所講到的稀疏化的數(shù)據(jù)，也是可以自適應去支持，不用事先做任何的預處理。我們知道通用型對芯片設計是非常重要的，因為我們做芯片設計的人通常所面臨的場景是非常廣泛的，只為一個場景做一個具體的芯片可能成本就太高了。

SFA的易用性也非常高，工具鏈使用很簡單，對用戶來說網(wǎng)絡不需要重新訓練，這也是真正用戶使用上的頭疼問題，需要拿著網(wǎng)絡重新訓練，但是SFA的網(wǎng)絡可以直接拿來使用不用訓練，數(shù)據(jù)的精度設置靈活度非常大，甚至可以做到每層做自己的定義數(shù)據(jù)精度。

因此，有這樣的一些優(yōu)點，所以可以考慮做出當前沒有實現(xiàn)的功能，我們既可以做一些訓練，也可以做推理，終端能看到更多的是推理的芯片，SFA也可以做云端的訓練和推理，無縫銜接，更重要的事情是在終端可以做到終端推理和終端的一些本地訓練。

最近大家對隱私的要求也越來越高，很多用戶本地所拍攝的圖像是不太愿意上傳到云端，但他又希望能夠在自己不斷地使用過程中通過自己的訓練能夠讓自己的模型變的更加精確、更加適合場景。這樣的話需要一些本地訓練，或者是需要一些協(xié)同性的訓練，和其他用戶一同訓練更好的模型，采用這樣的架構功能就可以完成。

我們認為這是真正可以符合商業(yè)應用的AI芯片，其他大量的AI芯片會有局限性于固定場景的使用。

基于SFA對所有終端的應用場景都可以支持，語音芯片、機器視覺芯片、自動駕駛芯片等，這些場景的核心點都在于AI計算，如果AI計算能夠超出現(xiàn)有的水平達到更高的能效比、更好的成本控制，在半導體方向上創(chuàng)新永遠是推動行業(yè)發(fā)展的原動力，并且能夠帶來源源不斷的提升。有這樣的SFA的架構應該能夠給所有終端芯片都有新的收獲，包括從成本上、功能上、易用性上，都會有新的創(chuàng)新。