機器學習有兩個基本階段：訓練和推理。人工神經網絡旨在模仿大腦的運作方式，首先要讀取大量的已知數據——例如狗和貓的圖片——這樣才能學會識別每個物體的樣子以及它們的不同之處;然后經過訓練的神經網絡或模型就可以開始工作，根據所學到的知識推斷呈現在面前的新數據是什么事物，例如判別影像中的是狗還是貓。

目前大多數訓練都是在數據中心進行的，但也有少數是在邊緣端進行。像Google、Facebook、Amazon、Apple和Microsoft這樣的大公司都擁有大量消費者資料，因此可以為他們的“服務器農場”提供足夠多的數據進行工業(yè)規(guī)模的AI訓練，以改善其算法。訓練階段需要速度非常高的處理器，例如繪圖處理器(GPU)或Google開發(fā)的張量處理器(TPU)。

當邊緣設備收集到數據——例如建筑物或人臉的照片——并傳送到推理引擎進行分類時，推理就會發(fā)生。以云端為基礎的AI因為固有的延遲缺點，對許多應用來說是不可接受的;例如自動駕駛車需要對看到的物體做出實時決策，這以云端AI架構就不可能實現。

隨著AI功能逐漸向邊緣端發(fā)展，它們將推動更多的AI應用，而且這些應用會越來越需要更強大的分析能力和智能，好讓系統(tǒng)在本地即可做出運作決策，無論是部分還是完全自主的，就像自動駕駛車輛所配備的功能。

傳統(tǒng)CPU不是很擅長這類任務，而高端GPU則是功耗大、價格昂貴;邊緣端推理需要更便宜、功率更低的芯片，可快速透過神經網絡識別一種動物、一張臉，鎖定一個腫瘤，或將德語翻譯成英語。如今有超過30家公司正在研發(fā)AI專用的硬件，以提高在智能手機、平板電腦和其他邊緣設備中完成這類特殊運算任務的效率。

分析師們預測，從2017~2021年，全球AI芯片市場將取得高達54%的年復合成長率(CAGR)，其關鍵成長動力在于能滿足機器學習要求的強大硬件。

消除內存瓶頸

所有AI處理器都仰賴于數據集，也就是“學習過的”對象種類(如影像、聲音等等)模型，用以執(zhí)行識別功能;每個對象的識別和分類都需要多次存取內存，而當今工程師面臨的最大挑戰(zhàn)就是如何克服現有架構中的內存訪問速度和功耗瓶頸，以實現更快的數據存取，同時降低數據存取消耗的能源成本。

透過在盡可能接近AI處理器核心的位置儲存訓練數據，可獲得最快訪問速度和最大能效;但是目前的設計所采用之儲存架構，都是幾年前還沒有其他實用解決方案時打造的，仍然是速度快但小容量的嵌入式SRAM與大容量但速度較慢的外部DRAM之傳統(tǒng)組合。當訓練模型以這種方式儲存，嵌入式SRAM、外部DRAM和神經網絡之間頻繁且大規(guī)模的數據交換會增加功耗及傳輸延遲;此外，SRAM和DRAM都是揮發(fā)性內存，限制了在待機狀態(tài)的省電效果。

利用高密度、高速和低功耗的非揮發(fā)性內存將整個訓練模型直接儲存在AI處理器芯片上，就可以實現更高的能效和速度。透過實現以內存為中心的新架構(如圖1)，整個訓練模型或知識庫就可以放在芯片上，直接與神經網絡鏈接，這樣就有實現大規(guī)模節(jié)能與性能提升的潛力，并因此能大幅延長電池壽命并提供更好的用戶體驗?，F在已經有幾種新一代內存技術正競相實現此一目標。

圖1 內存位于AI架構中心。

ReRAM的潛力

針對AI應用的理想非易失性嵌入式內存應該具備如下特點：容易制造、容易整合到成熟的CMOS后段工藝、容易微縮到先進工藝節(jié)點、可大量供應，并且能夠滿足各種應用對功耗和速度的要求。

在工藝微縮方面，電阻式內存(ReRAM)會比磁性內存(MRAM)或相變化內存(PCM)更具優(yōu)勢，這在考慮14納米、12納米甚至是7納米晶圓工藝時是一個重要因素;其他內存技術都需要比ReRAM更復雜和昂貴的工藝，運作功耗也更高。

舉例來說，美國業(yè)者Crossbar的ReRAM所采用之納米絲(nanofilament)技術，可以在不影響性能的情況下微縮到10納米以下。ReRAM以簡單的組件結構為基礎，采用適合CMOS工藝的材料和標準生產流程，可以在現有的CMOS晶圓廠生產;因為是一種低溫、后段工藝整合的方案，可以在CMOS邏輯晶圓上整合多層ReRAM數組，以構建3D ReRAM儲存架構。

AI需要最佳的每瓦性能，尤其對于小功率的邊緣設備;ReRAM的能效可達到DRAM的五倍——達到每奈焦(nanojoule) 1,000位的讀取—同時表現出比DRAM更好的整體讀取性能，高達12.8GB/s，隨機延遲小于20ns。

以內存為中心的架構

科學家們一直在探索各種新穎的大腦啟發(fā)典范，試圖透過模仿中樞神經系統(tǒng)的神經元和突觸(synapses)之交互作用來實現更高的能效。以ReRAM技術為基礎的人工神經突觸是一種非常有前途的方法，可用于在神經形態(tài)結構中實現這些高密度且能終極微縮的突觸數組。藉由在邊緣端啟動AI，ReRAM有可能在現有和全新的AI解決方案中扮演重要角色。