機(jī)器學(xué)習(xí)有兩個(gè)基本階段：訓(xùn)練和推理。人工神經(jīng)網(wǎng)絡(luò)旨在模仿大腦的運(yùn)作方式，首先要讀取大量的已知數(shù)據(jù)——例如狗和貓的圖片——這樣才能學(xué)會(huì)識(shí)別每個(gè)物體的樣子以及它們的不同之處;然后經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)或模型就可以開始工作，根據(jù)所學(xué)到的知識(shí)推斷呈現(xiàn)在面前的新數(shù)據(jù)是什么事物，例如判別影像中的是狗還是貓。

目前大多數(shù)訓(xùn)練都是在數(shù)據(jù)中心進(jìn)行的，但也有少數(shù)是在邊緣端進(jìn)行。像Google、Facebook、Amazon、Apple和Microsoft這樣的大公司都擁有大量消費(fèi)者資料，因此可以為他們的“服務(wù)器農(nóng)場(chǎng)”提供足夠多的數(shù)據(jù)進(jìn)行工業(yè)規(guī)模的AI訓(xùn)練，以改善其算法。訓(xùn)練階段需要速度非常高的處理器，例如繪圖處理器(GPU)或Google開發(fā)的張量處理器(TPU)。

當(dāng)邊緣設(shè)備收集到數(shù)據(jù)——例如建筑物或人臉的照片——并傳送到推理引擎進(jìn)行分類時(shí)，推理就會(huì)發(fā)生。以云端為基礎(chǔ)的AI因?yàn)楣逃械难舆t缺點(diǎn)，對(duì)許多應(yīng)用來說是不可接受的;例如自動(dòng)駕駛車需要對(duì)看到的物體做出實(shí)時(shí)決策，這以云端AI架構(gòu)就不可能實(shí)現(xiàn)。

隨著AI功能逐漸向邊緣端發(fā)展，它們將推動(dòng)更多的AI應(yīng)用，而且這些應(yīng)用會(huì)越來越需要更強(qiáng)大的分析能力和智能，好讓系統(tǒng)在本地即可做出運(yùn)作決策，無論是部分還是完全自主的，就像自動(dòng)駕駛車輛所配備的功能。

傳統(tǒng)CPU不是很擅長(zhǎng)這類任務(wù)，而高端GPU則是功耗大、價(jià)格昂貴;邊緣端推理需要更便宜、功率更低的芯片，可快速透過神經(jīng)網(wǎng)絡(luò)識(shí)別一種動(dòng)物、一張臉，鎖定一個(gè)腫瘤，或?qū)⒌抡Z翻譯成英語。如今有超過30家公司正在研發(fā)AI專用的硬件，以提高在智能手機(jī)、平板電腦和其他邊緣設(shè)備中完成這類特殊運(yùn)算任務(wù)的效率。

分析師們預(yù)測(cè)，從2017~2021年，全球AI芯片市場(chǎng)將取得高達(dá)54%的年復(fù)合成長(zhǎng)率(CAGR)，其關(guān)鍵成長(zhǎng)動(dòng)力在于能滿足機(jī)器學(xué)習(xí)要求的強(qiáng)大硬件。

消除內(nèi)存瓶頸

所有AI處理器都仰賴于數(shù)據(jù)集，也就是“學(xué)習(xí)過的”對(duì)象種類(如影像、聲音等等)模型，用以執(zhí)行識(shí)別功能;每個(gè)對(duì)象的識(shí)別和分類都需要多次存取內(nèi)存，而當(dāng)今工程師面臨的最大挑戰(zhàn)就是如何克服現(xiàn)有架構(gòu)中的內(nèi)存訪問速度和功耗瓶頸，以實(shí)現(xiàn)更快的數(shù)據(jù)存取，同時(shí)降低數(shù)據(jù)存取消耗的能源成本。

透過在盡可能接近AI處理器核心的位置儲(chǔ)存訓(xùn)練數(shù)據(jù)，可獲得最快訪問速度和最大能效;但是目前的設(shè)計(jì)所采用之儲(chǔ)存架構(gòu)，都是幾年前還沒有其他實(shí)用解決方案時(shí)打造的，仍然是速度快但小容量的嵌入式SRAM與大容量但速度較慢的外部DRAM之傳統(tǒng)組合。當(dāng)訓(xùn)練模型以這種方式儲(chǔ)存，嵌入式SRAM、外部DRAM和神經(jīng)網(wǎng)絡(luò)之間頻繁且大規(guī)模的數(shù)據(jù)交換會(huì)增加功耗及傳輸延遲;此外，SRAM和DRAM都是揮發(fā)性內(nèi)存，限制了在待機(jī)狀態(tài)的省電效果。

利用高密度、高速和低功耗的非揮發(fā)性內(nèi)存將整個(gè)訓(xùn)練模型直接儲(chǔ)存在AI處理器芯片上，就可以實(shí)現(xiàn)更高的能效和速度。透過實(shí)現(xiàn)以內(nèi)存為中心的新架構(gòu)(如圖1)，整個(gè)訓(xùn)練模型或知識(shí)庫就可以放在芯片上，直接與神經(jīng)網(wǎng)絡(luò)鏈接，這樣就有實(shí)現(xiàn)大規(guī)模節(jié)能與性能提升的潛力，并因此能大幅延長(zhǎng)電池壽命并提供更好的用戶體驗(yàn)?，F(xiàn)在已經(jīng)有幾種新一代內(nèi)存技術(shù)正競(jìng)相實(shí)現(xiàn)此一目標(biāo)。

圖1 內(nèi)存位于AI架構(gòu)中心。

ReRAM的潛力

針對(duì)AI應(yīng)用的理想非易失性嵌入式內(nèi)存應(yīng)該具備如下特點(diǎn)：容易制造、容易整合到成熟的CMOS后段工藝、容易微縮到先進(jìn)工藝節(jié)點(diǎn)、可大量供應(yīng)，并且能夠滿足各種應(yīng)用對(duì)功耗和速度的要求。

在工藝微縮方面，電阻式內(nèi)存(ReRAM)會(huì)比磁性內(nèi)存(MRAM)或相變化內(nèi)存(PCM)更具優(yōu)勢(shì)，這在考慮14納米、12納米甚至是7納米晶圓工藝時(shí)是一個(gè)重要因素;其他內(nèi)存技術(shù)都需要比ReRAM更復(fù)雜和昂貴的工藝，運(yùn)作功耗也更高。

舉例來說，美國業(yè)者Crossbar的ReRAM所采用之納米絲(nanofilament)技術(shù)，可以在不影響性能的情況下微縮到10納米以下。ReRAM以簡(jiǎn)單的組件結(jié)構(gòu)為基礎(chǔ)，采用適合CMOS工藝的材料和標(biāo)準(zhǔn)生產(chǎn)流程，可以在現(xiàn)有的CMOS晶圓廠生產(chǎn);因?yàn)槭且环N低溫、后段工藝整合的方案，可以在CMOS邏輯晶圓上整合多層ReRAM數(shù)組，以構(gòu)建3D ReRAM儲(chǔ)存架構(gòu)。

AI需要最佳的每瓦性能，尤其對(duì)于小功率的邊緣設(shè)備;ReRAM的能效可達(dá)到DRAM的五倍——達(dá)到每奈焦(nanojoule) 1,000位的讀取—同時(shí)表現(xiàn)出比DRAM更好的整體讀取性能，高達(dá)12.8GB/s，隨機(jī)延遲小于20ns。

以內(nèi)存為中心的架構(gòu)

科學(xué)家們一直在探索各種新穎的大腦啟發(fā)典范，試圖透過模仿中樞神經(jīng)系統(tǒng)的神經(jīng)元和突觸(synapses)之交互作用來實(shí)現(xiàn)更高的能效。以ReRAM技術(shù)為基礎(chǔ)的人工神經(jīng)突觸是一種非常有前途的方法，可用于在神經(jīng)形態(tài)結(jié)構(gòu)中實(shí)現(xiàn)這些高密度且能終極微縮的突觸數(shù)組。藉由在邊緣端啟動(dòng)AI，ReRAM有可能在現(xiàn)有和全新的AI解決方案中扮演重要角色。