隨著對人工智能 (AI) 和內(nèi)存計算的興趣顯著增加，電阻式隨機存取存儲器 (ReRAM) 可能成為解鎖其模仿人腦能力的關鍵——但挑戰(zhàn)依然存在。

去年的 IEDM 匯集了許多關于推進各種內(nèi)存類型的最新研究論文，包括新興的和現(xiàn)有的。毫不奇怪，他們中的很多人都致力于記憶如何改善內(nèi)存計算、人工智能和機器學習 (ML)，甚至模仿人腦。

ReRAM 一直是神經(jīng)病計算的代名詞，Weebit Nano 已經(jīng)表達了對其技術追求的興趣；盡管它在公司的其他業(yè)務重點上處于次要地位。

與此同時，密歇根大學至少十年前就一直在開發(fā)各種 ReRAM 原型。該大學電氣工程和計算機科學系教授 Wei D. Lu 解釋說，ReRAM 提供高密度非易失性存儲和高效內(nèi)存計算的潛力，而支持 ReRAM 的加速器可以解決馮諾依曼瓶頸密歇根州。他的 IEDM 演示概述了一些設備，以及并行性如何解決越來越大的 AI 模型以及邊緣計算應用程序的功率、延遲和成本要求。

利用并行性的 CPU 仍然會遇到內(nèi)存瓶頸。雖然 GPU 允許更快的內(nèi)存訪問，但 Lu 表示，需要一種從根本上提高吞吐量和計算效率的新計算架構。內(nèi)存保護單元 (MPU) 可以顯著提高并行性并將內(nèi)存與邏輯放在一起，從而實現(xiàn)設備級計算并更好地促進內(nèi)存計算。

MPU 可以顯著提高并行性并將內(nèi)存與邏輯放在一起，從而實現(xiàn)設備級計算并更好地促進內(nèi)存計算（圖片由密歇根大學提供）

Lu 說，ReRAM 在內(nèi)存計算方面的潛力在于使用 ReRAM 陣列作為計算結(jié)構，因為它可以本地執(zhí)行學習和推理功能。ReRAM 還支持雙向數(shù)據(jù)流，而更大的神經(jīng)網(wǎng)絡可以使用具有平鋪 MPU 架構的模塊化系統(tǒng)來實現(xiàn)，以實現(xiàn)更高的吞吐量。

應對 RERAM 挑戰(zhàn)

然而，ReRAM 器件存在幾個關鍵挑戰(zhàn)。一方面，基于高精度模數(shù)轉(zhuǎn)換器的讀出電路構成了重大挑戰(zhàn)，而性能可能會受到包括單元間變化在內(nèi)的設備非理想性的影響。第三個挑戰(zhàn)是在 ReRRAM 設備中觀察到的非線性和不對稱電導更新會嚴重降低訓練精度，Lu 說。

第一個問題的潛在解決方案包括多范圍量化和二元神經(jīng)網(wǎng)絡。Lu 說，具有架構意識的培訓可以解決由設備非理想性引起的性能問題，以及使用 2T2R 架構實現(xiàn)二進制權重，這也有助于應對第三個挑戰(zhàn)。混合精度訓練還可以解決第二個和第三個挑戰(zhàn)，因為它通過以較低精度格式訓練大型神經(jīng)網(wǎng)絡來提供顯著的性能和計算提升。

相變存儲器 (PCM)也是改進內(nèi)存計算的候選者。IBM Research Europe 一直在探索使用 PCM 來解決模擬內(nèi)存計算的溫度敏感性問題。正如 IBM Research 內(nèi)存計算小組成員 Irem Boybat 所述，隨著人工智能神經(jīng)網(wǎng)絡的蓬勃發(fā)展，存在計算效率問題。深度學習是計算密集型的，如果正在進行的“人工智能革命”要可持續(xù)，就必須采用顛覆性的計算機范式。

“語言模型的規(guī)模呈指數(shù)級增長，”Boybat 說。根據(jù) Boybat 的說法，這涉及將大量數(shù)據(jù)從內(nèi)存?zhèn)鬏數(shù)教幚韱卧?，這很昂貴并且會留下大量的碳足跡。

模擬內(nèi)存計算通過在內(nèi)存本身內(nèi)執(zhí)行某些計算任務來模糊內(nèi)存和處理之間的界限，并通過利用內(nèi)存設備的物理屬性來實現(xiàn)。Boybat 說，PCM 是內(nèi)存計算的有前途的候選者，因為它可以以非常密集的方式存儲信息并且消耗的靜態(tài)功率可以忽略不計。IBM Research 最近在過去一年展示了兩款基于 PCM 的內(nèi)存計算芯片。

溫度敏感性仍然是該團隊的研究領域，蘑菇型 PCM 被用于研究保留。放置在芯片下方的電阻加熱器和溫度表明，在 30 至 80 攝氏度范圍內(nèi)預計不會出現(xiàn)滯留問題。IBM Research 的實驗研究了溫度變化和漂移對用于內(nèi)存計算的多級 PCM 的影響。

在IBM Research AI Hardware Center的支持下，研究團隊發(fā)現(xiàn)，盡管 PCM 表現(xiàn)出與電導相關的溫度敏感性，但電導狀態(tài)的歸一化分布在所應用的時間-溫度曲線中保持相對恒定。研究人員開發(fā)了一個可靠的統(tǒng)計模型來捕捉溫度對漂移和電導的影響，并根據(jù) PCM 電導測量對其進行驗證。

他們使用超過一百萬個 PCM 設備證明，使用簡單的補償方案可以在 33 到 80 攝氏度的環(huán)境溫度變化下為各種網(wǎng)絡實現(xiàn)并保持高推理精度。

模仿人腦

另一個超越內(nèi)存計算的熱門研究領域是創(chuàng)建更符合人腦的神經(jīng)網(wǎng)絡。由劉明代表中科院微電子研究所和復旦大學的許多研究人員介紹的基于 ReRAM 的類腦計算 (BIC) 的工作正在受到前所未有的人工智能計算使用速度的推動，劉說，每三個月翻一番。

BIC 將在中長期規(guī)避馮諾依曼瓶頸。（圖片由中國科學院中國微電子研究所提供）

人工智能計算的使用增加使得受大腦啟發(fā)的硬件對于維持發(fā)展至關重要。雖然新的內(nèi)存技術可以在短期內(nèi)增強現(xiàn)有的層次結(jié)構，但 BIC 將在中長期規(guī)避馮諾依曼瓶頸；BIC 包括內(nèi)存計算和神經(jīng)形態(tài)計算。

理解 BIC 需要區(qū)分 AI 的算法：計算機科學的神經(jīng)網(wǎng)絡與生物學和神經(jīng)科學的神經(jīng)網(wǎng)絡。人工神經(jīng)網(wǎng)絡 (ANN) 處理空間域中的連續(xù)信號，而尖峰神經(jīng)網(wǎng)絡 (SNN) 更具生物可能性，因為它模仿了大腦的工作方式。劉說，ReRAM 為 BIC 提供了一個理想的平臺，因為它具有豐富的開關動態(tài)，可以支持大規(guī)模集成、低功耗外圍設備和用于構建 BIC 芯片和系統(tǒng)的特定應用架構。

劉說，在許多其他機構從模擬行為開始進行了十多年的研究之后，很快，集成的 SNN 多核將成為可能。ReRAM SNN 的計算密度和能效為高性能提供了巨大潛力，將事件驅(qū)動表示和集成多核相結(jié)合的芯片將成為現(xiàn)實。然而，要開發(fā)適用于實際應用的 BIC 芯片，在架構層面仍有許多探索工作要做。

ReRAM的特性使其成為人工智能和旨在模仿人腦的應用程序的熱門候選者。但是 IEDM 在 IEDM 2021 上通過一整天的會議和兩次 IEEE 磁性學會活動對磁阻隨機存取存儲器給予了同樣多的關注，以表彰微電子學和磁學界之間的關系以推動進步。

在鐵電隨機存取存儲器 (FRAM) 方面，CEA-Leti 宣布了它聲稱的世界上第一個 130nm 節(jié)點 16-kbit 陣列的演示，使其更接近商業(yè)化。超低功耗、快速、高耐用性和 CMOS 兼容的 BEOL FRAM 存儲器使用一種新的基于 HfO2 的鐵電材料，該材料也比 PZT 更環(huán)保，因為它是無鉛的。

潛在用例包括嵌入式應用程序，例如物聯(lián)網(wǎng) (IoT) 設備和可穿戴設備。這項工作得到了歐盟 3eFERRO 聯(lián)盟項目的支持，該項目旨在生產(chǎn)新的鐵電材料，使 FRAM 成為物聯(lián)網(wǎng)應用中具有競爭力的非易失性存儲器候選者。

盡管許多 IEDM 研究論文傾向于在人工智能、神經(jīng)形態(tài)計算和內(nèi)存計算等前沿應用中使用新興存儲器，但推進現(xiàn)有存儲器（如動態(tài)隨機存取存儲器）仍然是許多研究人員的重點。

英特爾通過 IEDM 活動發(fā)表了多篇論文，其中涵蓋了規(guī)模改進和為芯片帶來新功能的內(nèi)容。英特爾的組件研究概述了圍繞混合鍵合互連的設計、工藝和組裝挑戰(zhàn)所做的努力，提出了將封裝互連密度提高 10 倍以上的愿景。在此之前，英特爾在 7 月宣布推出 Foveros Direct，它支持亞 10 微米的凸塊間距，為 3D 堆疊的互連密度提供了一個數(shù)量級的增加。

其他論文著眼于英特爾如何通過堆疊多個 CMOS 晶體管的方法來應對預期的后 FinFET 時代，該方法旨在通過每平方毫米安裝更多晶體管來實現(xiàn)最大 30% 到 50% 的邏輯縮放改進，以繼續(xù)推進摩爾定律。推進摩爾定律的另一項努力包括即將到來的埃時代，通過研究展示了如何使用只有幾個原子厚的新型材料來制造克服傳統(tǒng)硅通道限制的晶體管——在每個芯片面積上實現(xiàn)數(shù)百萬個晶體管。

英特爾還概述了通過在 300 毫米晶圓上集成基于 GAN 的電源開關與基于硅的 CMOS 為硅帶來新功能的研究，這將實現(xiàn)向 CPU 的低損耗、高速供電，同時減少主板組件和空間。