受物聯(lián)網(wǎng)、個(gè)人設(shè)備、數(shù)據(jù)中心的強(qiáng)勁帶動(dòng)，未來(lái)五年，人工智能為半導(dǎo)體帶來(lái)的收益將增長(zhǎng)13倍以上，年復(fù)合增長(zhǎng)率超過50%，成為集成電路廠商不可錯(cuò)過的藍(lán)海盛宴。

尤其在以下這幾個(gè)領(lǐng)域，半導(dǎo)體供應(yīng)商可以積極尋求為人工智能訓(xùn)練開發(fā)新器件并由此獲得新商機(jī)。

工作負(fù)載加速器。目前，基于GPU的系統(tǒng)正在許多訓(xùn)練系統(tǒng)中使用。然而，隨著開發(fā)人員獲得神經(jīng)網(wǎng)絡(luò)算法的經(jīng)驗(yàn)，對(duì)替代計(jì)算架構(gòu)的需求可能隨著針對(duì)特定神經(jīng)網(wǎng)絡(luò)模型的器件需求而演變。許多半導(dǎo)體供應(yīng)商正在開發(fā)專用的AI加速器，例如，Intel Crest系列產(chǎn)品和Graphcore的智能處理單元（IPU）。谷歌還開發(fā)了自己的基于專用集成電路（ASIC）的解決方案，一款已進(jìn)入第二代的張量處理單元（TPU）。現(xiàn)場(chǎng)可編程門陣列（FPGA）也可用于滿足神經(jīng)網(wǎng)絡(luò)訓(xùn)練的一些需求，但是，許多當(dāng)前的算法都使用32位浮點(diǎn)運(yùn)算，這可能會(huì)限制FPGA可以支持的并行度。

內(nèi)存。在數(shù)據(jù)帶寬和內(nèi)存密度方面，提供高吞吐量并行處理會(huì)對(duì)所使用的內(nèi)存子系統(tǒng)帶來(lái)挑戰(zhàn)。今天，許多AI設(shè)備使用高帶寬存儲(chǔ)器（HBM）技術(shù)，該技術(shù)使用安裝在與主處理芯片相同的基板上的堆疊DRAM管芯。目前的HBM2規(guī)范可實(shí)現(xiàn)每個(gè)芯片堆棧高達(dá)256 GB/秒的傳輸速率和每個(gè)堆棧4 GB；對(duì)于具有四個(gè)HBM2堆棧的處理器件，這提供了1 TB/秒的理論最大數(shù)據(jù)帶寬和16 GB的封裝內(nèi)存。除了這種快速本地連接的存儲(chǔ)器之外，AI系統(tǒng)通常還需要在主系統(tǒng)存儲(chǔ)器中容納大量數(shù)據(jù)。

存儲(chǔ)器內(nèi)部處理。不同于處理內(nèi)存附近的數(shù)據(jù)，“在存儲(chǔ)器內(nèi)部處理”，將計(jì)算嵌入到內(nèi)存陣列中，使處理器和內(nèi)存耦合更緊密。存儲(chǔ)器內(nèi)部處理可以提供額外的優(yōu)勢(shì)，包括更精細(xì)的并行性和更高效的性能和能效。目前，計(jì)算機(jī)行業(yè)直接插入式替換這種存儲(chǔ)器內(nèi)部處理并不普及。然而，新興的存儲(chǔ)器技術(shù)，包括自旋轉(zhuǎn)移扭矩RAM（SST RAM）、電阻RAM（RRAM）、相變存儲(chǔ)器（也稱為PCRAM）和Intel/Micron的3D XPoint存儲(chǔ)器，為半導(dǎo)體供應(yīng)商提供了未來(lái)AI應(yīng)用實(shí)現(xiàn)存儲(chǔ)器內(nèi)部處理的機(jī)會(huì)。

互連。器件和系統(tǒng)之間的互連性能將極大限制AI培訓(xùn)系統(tǒng)的擴(kuò)展。今天，許多加速器器件通過Peripheral Component Interconnect Express（PCIe）3.0連接到主系統(tǒng)的微處理單元（MPU）和存儲(chǔ)器陣列。許多行業(yè)聯(lián)盟，如CCIX聯(lián)盟、OpenCAPI聯(lián)盟和Gen-Z聯(lián)盟，正致力于定義可用于互連異構(gòu)計(jì)算系統(tǒng)的緩存一致性互連標(biāo)準(zhǔn)。還有許多專有的系統(tǒng)內(nèi)互連，例如，英特爾的UPI、AMD的Infinity Fabric和Nvidia的NVLink。所有這些互連為半導(dǎo)體供應(yīng)商提供了使其AI加速器器件能夠與主系統(tǒng)處理器及其存儲(chǔ)器子系統(tǒng)連接的機(jī)制，雖然可能有必要協(xié)商訪問互聯(lián)的規(guī)范。

封裝選項(xiàng)。許多專為AI訓(xùn)練而設(shè)計(jì)的器件將采用大型高性能芯片，甚至可能需要多個(gè)芯片才能提供最高水平的性能。這種情況為封裝供應(yīng)商提供了為支持這些產(chǎn)品而開發(fā)和提供新技術(shù)的機(jī)會(huì)。當(dāng)前有一些異構(gòu)封裝選項(xiàng)的例子，包括英特爾開發(fā)的2D嵌入式多層互連橋接（EMIB）封裝技術(shù)，臺(tái)積電在多芯片和3D IC上采用的襯底晶圓芯片（CoWoS）技術(shù)。由許多封裝和測(cè)試公司及代工廠提供的扇出晶圓級(jí)封裝（FOWLP）或板級(jí)封裝，也將允許以更薄的外形和更好的散熱來(lái)實(shí)現(xiàn)芯片的低成本3D集成。