“小顯存，大模型”國數(shù)集聯(lián)解讀如何降低AI普惠門檻

當(dāng)行業(yè)普遍在為部署一套千億參數(shù)大模型而堆砌數(shù)百GB HBM顯存、配置多臺高端GPU服務(wù)器時，一個更現(xiàn)實的問題擺在中小企業(yè)面前：如何在有限預(yù)算內(nèi)，安全、高效地本地化運行這些模型？國數(shù)集聯(lián)嘗試從“運力”的角度給出方案——用更經(jīng)濟的DDR內(nèi)存和CXL互聯(lián)技術(shù)，緩解對昂貴顯存的依賴，讓“小顯存”也能跑起“大模型”。