近日，寒武紀發(fā)布新款訓練加速卡MLU370-X8。MLU370-X8搭載雙芯片四芯粒思元370，集成寒武紀MLU-Link?多芯互聯(lián)技術，主要面向訓練任務，在業(yè)界應用廣泛的YOLOv3、Transformer等訓練任務中， 8卡計算系統(tǒng)的并行性能平均達到350W RTX GPU的155%。

▲ 寒武紀訓練加速卡MLU370-X8

雙芯思元370架構

MLU370-X8智能加速卡提供250W最大訓練功耗，可充分發(fā)揮AI訓練加速中常見的FP32、FP16或BF16計算性能。寒武紀首次將雙芯片四芯粒思元370整合在MLU370-X8智能加速卡中，提供了兩倍于標準思元370加速卡的內(nèi)存、編解碼資源，同時搭載MLU-Link?多芯互聯(lián)技術。在YOLOv3、Transformer、BERT和ResNet101訓練任務中， 8卡并行平均性能達350W RTX GPU的155%。

圖片▲ MLU370-X8中整合了雙芯片四芯粒思元370

MLU-Link?多芯互聯(lián)技術

MLU370-X8智能加速卡支持MLU-Link?多芯互聯(lián)技術，提供卡內(nèi)及卡間互聯(lián)功能。寒武紀為多卡系統(tǒng)專門設計了MLU-Link橋接卡，可實現(xiàn)4張加速卡為一組的8顆思元370芯片全互聯(lián)，每張加速卡可獲得200GB/s的通訊吞吐性能，帶寬為PCIe 4.0 的3.1倍，可高效執(zhí)行多芯多卡訓練和分布式推理任務。

▲MLU370-X8 MLU-Link 4卡橋接

▲MLU370-X8 MLU-Link? 4卡橋接拓撲

訓推一體的Cambricon NeuWare交付優(yōu)秀訓練性能

Cambricon NeuWare支持FP32、FP16混合精度、BF16混合精度和自適應精度訓練等多種訓練方式并提供靈活高效的訓練工具，高性能算子庫已完整覆蓋視覺、語音、自然語言處理、搜索推薦和自動駕駛等典型人工智能應用，可滿足用戶對于算子覆蓋率以及模型精度的需求。

▲Cambricon NeuWare為思元370系列芯片提供訓推一體加速

在Cambricon NeuWare SDK上實測，在常見的4個人工智能模型上，MLU370-X8單卡性能與主流350W RTX GPU相當;而在多卡加速方面，MLU370-X8借助MLU-Link多芯互聯(lián)技術和Cambricon NeuWare CNCL通訊庫的優(yōu)化，在8卡環(huán)境下達到更優(yōu)的并行加速比。

▲MLU370-X8 單機8卡部署配置

▲單卡MLU370-X8性能對比

▲8卡MLU370-X8性能對比

*測試環(huán)境

250W MLU370-X8：NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0

350W GPU：Supermicro AS-4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2

▲MLU370-X8規(guī)格表

MLU370-X8補全思元370系列產(chǎn)品線

寒武紀長期秉承“云邊端一體、訓推一體、軟硬件協(xié)同”的技術理念。MLU370-X8提供兩倍思元370的內(nèi)存帶寬，結合MLUarch03架構和MLU-Link多芯互聯(lián)技術，將思元370芯片在訓練任務的優(yōu)勢充分發(fā)揮。MLU370-X8定位中高端，與高端訓練產(chǎn)品思元290、玄思1000相互結合，進一步豐富了寒武紀的訓練算力交付方式;并與基于思元370芯粒(chiplet)技術構建的MLU370-X4、MLU370-S4智能加速卡協(xié)同，形成完整的云端訓練、推理產(chǎn)品組合。

MLU370-X8加速卡與國內(nèi)主流服務器合作伙伴的適配工作已經(jīng)完成，并已對客戶實現(xiàn)小規(guī)模出貨。

浪潮信息人工智能和高性能產(chǎn)品線副總經(jīng)理張強表示：“浪潮跟寒武紀目前在思元370系列產(chǎn)品上合作順利，攜手在互聯(lián)網(wǎng)、金融、制造等領域逐步落地;MLU370-X8的性能優(yōu)異，我們期待雙方可以繼續(xù)加強合作，為更多的行業(yè)和客戶帶來優(yōu)秀的人工智能計算力。”

寒武紀用產(chǎn)品向客戶印證自己的初心與決心：為人工智能技術的大爆發(fā)提供卓越的AI芯片產(chǎn)品，讓機器更好地理解和服務人類。