北京2025年7月21日 /美通社/ -- 浪潮信息宣布元腦企智一體機已率先完成對Kimi K2 萬億參數(shù)大模型的適配支持，并實現(xiàn)單用戶70 tokens/s的流暢輸出速度，為企業(yè)客戶高效部署應(yīng)用大模型提供高處理性能和完善的軟件工具平臺支持。

Kimi K2是月之暗面推出的開源萬億參數(shù)大模型，創(chuàng)新使用了MuonClip優(yōu)化器進行訓(xùn)練，大幅提升了模型的學(xué)習(xí)效率。K2在代碼生成、數(shù)學(xué)推理、Agent多步驟任務(wù)上展現(xiàn)出領(lǐng)先能力，評測指標達到業(yè)界領(lǐng)先水平。自發(fā)布以來，K2在開發(fā)者和研究社區(qū)引起廣泛關(guān)注，迅速獲得在編碼輔助和Agent驅(qū)動自動化任務(wù)中的部署應(yīng)用。

Kimi K2的模型總參數(shù)量達1萬億，激活參數(shù)為320億。K2使用混合專家（MoE）模型結(jié)構(gòu)，較DeepSeek V3采用了更大的參數(shù)量和更多的專家數(shù)。K2模型1萬億的參數(shù)量對AI計算系統(tǒng)提出至少1TB的顯存容量需求，384個路由專家所帶來的專家負載不均衡性對推理速度有很大影響。目前業(yè)界可公開訪問的K2 API的輸出速度一般低于20 tokens/s，這樣較低的性能對于編程或Agent類場景很不友好，會嚴重影響用戶體驗。Kimi K2憑借其為智能體任務(wù)設(shè)計的架構(gòu)和優(yōu)秀的智能體驗，展現(xiàn)出巨大的應(yīng)用潛力，但提升推理速度和輸出穩(wěn)定性是其成為可信賴的生產(chǎn)力工具需要解決的核心挑戰(zhàn)。

元腦企智一體機采用元腦服務(wù)器NF5688G7作為算力底座，其搭載FP8計算引擎，配備1128GB HBM3e高速顯存，單臺服務(wù)器即可支持K2 萬億參數(shù)全量模型部署。NF5688G7服務(wù)器具備900GB/s的GPU P2P帶寬，為Kimi K2提供了專家間高速并行通信，最大化并行效率。該服務(wù)器可支持3200Gbps的RDMA擴展網(wǎng)絡(luò)，為預(yù)填充-解碼分離部署和大規(guī)模專家并行預(yù)留了充足的擴展空間。

浪潮信息已完成元腦企智一體機對K2的適配，支持64K上下文長度和多路用戶實時并發(fā)訪問?；赟GLang推理框架，通過減少MoE對齊塊大小內(nèi)核的小批量模式開銷和fused_moe的內(nèi)存消耗，并復(fù)用deepGEMM等高效算子，實現(xiàn)單用戶并發(fā)下輸出速度超過70 tokens/s，25用戶并發(fā)時每用戶輸出速度超過25 tokens/s。優(yōu)化后的計算性能可保證用戶在進行復(fù)雜的代碼生成、長文本書寫或Agent調(diào)用時，能夠獲得流暢、低延遲的交互體驗。

SGLang啟動K2推理服務(wù)，用戶交互時的解碼速度

元腦企智一體機提供了元腦企智（EPAI）平臺與K2大模型的無縫集成，為企業(yè)用戶提供了一套軟硬件協(xié)同優(yōu)化、開箱即用的端到端大模型私有化部署解決方案。通過元腦企智平臺，企業(yè)可利用低代碼、可視化界面，便捷地進行數(shù)據(jù)準備、模型微調(diào)、知識檢索（RAG）和智能體（Agent）構(gòu)建。

元腦企智一體機已成功部署于金融、制造、能源、醫(yī)療等多個關(guān)鍵行業(yè)，幫助企業(yè)快速、安全、經(jīng)濟地構(gòu)建專屬大模型應(yīng)用，加速產(chǎn)業(yè)智能化轉(zhuǎn)型步伐。

浪潮信息是全球領(lǐng)先的IT基礎(chǔ)設(shè)施產(chǎn)品、方案和服務(wù)提供商，通過發(fā)展新一代以系統(tǒng)為核心的計算架構(gòu)，打造開放、多元、綠色的元腦智算產(chǎn)品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發(fā)創(chuàng)新，并通過元腦生態(tài)攜手領(lǐng)先伙伴，加速人工智能的創(chuàng)新和應(yīng)用落地。