首頁(yè)|必讀|視頻|專(zhuān)訪(fǎng)|運(yùn)營(yíng)|制造|監(jiān)管|芯片|物聯(lián)網(wǎng)|量子|低空經(jīng)濟(jì)|智能汽車(chē)|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|大數(shù)據(jù)|報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 相關(guān)報(bào)道 >> 正文

科大訊飛聯(lián)合華為!率先實(shí)現(xiàn)國(guó)產(chǎn)算力大規(guī)?绻(jié)點(diǎn)專(zhuān)家并行集群推理

2025年3月12日 07:52  新浪科技  作 者:羅寧

3月11日下午消息,近日,科大訊飛(51.980, -0.17, -0.33%)攜手華為在國(guó)產(chǎn)算力領(lǐng)域取得重大進(jìn)展,雙方聯(lián)合團(tuán)隊(duì)率先突破國(guó)產(chǎn)算力集群上MoE模型的大規(guī)?绻(jié)點(diǎn)專(zhuān)家并行集群推理,這是繼DeepSeek公布其MoE模型訓(xùn)練推理方案后,業(yè)界首個(gè)基于國(guó)產(chǎn)算力的全新解決方案。

聯(lián)合團(tuán)隊(duì)通過(guò)軟硬件的深度協(xié)同創(chuàng)新,在多個(gè)關(guān)鍵技術(shù)層面深挖硬件潛力,完成昇騰集群上的驗(yàn)證和部署。在算子融合方面,團(tuán)隊(duì)在MLA預(yù)處理階段通過(guò)Vector與Cube異構(gòu)計(jì)算單元并行流水,并將多個(gè)小算子融合重構(gòu)為原子級(jí)計(jì)算單元,消除小算子下發(fā)開(kāi)銷(xiāo),MLA前處理時(shí)延降低50%+,實(shí)現(xiàn)性能的顯著提升。

在混合并行策略和通信計(jì)算并行優(yōu)化方面,團(tuán)隊(duì)構(gòu)建了TP(張量并行)+EP(專(zhuān)家并行)混合范式:對(duì)MLA計(jì)算層采用機(jī)內(nèi)TP并行,發(fā)揮機(jī)內(nèi)高速互聯(lián)優(yōu)勢(shì),降低跨機(jī)通信損耗;創(chuàng)新MoE專(zhuān)家分層調(diào)度,64卡均衡分配專(zhuān)家計(jì)算節(jié)點(diǎn),定制AllToAll通信協(xié)議,專(zhuān)家數(shù)據(jù)交換效率提升40%,構(gòu)建跨機(jī)/機(jī)內(nèi)雙層通信架構(gòu),通過(guò)分層優(yōu)化降低跨機(jī)流量60%;同時(shí)研發(fā)路由專(zhuān)家負(fù)載均衡算法,實(shí)現(xiàn)卡間負(fù)載差異小于10%,集群吞吐提升30%。

通過(guò)分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化,聯(lián)合團(tuán)隊(duì)在國(guó)產(chǎn)算力上實(shí)現(xiàn)了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4,效率提升75%,專(zhuān)家計(jì)算密度增加4倍,推理吞吐提升3.2倍,端到端時(shí)延降低50%。

科大訊飛研究院表示,這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速,預(yù)期訓(xùn)練時(shí)推理效率將提升200%。同時(shí),基于該方案的推理引擎也實(shí)現(xiàn)了國(guó)產(chǎn)算力上DeepSeek V3和R1的高效推理。

編 輯:章芳
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來(lái)源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對(duì)于經(jīng)過(guò)授權(quán)可以轉(zhuǎn)載,請(qǐng)必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來(lái)源。
2.凡注明“來(lái)源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話(huà)為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
推薦新聞              
 
人物
中國(guó)電信柯瑞文:星辰智惠 共治共享
精彩視頻
2025世界人形機(jī)器人運(yùn)動(dòng)會(huì)十大名場(chǎng)面燃爆全場(chǎng)
“移起向新 數(shù)智興農(nóng)” 廣西媒體行
現(xiàn)場(chǎng)直擊2025世界人形機(jī)器人運(yùn)動(dòng)會(huì)
機(jī)器人也太會(huì)整活了!跟隨中國(guó)聯(lián)通,打卡國(guó)家速滑館“冰絲帶”
精彩專(zhuān)題
2025世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議
2025中國(guó)聯(lián)通合作伙伴大會(huì)
2025 MWC 上海
2025工業(yè)互聯(lián)網(wǎng)大會(huì)
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱(chēng): 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書(shū)面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像