中國移動首發(fā)智算推理集群“運營黃金標準”

近日，中國移動聯(lián)合合作伙伴在智算運營領域取得重要突破，在行業(yè)首創(chuàng)“智算推理集群運營黃金標準”。該標準以用戶體驗為導向，構建了一套可量化、可評估、可復用的集群運營指標體系，首次實現(xiàn)了對人工智能推理算力服務質(zhì)量的系統(tǒng)化、標準化度量。這一創(chuàng)新標志著AI推理算力發(fā)展范式正從“規(guī)模擴張”轉(zhuǎn)向“質(zhì)量躍遷”，推動行業(yè)進入精細化運營與高質(zhì)量發(fā)展的新階段。

當前，人工智能發(fā)展正從集中式的“模型訓練”（練兵）階段加速邁向大規(guī)�！巴评聿渴稹保▽崙�(zhàn)）階段，推理應用已在政務、金融、制造、醫(yī)療等多場景深度落地，智能體生態(tài)蓬勃發(fā)展，驅(qū)動算力需求結(jié)構發(fā)生深刻變革——推理算力占比持續(xù)攀升，并已成為智算基礎設施的核心負載。然而，面對用戶對更高性能、更優(yōu)體驗與更低成本的復合訴求，行業(yè)仍面臨突出矛盾。因此，如何在保障服務質(zhì)量的前提下，動態(tài)平衡“降本”與“優(yōu)服”，實現(xiàn)推理系統(tǒng)的高效、穩(wěn)定與經(jīng)濟運行，已成為當前智算基礎設施建設與運營亟待破解的核心挑戰(zhàn)。

針對這一挑戰(zhàn)，中國移動基于大量理論分析與實測驗證，創(chuàng)新提出“智算推理集群運營黃金標準”。該標準以“度量破局”為核心理念，系統(tǒng)構建涵蓋用戶體驗、系統(tǒng)并發(fā)能力、系統(tǒng)可用性及硬件利用率四大維度的集群效能評估體系。通過實時監(jiān)控推理集群運行狀態(tài)，該體系在保障關鍵體驗指標達標的前提下，精準識別最先觸達性能瓶頸的硬件資源指標，并將其確立為當前場景下的“黃金指標”。這一指標不僅反映系統(tǒng)性能的臨界約束條件，還可作為判斷集群是否高效運行、是否需要擴容或優(yōu)化的重要決策依據(jù)。

為驗證“黃金標準”的有效性，中國移動組織開展試點工作，系統(tǒng)評估了多種典型模型在不同業(yè)務負載下的運行表現(xiàn)，包括以DeepSeek-R1為代表的MoE（混合專家）稀疏大語言模型、以Qwen3-32B為代表的稠密大語言模型、以Qwen2.5-VL-72B為代表的多模態(tài)理解模型、以Stable　Diffusion為代表的多模態(tài)生成模型。測試結(jié)果顯示，在不同推理負載下，四項硬件指標（算力利用率、顯存利用率、顯存帶寬利用率和KVCache利用率）的增長速率存在顯著差異，且各場景中最先觸達性能瓶頸的指標各不相同。

依托“黃金指標”的實時監(jiān)控，企業(yè)能夠在高并發(fā)與負載波動等復雜場景下，精準洞察集群運行狀態(tài)，實現(xiàn)精細化運營。即當指標顯示資源利用率較低時，可主動引入負載提升資源效能；當指標逼近擴容閾值時，則觸發(fā)彈性擴容機制。實踐表明，該方法可實現(xiàn)擴容決策準確率接近100%。

面向未來，中國移動將深入貫徹落實國家“人工智能+”戰(zhàn)略，把握歷史機遇，錨定“人工智能供給者、匯聚者、運營者”三位一體定位，全面升級“AI+”行動計劃，發(fā)揮央企引領作用。公司將持續(xù)夯實智算基礎設施底座，創(chuàng)新體系化運營模式，推動算力供給向普惠易用、經(jīng)濟高效、綠色智能方向演進；同時，廣泛開放應用場景，加速AI技術在企業(yè)內(nèi)外千行百業(yè)的深度滲透與規(guī)�；�落地，全面賦能經(jīng)濟社會數(shù)字化轉(zhuǎn)型。