2025年初以來(lái)，低成本、高性能的新型AI模型迅速成為業(yè)界研究、應(yīng)用的焦點(diǎn)，越來(lái)越多的傳統(tǒng)行業(yè)開(kāi)始探索為自身的業(yè)務(wù)引入人工智能。不過(guò)在實(shí)際應(yīng)用中，大部分政企用戶都面臨諸多挑戰(zhàn)，包括AI如何與傳統(tǒng)應(yīng)用結(jié)合，如何搭建支持AI應(yīng)用的軟硬件架構(gòu)等等。在近日舉行的2025中國(guó)算力大會(huì)“云存智算創(chuàng)新實(shí)踐分論壇”上，浪潮云海正式對(duì)外發(fā)布了創(chuàng)新的AI云基礎(chǔ)設(shè)施平臺(tái)InCloud AIOS，為政企用戶低成本、高效率地接入AI提供了一條平滑演進(jìn)之路。
浪潮數(shù)據(jù)云計(jì)算產(chǎn)品部副總經(jīng)理張明燦在演講中表示，InCloud AIOS平臺(tái)具有開(kāi)放兼容、平滑演進(jìn)、簡(jiǎn)化運(yùn)維、極致性能等特點(diǎn)，是專為政企智能化轉(zhuǎn)型設(shè)計(jì)的“融合型AI底座”�！癐nCloud AIOS平臺(tái)可以幫助政企用戶解決異構(gòu)算力協(xié)同難、傳統(tǒng)架構(gòu)升級(jí)難、AI運(yùn)維門(mén)檻高、性能與安全難平衡等難題，使得用戶能夠從傳統(tǒng)IT快速、穩(wěn)妥地遷移到智能IT�！睆埫鳡N說(shuō)。
打造靈巧、簡(jiǎn)潔的智能云基礎(chǔ)設(shè)施
在引入私有化AI大模型之初，大多數(shù)政企用戶只是想要搭建智能問(wèn)答助手應(yīng)用，解決客服人手不足的問(wèn)題，不過(guò)很快就會(huì)迸發(fā)出更多的想法，比如引入財(cái)務(wù)AI、辦公AI、生產(chǎn)線AI等等。這些應(yīng)用往往來(lái)自不同部門(mén)，對(duì)大模型的參數(shù)規(guī)模、精度、調(diào)用數(shù)量等各不相同，對(duì)GPU、CPU等硬件的算力要求、計(jì)算類型也不一致，共同點(diǎn)是都要求運(yùn)行安全穩(wěn)定、日常運(yùn)維簡(jiǎn)單易行。另一方面，為了更好應(yīng)對(duì)不斷變化的國(guó)際形勢(shì)，國(guó)內(nèi)政企客戶都存在向國(guó)產(chǎn)化架構(gòu)遷移的迫切需求，新舊芯片、架構(gòu)、軟硬件環(huán)境等如何協(xié)同工作，也是一個(gè)迫切需要解決的問(wèn)題。
據(jù)張明燦介紹，在具體實(shí)施過(guò)程中，有的客戶選擇各個(gè)部門(mén)自建一套AI基礎(chǔ)設(shè)施，不同部門(mén)的AI平臺(tái)、AI開(kāi)發(fā)平臺(tái)各不相同�！斑@其實(shí)就是煙囪模式，會(huì)導(dǎo)致AI資源分散，難以統(tǒng)一運(yùn)維、統(tǒng)一管理�！睆埫鳡N說(shuō)，“更理想的做法是云化模式，像建云一樣搭建AI基礎(chǔ)設(shè)施，實(shí)現(xiàn)業(yè)務(wù)整合、數(shù)據(jù)集中、資源池化�！�
云化模式部署AI基礎(chǔ)設(shè)施的好處很多。首先，AI業(yè)務(wù)通常都是從基于云端的傳統(tǒng)業(yè)務(wù)改造而來(lái)，云化模式可以實(shí)現(xiàn)傳統(tǒng)業(yè)務(wù)、AI業(yè)務(wù)的統(tǒng)一管理；其次，AI應(yīng)用也需要調(diào)用虛擬機(jī)、容器、數(shù)據(jù)庫(kù)、PaaS服務(wù)、存儲(chǔ)等資源，私有云可以對(duì)此提供更好的支持；第三，私有云可以很好地支持AI所需要的多芯多模；第四，云化部署AI業(yè)務(wù)可以大大降低運(yùn)維壓力，減少AI平臺(tái)的人力、物力、財(cái)力成本。
正是基于上述實(shí)際情況，浪潮云海近年來(lái)不斷完善其智能云框架，發(fā)展可演進(jìn)的私有云解決方案，縱向?qū)崿F(xiàn)各分層解耦、可繼承、可演進(jìn)，橫向提高服務(wù)組件的按需選配能力。此次推出的InCloud AIOS平臺(tái)就可以幫助企業(yè)高效率、低成本地接入AI能力，破解AI落地中普遍存在的AI建設(shè)成本高、異構(gòu)算力協(xié)同難、大模型運(yùn)維門(mén)檻高、性能與安全難平衡等痛點(diǎn)。
四大特性，支持AI順利落地
據(jù)浪潮數(shù)據(jù)云計(jì)算產(chǎn)品部PDT經(jīng)理呂廣杰介紹，從市場(chǎng)的實(shí)際需求出發(fā)，浪潮云海為InCloud AIOS平臺(tái)賦予了一云多算、平滑演進(jìn)、極簡(jiǎn)運(yùn)維、軟硬協(xié)同四大特性。
一云多算是指InCloud AIOS平臺(tái)支持多元異構(gòu)融合的AI基礎(chǔ)設(shè)施，可以兼容國(guó)內(nèi)外廠商生產(chǎn)的主流GPU，使得客戶采購(gòu)的多種GPU協(xié)同工作。在應(yīng)用層面，InCloud AIOS平臺(tái)能夠提供各種開(kāi)源大模型服務(wù)，為各種智能體提供標(biāo)準(zhǔn)的OpenAI接口，使得客戶和應(yīng)用開(kāi)發(fā)商無(wú)需考慮底層異構(gòu)算力的差異。
平滑演進(jìn)是指InCloud AIOS平臺(tái)提供私有云架構(gòu)，客戶原有的數(shù)據(jù)中心無(wú)需改造，購(gòu)買單臺(tái)AI服務(wù)器即可實(shí)現(xiàn)AI能力升級(jí)。依托InCloud AIOS平臺(tái)的云架構(gòu)，客戶可以高效整合智算資源，打破單節(jié)點(diǎn)限制、跨域動(dòng)態(tài)分配資源，提升推理效率和算力資源的使用效能。
極簡(jiǎn)運(yùn)維是InCloud AIOS平臺(tái)可以讓IT運(yùn)維人員無(wú)需學(xué)習(xí)復(fù)雜的AI概念，像運(yùn)維虛擬機(jī)一樣運(yùn)維智能體，實(shí)現(xiàn)傳統(tǒng)業(yè)務(wù)與智能體應(yīng)用的統(tǒng)一管理運(yùn)維。InCloud AIOS平臺(tái)還提供了完善的智能化運(yùn)維工具，不但可以保障大模型、智能體穩(wěn)定運(yùn)行，還支持大模型性能評(píng)估、彈性伸縮、自動(dòng)高可靠保障等。InCloud AIOS平臺(tái)的安全機(jī)制也非常完善，確�？蛻絷P(guān)鍵數(shù)據(jù)不出域、實(shí)時(shí)監(jiān)測(cè)大模型對(duì)話內(nèi)容，輸入有檢查，輸出有審計(jì)，切實(shí)保障AI業(yè)務(wù)在各類場(chǎng)景中都能安全可靠地使用。
軟硬協(xié)同是指浪潮云海在InCloud AIOS平臺(tái)中配置了自研AI引擎，針對(duì)國(guó)內(nèi)外主流GPU進(jìn)行聯(lián)合深度優(yōu)化，從而獲得更強(qiáng)的推理性能。據(jù)實(shí)測(cè)驗(yàn)證，InCloud AIOS平臺(tái)利用優(yōu)化KV緩存策略使得長(zhǎng)文本推理KV Cache命中率提升了13倍，運(yùn)用DirectStorage技術(shù)使得相同硬件下模型加載速度提升了26倍，利用自研InLLM推理框架將模型吞吐提升了6倍，高并發(fā)下自動(dòng)調(diào)度效率提升了26倍。
張明燦表示，浪潮云�，F(xiàn)有約15000多家私有云客戶，這些客戶都有強(qiáng)烈的部署AI基礎(chǔ)設(shè)施的需求�！癐nCloud AIOS平臺(tái)可以幫助我們的客戶快速?gòu)乃接性栖S遷到AI云�！睆埫鳡N說(shuō)。
三大突破，帶來(lái)極致性能表現(xiàn)
實(shí)測(cè)表明，在InCloud AIOS平臺(tái)PD分離、動(dòng)態(tài)流量調(diào)度等技術(shù)的支持下，浪潮云海自研的InLLM推理模型吞吐量提高了6倍，同時(shí)模型預(yù)熱僅需37秒、多節(jié)點(diǎn)GPU顯存加載僅用了11 秒，加載時(shí)間直降30倍。在InCloud AIOS平臺(tái)智能調(diào)度策略、自動(dòng)化彈性伸縮等技術(shù)的協(xié)同下，資源調(diào)度效率提升了26倍，足以應(yīng)對(duì)高并發(fā)場(chǎng)景，節(jié)點(diǎn)故障的恢復(fù)效率也提升了5倍。在DP/TP/EP、MoE量化等多種應(yīng)用并行的情況下，InCloud AIOS平臺(tái)能夠全面增強(qiáng)推理性能，多輪對(duì)話首Token延遲從3秒減到1秒，TTFT縮短了3倍。
張明燦告訴記者，為方便客戶盡快構(gòu)建AI應(yīng)用，浪潮云海還在InCloud AIOS平臺(tái)中內(nèi)置了20多款開(kāi)箱即用的AI智能體，非常受客戶歡迎，已在多個(gè)行業(yè)領(lǐng)域投入了實(shí)際應(yīng)用。比如有大型科技企業(yè)采用InCloud AIOS平臺(tái)承載其辦公、財(cái)務(wù)、開(kāi)發(fā)測(cè)試等系統(tǒng)，有頭部征信企業(yè)用InCloud AIOS平臺(tái)運(yùn)行其客戶管理、風(fēng)控、辦公等系統(tǒng)，某國(guó)際保險(xiǎn)企業(yè)利用InCloud AIOS平臺(tái)運(yùn)行其核保、理賠、智能客服、合規(guī)管理等核心業(yè)務(wù)。
浪潮云海推出的InCloud AIOS平臺(tái)具有純軟件、軟硬一體機(jī)兩種形態(tài)，各有偏重。張明燦解釋說(shuō)，純軟件形態(tài)的InCloud AIOS平臺(tái)更強(qiáng)調(diào)對(duì)硬件的廣泛兼容，可以幫助客戶基于新舊算力基礎(chǔ)設(shè)施構(gòu)建統(tǒng)一的私有AI云；一體機(jī)形態(tài)更強(qiáng)調(diào)整體的穩(wěn)定性、開(kāi)箱即用特性，幫助客戶簡(jiǎn)單、快速地獲得AI云服務(wù)能力。
張明燦表示，InCloud AIOS平臺(tái)中內(nèi)置的20多款A(yù)I智能體并不是全部，接下來(lái)浪潮云海將繼續(xù)適配更多的智能體，為客戶提供更多的選擇。在本次2025中國(guó)算力大會(huì)上，浪潮云海還發(fā)布了“云圖生態(tài)聯(lián)盟計(jì)劃”，計(jì)劃在針對(duì)傳統(tǒng)的硬件、應(yīng)用合作伙伴進(jìn)行優(yōu)化之外，增強(qiáng)對(duì)大模型、智能體和各類GPU、算力互聯(lián)等設(shè)備的適配和調(diào)優(yōu)�！拔覀兊哪繕�(biāo)是吸引50家分銷商、100家行業(yè)用戶生態(tài)伙伴、100家應(yīng)用生態(tài)伙伴，基于浪潮云海的平臺(tái)產(chǎn)品做深度優(yōu)化。”張明燦說(shuō)，“浪潮云海有優(yōu)秀的AI基礎(chǔ)設(shè)施平臺(tái)，我們的伙伴有優(yōu)秀的智能體應(yīng)用，相向而行，就可以讓我們共同的最終用戶獲得更好的AI體驗(yàn)。”
