隨著DeepSeek等新一代開源大模型的發(fā)布，AI 變得越來越智能，使用更少的資源就能夠創(chuàng)造更高的應用價值，越來越多的企業(yè)都正在由內(nèi)而外、由淺入深地部署各種AI應用。從更大的視角看，市場的不確定性進一步加劇企業(yè)的“算力焦慮”，如何盤活現(xiàn)有計算資源、打通內(nèi)部數(shù)據(jù)已經(jīng)成為CIO、CTO們的當務之急。
在今年1月的CES大會上，英偉達等科技公司認為AI 發(fā)展至今，已經(jīng)需要新的定律來描述不同的計算資源配置如何影響模型性能，包括預訓練擴展、后訓練擴展和測試時擴展 (也稱為長思考)。在強化學習、模型調(diào)優(yōu)以及運用 AI 推理模型階段，企業(yè)能夠用更小的算力增加來獲得更智能、更強大的AI。為了防范數(shù)據(jù)泄露風險，大多用戶采用了本地化部署的 AI 基礎設施來進行應用開發(fā)和調(diào)優(yōu)，并通過思維鏈和多模型矩陣來優(yōu)化 AI 推理效果。這些算力集群不僅需要對應的高性能分布式存儲，更需要與之匹配的現(xiàn)代化數(shù)據(jù)訪問和管理服務。
企業(yè)為什么需要AI存儲？
當我們問DeepSeek “AI時代需要哪種存儲”，它給出了如下答案：
具體到真實的企業(yè)應用場景，AI 存儲解決方案需要應對如下挑戰(zhàn)：
· 昂貴的 GPU 資源：許多用戶投入了巨額資金來購買一體機和算力平臺，需要存儲方案縮短 AI開發(fā)的時間、提升推理應用的效率，更快地獲得所需的結(jié)果；
· 分散的 AI 數(shù)據(jù)：AI 需要實時、可信的數(shù)據(jù)才能發(fā)揮作用，企業(yè)端的應用更是需要結(jié)合企業(yè)自有的歷史和實時數(shù)據(jù)。這需要企業(yè)有效地整合非結(jié)構(gòu)化數(shù)據(jù)，在需要的時間和地點交付數(shù)據(jù)，為各種 AI 應用提供透明的數(shù)據(jù)訪問；
· 不斷增加的存儲成本：伴隨數(shù)據(jù)量的不斷增大，企業(yè)需要消除數(shù)據(jù)孤島，實現(xiàn)數(shù)據(jù)生命周期管理，用更低的成本實現(xiàn)更高性能的數(shù)據(jù)訪問和更大容量的數(shù)據(jù)保留，通過智能化的數(shù)據(jù)分層降低總體開銷；
· 確保數(shù)據(jù)安全合規(guī)：隨著數(shù)據(jù)成為關鍵生產(chǎn)要素，企業(yè)需要更安全的手段和更嚴格的規(guī)定來抵御安全風險、自然災害和人為錯誤，確保數(shù)據(jù)一直可用；同時實現(xiàn)網(wǎng)絡安全彈性，在勒索攻擊等事件發(fā)生后快速恢復數(shù)據(jù)，確保業(yè)務持續(xù)性。
AI時代，企業(yè)需要怎樣的數(shù)據(jù)存儲？
以DeepSeek為代表的“小而美”開源模型，通過算法層面的優(yōu)化實現(xiàn)了可觀的“降本增效”。那么，基礎架構(gòu)層面的優(yōu)化能否滿足以上需求，帶來更大收益呢？
答案是肯定的。得益于在高性能計算和并行計算領域的長期積累，IBM的AI數(shù)據(jù)存儲解決方案可以提供優(yōu)化的數(shù)據(jù)基礎架構(gòu)，包括：
· 加速 AI 發(fā)現(xiàn)和 GPU 的數(shù)據(jù)訪問：IBM Storage Scale軟件可以并行訪問全局數(shù)據(jù)，幫助實現(xiàn)協(xié)議互通 (如容器、對象、文件、POSIX 等)，支持 NVIDIA GPUDirect® 提升GPU數(shù)據(jù)訪問效率，通過“容器原生數(shù)據(jù)訪問”為各種 AI 應用和微服務提供更高性能；
· 增強基于分布式/云數(shù)據(jù)的協(xié)同工作：IBM 的全局數(shù)據(jù)平臺可以實現(xiàn)存儲抽象和加速能力，將企業(yè)分布的數(shù)據(jù)整合為統(tǒng)一的數(shù)據(jù)資源，實現(xiàn)自動化的數(shù)據(jù)加速和透明的遠程數(shù)據(jù)訪問，全局訪問位于磁帶、云或現(xiàn)有存儲資源上的數(shù)據(jù)來幫助消除數(shù)據(jù)孤島；
· 綠色節(jié)能，降低成本：通過 IBM 軟件定義存儲強大的數(shù)據(jù)調(diào)度能力，結(jié)合高性能存儲、對象存儲（如Ceph）和磁帶存儲實現(xiàn)基于策略的數(shù)據(jù)分層，可以為 AI 應用優(yōu)化數(shù)據(jù)存儲的性能和成本；
· 實現(xiàn)數(shù)據(jù)安全彈性：為 AI 治理提供集成的數(shù)據(jù)目錄，為實現(xiàn)網(wǎng)絡安全彈性提供快速恢復和Safeguarded Copy（不可變副本），通過高效的數(shù)據(jù)保護機制可以提供高達 6個9 的可用性。
AI存儲的應用場景
以上技術的集合將為企業(yè)打造更高效、更安全的存儲平臺，以解鎖數(shù)據(jù)價值，應對 AI 時代的數(shù)據(jù)挑戰(zhàn)。典型場景包括：
· AI 調(diào)優(yōu)、推理與訓練：其中，用于調(diào)優(yōu)和推理的系統(tǒng)往往采用容器化部署，需要豐富的數(shù)據(jù)管理功能和接口，同時提供企業(yè)級的安全容災能力支持業(yè)務連續(xù)性；用于訓練的系統(tǒng)需要能支持大規(guī)模GPU集群運行所需的讀寫性能和擴展能力。采用高效的數(shù)據(jù)存儲可以實現(xiàn)數(shù)據(jù)加速，提升應用效率。
以 IBM watsonx.ai 平臺為例，IBM配備了AI 一體機 IBM Fusion HCI，其后臺采用IBM軟件定義的高性能存儲，可以滿足不同規(guī)模大模型部署的需求，同時確保在幾十乃至上百個用戶并發(fā)訪問的情況下，維持穩(wěn)定的token輸出速度來滿足推理應用的服務水平。
在AI訓練領域，全球許多千卡萬卡的大集群都采用了IBM的AI存儲，例如部署在德國尤里希超級計算中心的JUPITER、部署在西班牙巴塞羅那超算中心的MareNostrum 5、IBM用于訓練Granite模型的Blue Vela 等等。基于英偉達SuperPOD 的測試結(jié)果顯示，采用同樣數(shù)量的節(jié)點訓練同樣的模型，采用IBM SSS 6000 高性能并行存儲的4個迭代訓練時間，比基于全 NVMe 的 NAS整整縮短一倍。對于一個投入幾千萬甚至是幾億的基礎設施來講，這意味著經(jīng)濟成本的巨大節(jié)約。
在國內(nèi)，某智能駕駛應用的領軍企業(yè)、某頭部量化私募基金以及某高校的冷凍電鏡項目都選擇了IBM Storage Scale System，在多云環(huán)境中打造統(tǒng)一的全局數(shù)據(jù)平臺，同時快速響應數(shù)據(jù)調(diào)度需求，實現(xiàn)高效開發(fā)迭代和系統(tǒng)管理。
· AI 數(shù)據(jù)湖倉
伴隨AI應用的飛速發(fā)展，企業(yè)需要從快速增長的非結(jié)構(gòu)化數(shù)據(jù)中提取洞察并用于推理，不斷擴展檢索增強生成（RAG）、AI推理等應用場景。AI數(shù)據(jù)湖倉可以在不影響信任和安全的前提下，提供更實時、更可信的數(shù)據(jù)訪問。以汽車制造為例，車企客戶可以通過車聯(lián)網(wǎng)實時收集和整理車載傳感器的數(shù)據(jù)，用于開發(fā)更智能的模型，并利用這些數(shù)據(jù)為用戶提供更好的服務。
基于IBM 全局數(shù)據(jù)平臺強大的混合云支持能力和靈活的容器應用接口，以及對多應用多集群的多租戶的支持能力，用戶可以整合現(xiàn)有數(shù)據(jù)存儲，為數(shù)據(jù)構(gòu)建高效的AI數(shù)據(jù)管道。今年，IBM還開發(fā)了新一代內(nèi)容感知存儲 (Content-aware Storage) 功能，以增強其檢索增強生成 (RAG) 能力來幫助用戶加速各種推理應用。
· 數(shù)據(jù)深度歸檔
隨著AI應用的拓展，企業(yè)對數(shù)據(jù)的安全性、可靠性、合規(guī)性的要求也不斷提高，需要采用更安全、更低成本的存儲來大幅降低數(shù)據(jù)保留的成本。
通過 IBM 軟件定義存儲技術，IBM 磁帶庫可以提供 S3 接口，讓企業(yè)可以使用對象存儲或者公有云存儲一樣的方式實現(xiàn)數(shù)據(jù)歸檔。磁帶的大容量、低成本等優(yōu)勢，可以大幅降低PB級別數(shù)據(jù)的長期保留成本。例如，采用 IBM Diamondback 的深度歸檔方案，27PB數(shù)據(jù)的10年保留成本比公有云存儲降低近90%。
寫在最后
在Gartner發(fā)布的2024年分布式文件和對象存儲魔力象限中，IBM第九次被評為領導者，大量金融、汽車、電子等行業(yè)的全球領先企業(yè)都采用了IBM AI 存儲解決方案。通過和全球 AI 技術領導者的合作，IBM 將持續(xù)創(chuàng)新，提供現(xiàn)代化、開放、安全的數(shù)據(jù)基礎架構(gòu)，助力客戶在 AI 時代解鎖更多商業(yè)價值。（作者：周立旸，IBM 大中華區(qū)科技事業(yè)部存儲軟件產(chǎn)品總監(jiān)）
關于IBM
IBM 是全球領先的混合云、人工智能及企業(yè)服務提供商，幫助超過 175 個國家和地區(qū)的客戶，從其擁有的數(shù)據(jù)中獲取商業(yè)洞察，簡化業(yè)務流程，降低成本，并獲得行業(yè)競爭優(yōu)勢。金融服務、電信和醫(yī)療健康等關鍵基礎設施領域的超過 4000 家政府和企業(yè)實體依靠 IBM 混合云平臺和紅帽 OpenShift 快速、高效、安全地實現(xiàn)數(shù)字化轉(zhuǎn)型。IBM 在人工智能、量子計算、行業(yè)云解決方案和企業(yè)服務方面的突破性創(chuàng)新為我們的客戶提供了開放和靈活的選擇。對企業(yè)誠信、透明治理、社會責任、包容文化和服務精神的長期承諾是 IBM 業(yè)務發(fā)展的基石。了解更多信息，請訪問：https://www.ibm.com/cn-zh
