7月1日，聲網(wǎng)發(fā)布全球首個(gè) AI 模型評(píng)測平臺(tái)(對(duì)話式)。該平臺(tái)針對(duì)對(duì)話式 AI 場景下，級(jí)聯(lián)大模型中的ASR+LLM+TTS延遲數(shù)據(jù)提供主流供應(yīng)商的橫向測評(píng)，更直觀的展示聲網(wǎng)對(duì)話式 AI 引擎適配各主流模型的實(shí)時(shí)性能數(shù)據(jù)。同時(shí)，平臺(tái)還提供了“競技場”功能，開發(fā)者可自由選擇 ASR、LLM、TTS 的主流供應(yīng)商進(jìn)行對(duì)比，根據(jù)性能延遲的數(shù)據(jù)表現(xiàn)，選擇更適配自身業(yè)務(wù)的模型供應(yīng)商。
聲網(wǎng)對(duì)話式AI引擎在上線之初，就憑借靈活擴(kuò)展的特性受到開發(fā)者的歡迎，兼容適配全球主流的大模型與 TTS 供應(yīng)商，滿足不同場景和業(yè)務(wù)需求。此次 AI 模型評(píng)測平臺(tái)與對(duì)話式AI引擎v1.6版本聯(lián)動(dòng)發(fā)布，新版本對(duì)話式 AI 引擎開放了 ASR，并上線了聲網(wǎng)自研的鳳鳴-實(shí)時(shí)語音識(shí)別。同樣在該評(píng)測平臺(tái)，開發(fā)者也可以自主選擇包括騰訊云-實(shí)時(shí)語音識(shí)別、火山引擎-實(shí)時(shí)語音識(shí)別、鳳鳴-實(shí)時(shí)語音識(shí)別在內(nèi)的各家供應(yīng)商，進(jìn)行延遲數(shù)據(jù)的對(duì)比。
ASR+LLM+TTS 延遲性能排行榜
綜合最優(yōu)、響應(yīng)最快模型一目了然
AI模型評(píng)測平臺(tái)主要分為“儀表盤”與“競技場”兩項(xiàng)功能，在“儀表盤“中官方推薦了對(duì)話式 AI 引擎適配后綜合最優(yōu)、響應(yīng)最快的級(jí)聯(lián)模型組合。例如，截止目前，綜合最優(yōu)推薦級(jí)聯(lián)模型組合為騰訊云-實(shí)時(shí)語音識(shí)別+阿里云-通義千問 Turbo+火山引擎-語音合成。響應(yīng)最快推薦級(jí)聯(lián)模型組合為鳳鳴-實(shí)時(shí)語音識(shí)別+智譜-GLM 4 AirX+百度智能云-語音合成，級(jí)聯(lián)模型總延遲為1125.36 ms。
同時(shí)，“儀表盤”專為對(duì)話式AI 場景定制了多個(gè)級(jí)聯(lián)模型延遲數(shù)據(jù)排行榜，且評(píng)測數(shù)據(jù)保持每小時(shí)更新：
1、Top 10 級(jí)聯(lián)模型組合：以級(jí)聯(lián)模型總延遲為評(píng)測指標(biāo)，直觀的展示不同組合級(jí)聯(lián)模型的總延遲數(shù)據(jù)對(duì)比;
2、語音識(shí)別(ASR) Top 3 ：以末字延遲為評(píng)測指標(biāo)進(jìn)行對(duì)比;
3、語言模型(LLM) Top 3 ：以首字延遲的性能數(shù)據(jù)進(jìn)行排序;
4、語音合成(TTS) Top 3 ：對(duì)比各家TTS 供應(yīng)商的首字節(jié)延遲性能。
競技場自主選擇模型性能對(duì)比
支持TTS測試語句試聽
在 AI 模型評(píng)測平臺(tái)“競技場”中，開發(fā)者可自主選擇不同的 ASR、LLM、TTS 模型進(jìn)行延遲性能的對(duì)比。例如 LLM 可選擇 DeepSeek V3、豆包大模型、智譜 GLM 系列模型、 通義千問系列模型、MiniMax Text 01、騰訊云混元系列模型等進(jìn)行對(duì)比;ASR-實(shí)時(shí)語音識(shí)別和 TTS-語音合成也包含了市場各家主流模型。
針對(duì)延遲數(shù)據(jù)的評(píng)測指標(biāo)，平臺(tái)還提供了多個(gè)分位的延遲數(shù)據(jù)差異對(duì)比，從 P25、P50 到 P99 共六個(gè)分位，開發(fā)者可以更詳細(xì)的了解每個(gè)模型的延遲數(shù)據(jù)表現(xiàn)。例如，鳳鳴-ASR P50分位的末字延遲為572 ms，意味著測試期間50%的延遲數(shù)據(jù)低于572 ms。
此外，“競技場”的 TTS-語音合成對(duì)比中，還提供了預(yù)設(shè)的語音合成測試語句，反映多種場景下(字母數(shù)字混合、非流暢性語句、客戶服務(wù)、醫(yī)療健康、外呼銷售、有聲書&播客、非常見發(fā)音詞匯)不同模型的語音合成質(zhì)量，并且支持試聽。
目前，AI模型評(píng)測平臺(tái)已正式上線聲網(wǎng)官網(wǎng)，未來聲網(wǎng)也將持續(xù)更新模型成本、單詞準(zhǔn)確率等新的評(píng)測維度，助力開發(fā)者更好的選擇適配自身業(yè)務(wù)的最優(yōu)模型組合。
如您想進(jìn)一步體驗(yàn) AI模型評(píng)測平臺(tái)，可進(jìn)入聲網(wǎng)官網(wǎng)的“對(duì)話式AI”頁面進(jìn)行體驗(yàn)。
