阿里發(fā)布Qwen3.5-Omni，多模態(tài)能力超越Gemini-3.1 Pro

3月31日上午消息，阿里發(fā)布千問新一代全模態(tài)大模型Qwen3.5-Omni，宣布在音視頻理解、識(shí)別、交互等215項(xiàng)任務(wù)中取得SOTA（性能最佳），超越Gemini-3.1 Pro，成為目前全球最強(qiáng)的全模態(tài)大模型之一。

據(jù)悉，該模型擁有極強(qiáng)的音視頻理解與實(shí)時(shí)交互能力，能夠?qū)σ粢曨l內(nèi)容生成詳細(xì)且可控的結(jié)構(gòu)化描述，可識(shí)別語言和方言數(shù)量多達(dá)113種，還涌現(xiàn)出了音視頻Vibe Coding能力，用戶對(duì)著鏡頭闡述需求，就能讓模型自主生成App、網(wǎng)頁、游戲等復(fù)雜產(chǎn)品代碼。目前，阿里云百煉已上新Qwen3.5-Omni的Plus、Flash、Light三種API，可廣泛應(yīng)用于短視頻/直播平臺(tái)、游戲、自媒體等行業(yè)。

Qwen3.5-Omni采用混合注意力MoE架構(gòu)，在海量文本、視覺以及超過1億小時(shí)的音視頻數(shù)據(jù)上進(jìn)行了原生多模態(tài)預(yù)訓(xùn)練，可實(shí)現(xiàn)圖片、視頻、語音、文字等全模態(tài)內(nèi)容的輸入與輸出。新模型在音視頻理解、跨模態(tài)推理、Agent方面實(shí)現(xiàn)了性能飛躍，在音視頻理解、語音識(shí)別、多語種翻譯、對(duì)話等215項(xiàng)第三方性能測(cè)試任務(wù)中取得SOTA。

例如，在聚焦視聽交互能力的DailyOmni、QualcommInteractive、Omni Cloze等測(cè)試中，Qwen3.5-Omni得分領(lǐng)先Gemini-3.1 Pro；在檢測(cè)嘈雜環(huán)境抗干擾能力的WenetSpeech測(cè)試中，Qwen3.5-Omni錯(cuò)誤率遠(yuǎn)低于Gemini，識(shí)別準(zhǔn)確率極高；在考察多語言語音生成質(zhì)量的Multi-Lingual （30lang） 測(cè)試中，Qwen3.5-Omni同樣顯著優(yōu)于Gemini-2.5-Pro-TTS。

此外，與純文本或圖片驅(qū)動(dòng)的Vibe Coding不同，千問還可以實(shí)現(xiàn)音視頻編程：打開攝像頭，用戶對(duì)著草圖口述需求，哪怕是包括復(fù)雜產(chǎn)品邏輯的描述，模型也能直接生成帶有復(fù)雜UI的產(chǎn)品原型界面，真正實(shí)現(xiàn)“動(dòng)動(dòng)嘴即可編程”。這一能力并非刻意設(shè)計(jì)，而是模型在原生多模態(tài)能力持續(xù)擴(kuò)展過程中自然涌現(xiàn)出的結(jié)果。

目前，普通用戶也可前往Qwen Chat免費(fèi)體驗(yàn)，開發(fā)者和企業(yè)可通過阿里云百煉平臺(tái)調(diào)用Qwen3.5-Omni模型，每百萬Tokens輸入不到0.8元，比Gemini-3.1 Pro的1/10還低。