智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
其他品牌
自9月1日，美團(tuán)正式發(fā)布 LongCat-Flash 系列模型，現(xiàn)已開源 LongCat-Flash-Chat 和 LongCat-Flash-Thinking 兩大版本，獲得了開發(fā)者的關(guān)注。今天 LongCat-Flash 系列再升級，正式發(fā)布全新家族成員——LongCat-Flash-Omni。
LongCat-Flash-Omni 以 LongCat-Flash 系列的高效架構(gòu)設(shè)計為基礎(chǔ)( Shortcut-Connected MoE，含零計算專家)，同時創(chuàng)新性集成了高效多模態(tài)感知模塊與語音重建模塊。即便在總參數(shù) 5600 億(激活參數(shù) 270 億)的龐大參數(shù)規(guī)模下，仍實現(xiàn)了低延遲的實時音視頻交互能力，為開發(fā)者的多模態(tài)應(yīng)用場景提供了更高效的技術(shù)選擇。
綜合評估結(jié)果表明，LongCat-Flash-Omni 在全模態(tài)基準(zhǔn)測試中達(dá)到開源最先進(jìn)水平(SOTA)，同時在文本、圖像、視頻理解及語音感知與生成等關(guān)鍵單模態(tài)任務(wù)中，均展現(xiàn)出極強(qiáng)的競爭力。LongCat-Flash-Omni 是業(yè)界首個實現(xiàn)“全模態(tài)覆蓋、端到端架構(gòu)、大參數(shù)量高效推理”于一體的開源大語言模型，首次在開源范疇內(nèi)實現(xiàn)了全模態(tài)能力對閉源模型的對標(biāo)，并憑借創(chuàng)新的架構(gòu)設(shè)計與工程優(yōu)化，讓大參數(shù)模型在多模態(tài)任務(wù)中也能實現(xiàn)毫秒級響應(yīng)，解決了行業(yè)內(nèi)推理延遲的痛點。
? 模型已同步開源，歡迎體驗：
極致性能的一體化全模態(tài)架構(gòu)
LongCat-Flash-Omni 是一款擁有極致性能的開源全模態(tài)模型，在一體化框架中整合了離線多模態(tài)理解與實時音視頻交互能力。該模型采用完全端到端的設(shè)計，以視覺與音頻編碼器作為多模態(tài)感知器，由 LLM 直接處理輸入并生成文本與語音token，再通過輕量級音頻解碼器重建為自然語音波形，實現(xiàn)低延遲的實時交互。所有模塊均基于高效流式推理設(shè)計，視覺編碼器、音頻編解碼器均為輕量級組件，參數(shù)量均約為6億，延續(xù)了 LongCat-Flash 系列的創(chuàng)新型高效架構(gòu)設(shè)計，實現(xiàn)了性能與推理效率間的最優(yōu)平衡。
大規(guī)模、低延遲的音視頻交互能力
LongCat-Flash-Omni 突破 “大參數(shù)規(guī)模與低延遲交互難以兼顧” 的瓶頸，在大規(guī)模架構(gòu)基礎(chǔ)上實現(xiàn)高效實時音視頻交互。該模型總參數(shù)達(dá) 5600 億(激活參數(shù) 270 億)，卻依托 LongCat-Flash 系列創(chuàng)新的 ScMoE 架構(gòu)(含零計算專家)作為 LLM 骨干，結(jié)合高效多模態(tài)編解碼器和“分塊式音視頻特征交織機(jī)制”，最終實現(xiàn)低延遲、高質(zhì)量的音視頻處理與流式語音生成。模型支持 128K tokens 上下文窗口及超 8 分鐘音視頻交互，在多模態(tài)長時記憶、多輪對話、時序推理等能力上具備顯著優(yōu)勢。
漸進(jìn)式早期多模融合訓(xùn)練策略
全模態(tài)模型訓(xùn)練的核心挑戰(zhàn)之一是 “不同模態(tài)的數(shù)據(jù)分布存在顯著異質(zhì)性”，LongCat-Flash-Omni 采用漸進(jìn)式早期多模融合訓(xùn)練策略，在平衡數(shù)據(jù)策略與早期融合訓(xùn)練范式下，逐步融入文本、音頻、視頻等模態(tài)，確保全模態(tài)性能強(qiáng)勁且無任何單模態(tài)性能退化。
預(yù)訓(xùn)練階段
階段 0：大規(guī)模文本預(yù)訓(xùn)練，利用成熟穩(wěn)定的大語言模型為后續(xù)多模態(tài)學(xué)習(xí)奠定堅實基礎(chǔ)；
階段 1：引入與文本結(jié)構(gòu)更接近的語音數(shù)據(jù)，實現(xiàn)聲學(xué)表征與語言模型特征空間的對齊，有效整合副語言信息；
階段 2：在 文本 - 語音對齊基礎(chǔ)上，融入大規(guī)模圖像 - 描述對與視覺 - 語言交織語料，實現(xiàn)視覺 - 語言對齊，豐富模型視覺知識；
階段 3：引入最復(fù)雜的視頻數(shù)據(jù)，實現(xiàn)時空推理，同時整合更高質(zhì)量、更多樣化的圖像數(shù)據(jù)集以增強(qiáng)視覺理解；
階段 4：將模型上下文窗口從 8K 擴(kuò)展至 128K tokens，進(jìn)一步支持長上下文推理與多輪交互；
階段 5：為緩解離散語音 tokens 的信息丟失，進(jìn)行音頻編碼器對齊訓(xùn)練，使模型能直接處理連續(xù)音頻特征，提升下游語音任務(wù)的保真度與穩(wěn)健性。
經(jīng)過全面的綜合評估顯示：LongCat-Flash-Omni 不僅在綜合性的全模態(tài)基準(zhǔn)測試(如Omni-Bench, WorldSense)上達(dá)到了開源最先進(jìn)水平(SOTA)，其在文本、圖像、音頻、視頻等各項模態(tài)的能力均位居開源模型前列，真正實現(xiàn)了“全模態(tài)不降智”。
LongCat-Flash-Omni 的基準(zhǔn)測試性能
文本：LongCat-Flash-Omni 延續(xù)了該系列卓越的文本基礎(chǔ)能力，且在多領(lǐng)域均呈現(xiàn)領(lǐng)先性能。相較于 LongCat-Flash 系列早期版本，該模型不僅未出現(xiàn)文本能力的衰減，反而在部分領(lǐng)域?qū)崿F(xiàn)了性能提升。這一結(jié)果不僅印證了我們訓(xùn)練策略的有效性，更凸顯出全模態(tài)模型訓(xùn)練中不同模態(tài)間的潛在協(xié)同價值。
圖像理解：LongCat-Flash-Omni 的性能(RealWorldQA 74.8分)與閉源全模態(tài)模型 Gemini-2.5-Pro 相當(dāng)，且優(yōu)于開源模型 Qwen3-Omni；多圖像任務(wù)優(yōu)勢尤為顯著，核心得益于高質(zhì)量交織圖文、多圖像及視頻數(shù)據(jù)集上的訓(xùn)練成果。
音頻能力：從自動語音識別(ASR)、文本到語音(TTS)、語音續(xù)寫維度進(jìn)行評估，Instruct Model 層面表現(xiàn)突出：ASR 在 LibriSpeech、AISHELL-1 等數(shù)據(jù)集上優(yōu)于 Gemini-2.5-Pro；語音到文本翻譯(S2TT)在 CoVost2 表現(xiàn)強(qiáng)勁；音頻理解在 TUT2017、Nonspeech7k 等任務(wù)達(dá)當(dāng)前最優(yōu)；音頻到文本對話在 OpenAudioBench、VoiceBench 表現(xiàn)優(yōu)異，實時音視頻交互評分接近閉源模型，類人性指標(biāo)優(yōu)于 GPT-4o，實現(xiàn)基礎(chǔ)能力到實用交互的高效轉(zhuǎn)化。
視頻理解：LongCat-Flash-Omni 視頻到文本任務(wù)性能達(dá)當(dāng)前最優(yōu)，短視頻理解大幅優(yōu)于現(xiàn)有參評模型，長視頻理解比肩 Gemini-2.5-Pro 與 Qwen3-VL，這得益于動態(tài)幀采樣、分層令牌聚合的視頻處理策略，及高效骨干網(wǎng)絡(luò)對長上下文的支持。
跨模態(tài)理解：性能優(yōu)于 Gemini-2.5-Flash(非思考模式)，比肩 Gemini-2.5-Pro(非思考模式)；尤其在真實世界音視頻理解WorldSense 基準(zhǔn)測試上，相較其他開源全模態(tài)模型展現(xiàn)出顯著的性能優(yōu)勢，印證其高效的多模態(tài)融合能力，是當(dāng)前綜合能力領(lǐng)先的開源全模態(tài)模型。
端到端交互：由于目前行業(yè)內(nèi)尚未有成熟的實時多模態(tài)交互評估體系，LongCat 團(tuán)隊構(gòu)建了一套專屬的端到端評測方案，該方案由定量用戶評分(250 名用戶評分)與定性專家分析(10 名專家，200 個對話樣本)組成。定量結(jié)果顯示：圍繞端到端交互的自然度與流暢度，LongCat-Flash-Omni 在開源模型中展現(xiàn)出顯著優(yōu)勢 —— 其評分比當(dāng)前最優(yōu)開源模型 Qwen3-Omni 高出 0.56 分；定性結(jié)果顯示：LongCat-Flash-Omni 在副語言理解、相關(guān)性與記憶能力三個維度與頂級模型持平，但是在實時性、類人性與準(zhǔn)確性三個維度仍存在差距，也將在未來工作中進(jìn)一步優(yōu)化。
快來跟LongCat語音吧！
另外，我們非常激動的告訴大家，LongCat 官方 App 現(xiàn)已正式發(fā)布，支持聯(lián)網(wǎng)搜索，還可以發(fā)起語音通話(視頻通話功能敬請期待)。
iOS用戶可直接在APP Store中搜索“LongCat”獲取。
LongCat-Flash-Omni 在開源平臺已上線，歡迎開發(fā)者們探索和使用。
我們期待聽到您的反饋。
原標(biāo)題：LongCat-Flash-Omni 正式發(fā)布并開源：開啟全模態(tài)實時交互時代
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
