NVIDIA 發表 Audex：聽說讀寫一體的音訊 LLM，號稱不犧牲文字智力

NVIDIA 發表 Nemotron-Labs-Audex-30B-A3B（簡稱 Audex），一個統一的音訊-文字大語言模型，底座是文字 MoE 模型 Nemotron-Cascade-2-30B-A3B（依社群命名慣例，30B 總參數、約 3B 啟用參數）。目標涵蓋音訊智能的完整光譜：聽懂並推理音訊與語音內容，同時能生成語音。

論文標題把賣點講完了——「不在文字智力上倒退的統一音訊智能」。音訊 LLM 的老毛病是為了學聽說而犧牲讀寫：在文字底座上疊音訊能力後，原本的推理與知識水準往往明顯下滑，等於買了耳朵賠了腦子。Audex 宣稱在補上聽說能力的同時守住了底座的文字表現。

架構走極簡路線：單一 Transformer decoder 從頭做到尾，音訊輸入經編碼器投影進文字嵌入空間，文字 token 與量化後的音訊輸出 token 在生成時一視同仁地處理，省掉外掛式的語音管線。

為什麼重要：語音是 agent 的下一個介面主戰場，客服、車載、穿戴裝置都需要「聽得懂、想得通、答得出」一條龍。若統一模型真能不犧牲文字智力，現行「ASR 轉文字、LLM 思考、TTS 讀稿」的三段式架構就有被整碗端走的可能。