我的知識庫

AI · 2026-07-12

閱讀時間約 9 分鐘

文字生成的底層邏輯正在被改寫。過去三年幾乎所有主流語言模型都遵守同一條規則：一次吐一個 token,由左到右往下寫,像打字機一樣。2026 年上半年,「擴散語言模型」(diffusion LLM, dLLM)從研究論文真正走進生產環境,Google 六月釋出開源的 DiffusionGemma、Inception Labs 三月推出的推理型 Mercury 2,兩者都證明「整段文字同時生成、再反覆修正」這條路線已經可以打贏傳統自回歸模型的速度天花板,而且品質差距正在快速縮小。這是今天想紀錄的技術主題。

📖 學(核心)

傳統自回歸模型的物理限制

自回歸(autoregressive, AR)模型的生成方式是「預測下一個字」,每算完一個 token 才能算下一個,本質上是循序處理。這在雲端服務沒什麼大問題,因為伺服器可以把成千上萬個使用者請求「打包」在一起,共用 GPU 運算資源,把利用率拉滿。但換到單一使用者的本地推理場景(例如筆電、桌機跑本地模型做即時編輯),問題就浮現了:GPU 大部分時間其實在「等下一個字」,運算單元根本沒被餵飽,形同一台高效能引擎被拿來牽引一輛腳踏車。這正是 Google 在 DiffusionGemma 發布文章裡明講的瓶頸——AR 模型把解碼速度綁在記憶體頻寬上,而不是運算能力上。

擴散模型怎麼「一次寫完一段」

擴散語言模型借用的是圖片生成的邏輯:先鋪一塊「畫布」,上面全是隨機的雜訊 token,接著模型分多輪對整塊畫布同時去噪、反覆修正,每一輪都讓所有 token 互相參照上下文,逐步收斂成一段通順文字。DiffusionGemma 的做法是一次攤開 256 個 token 的畫布,靠雙向注意力(bi-directional attention)讓每個字都能看到前後所有字,而不像 AR 模型只能往前看。這種「先寫草稿、再整段修正」的機制,對非線性任務特別有利,例如程式碼填空、行內編輯、數學推導這類「後面的內容會影響前面怎麼寫」的場景,AR 模型天生就綁手綁腳,擴散模型反而如魚得水。

兩個代表性模型:DiffusionGemma 與 Mercury 2

Google 於 2026 年 6 月 10 日以 Apache 2.0 授權釋出 DiffusionGemma,這是總參數 26B、實際啟用 3.8B 的 MoE 模型,建立在 Gemma 4 與更早的 Gemini Diffusion 研究之上。官方數據顯示,在單張 NVIDIA H100 上可達每秒 1000 多個 token,消費級的 RTX 5090 也有每秒 700 多個 token,量化後能塞進 18GB 顯存的高階消費卡。但 Google 也老實承認代價:品質比同規格的自回歸 Gemma 4 略低,官方建議正式生產環境還是用標準 Gemma 4,DiffusionGemma 目前定位是給開發者做速度敏感、互動式本地應用的實驗選項。

另一邊,Inception Labs 在 3 月 4 日推出的 Mercury 2 走的是「推理型擴散模型」路線,同樣是每秒破千 token 的水準,但同時把推理能力做上去——在 AIME 2026 數學競賽題上拿下 90% 的準確率,GPQA 博士級科學題拿下 77%,兩項成績都超過了 DiffusionGemma(AIME 69.1%、GPQA 73.2%)。速度方面,Mercury 2 對比 Claude Haiku 4.5 Reasoning 的每秒 89 個 token、GPT-5 Mini 的每秒 71 個 token,快了五倍以上,定價是每百萬輸入 token 0.25 美元、輸出 0.75 美元,價格也壓在同級模型之下。這說明擴散架構不是只能拿來換速度,配合強化學習等訓練手法後,推理品質同樣可以被打磨上去。

現階段的取捨與適用場景

誠實地說,2026 年中的擴散語言模型還不是萬用解方。它們在程式碼生成、短篇任務上已經很有競爭力,但在複雜多步推理、長文連貫性、嚴格格式遵循上仍略遜於頂級自回歸模型。適合的場景很明確:本地部署、低併發、對延遲極度敏感的互動應用(即時編輯器、程式碼自動補全、快速迭代草稿),而不是需要長篇高精度輸出的正式生產鏈路。另外 Google 也特別註記,這種加速原理仰賴「運算密度」高的硬體,像 Apple Silicon 這類統一記憶體架構、運算對頻寬比偏低的晶片,加速效果可能沒那麼明顯——換句話說,擴散模型的優勢目前主要體現在獨立顯卡上。

🧠 記

  • 自回歸模型逐字生成,受限於記憶體頻寬,本地單使用者推理時 GPU 常常「等」而非「算」。
  • 擴散語言模型一次攤開一整塊 token(如 256 個),靠雙向注意力多輪去噪修正,把瓶頸從頻寬換成運算力。
  • DiffusionGemma(Google, 2026/06, 26B MoE / 3.8B 啟用, Apache 2.0):H100 上千 token/秒,RTX 5090 上 700+ token/秒,但整體品質略遜同規格 AR 模型。
  • Mercury 2(Inception Labs, 2026/03, 推理型 dLLM):AIME 2026 達 90%、GPQA 達 77%,速度是 Claude Haiku 4.5 Reasoning 的 10 倍以上。
  • 擴散模型的加速優勢在低併發、單一顯卡的本地場景最明顯,雲端高併發批次推理下 AR 模型仍具效率優勢。

✍️ 實踐

今天挑一個「行內編輯」或「程式碼填空」的小任務,實際比較擴散式與自回歸模型的手感差異:

  1. 到 Hugging Face 或 OpenRouter 上找一個可試用的 dLLM(DiffusionGemma 或 Mercury 2),丟一段未完成的程式碼或段落,要求模型「補完中間缺的部分」。
  2. 同一個任務換成平常慣用的自回歸模型(如 GPT 系列或 Claude)再跑一次,記下兩者在「生成速度感受」與「補完是否合理銜接前後文」上的差異。
  3. 把兩次結果與觀察寫進自己的筆記,標註「適合本地即時場景」還是「適合長文正式產出」,建立日後選模型的判斷依據。

🔗 延伸學習

💬 問 AI

我正在評估是否要在我的{應用場景,例如:本地程式碼編輯器 / 客服機器人 / 內容草稿工具}中導入擴散語言模型(diffusion LLM)取代現有的自回歸模型。
請根據以下條件幫我分析:
1. 我的併發量大約是{數字},主要運行環境是{本地顯卡型號 / 雲端 GPU 型號}
2. 我最在意的指標是{延遲 / 吞吐量 / 輸出品質 / 成本}
3. 任務類型偏向{長文生成 / 短篇即時互動 / 程式碼填空 / 結構化資料}

請給我:
- 是否適合現階段導入擴散語言模型的判斷
- 如果適合,建議從哪個模型開始試(如 DiffusionGemma、Mercury 2)
- 需要注意的風險或品質落差

反向連結