2026 年下半年,「路由」已經取代「換更強的模型」變成 AI 產品降本增效的第一招。IDC 與多份企業調查顯示,現在有 78% 的組織在正式環境同時用兩個以上的 LLM 家族,三個月內用三個以上家族的比例從 36% 衝到 59%——單一模型打天下的時代正式退場,取而代之的是把每個請求送到「剛好夠用」的模型,只有真的需要時才升級到前沿模型。這件事看起來像純工程問題,但背後其實有一整套判斷「這題該不該升級」的演算法與評測體系,而且六月才剛有新論文把整個設計空間重新梳理過一次。這篇來拆路由與串接(cascade)到底怎麼運作、系統怎麼決定何時升級,以及目前業界拿什麼基準來驗證這些系統有沒有偷工減料。
📖 學(核心)
為什麼「一個模型打全部」撐不住了
前沿模型的推論成本跟它的參數量與思考長度幾乎是線性甚至超線性關係,但使用者丟進來的請求難度分佈其實非常不均——大部分是簡單分類、格式轉換、簡短問答,只有一小撮真正需要深度推理。如果每一個請求都無腦丟給最貴的前沿模型,等於是把處理「兩位數加法」的成本,套用在處理「證明一個定理」上。多模型架構的核心洞察很直接:便宜模型能處理的就不要碰貴模型,只有信心不足或難度偏高時才升級。業界把這種「先用便宜模型接手大部分流量、有需要才升級」的做法稱為 advisor model 技巧,從今年第二季開始快速普及,對企業來說吸引力在於同樣的品質水準下,推論帳單可以砍到只剩零頭。
Routing 與 Cascade:兩種不同的決策時機
雖然常被混用,但路由(routing)跟串接(cascade)其實是兩種不同的架構。路由是「單次決策」——請求進來的當下,系統就依照特徵(長度、關鍵字、分類器判斷的難度)決定丟給哪一個模型,決策點在推論之前。串接則是「序列式」——先讓便宜模型跑一次,產生答案之後,再由一個評估機制(信心分數、自我一致性檢查、另一個模型當裁判)判斷這個答案夠不夠好,不夠好才把同一個問題升級給更強的模型重跑。六月的一篇 arXiv 綜述把整個設計空間拆成三個軸:決策時機(推論前、推論中、還是看完第一次回應之後)、決策依據的訊號(問題本身的特徵、模型的歷史表現資料、還是其他 meta 資訊)、以及決策怎麼算出來(寫死的規則、訓練過的分類器、強化學習,或是直接串接)。理解這三軸,才看得懂市面上五花八門的路由系統彼此差在哪裡。
「該不該升級」怎麼決定:信心校準與決策理論
串接系統最核心的技術難題,是怎麼準確判斷「這個便宜模型的答案到底可不可信」。如果判斷太寬鬆,便宜模型的爛答案會被誤判成夠好,品質崩盤;如果太保守,幾乎每題都升級,省下的成本就白費了。目前主流做法是校準過的不確定性估計(calibrated uncertainty)——不只看模型輸出的原始信心分數(這種分數常常過度自信),而是拿一批驗證資料重新校準,讓「信心 0.9」真的對應到「九成機率答對」。六月一篇論文專門處理這個校準問題,把它變成一個成本最佳化的門檻選擇;另一篇決策理論的論文則反過來問「升級到底值不值得」——把整個決策問題形式化成一個效益 vs 成本的權衡模型,回答什麼情況下升級是划算的,什麼情況下升級只是在浪費前沿模型的算力。這種形式化的好處是可以直接算出「在容忍多少品質損失的前提下,最多能省多少成本」,而不是憑感覺調閾值。
實測數字與怎麼驗證系統沒有偷懶
紙上談兵最怕的就是「號稱省很多錢但品質也跟著崩」,所以這個領域特別依賴基準測試。RouterBench 是最早的標準化評測,收錄超過 40 萬筆跨 11 個模型、7 種任務的推論結果;今年初升級版的 LLMRouterBench 規模再擴大到 21 個資料集、33 個模型、超過 40 萬筆實例,同時評分「效能導向」與「效能-成本權衡」兩種路由策略,並整合了 10 種代表性的路由基準演算法方便互相比較。實測結果目前公認的量級是:設計良好的串接系統可以保留最強模型 97-99% 的準確率,同時把成本壓到只剩個位數百分比——早期的基礎串接研究甚至報出跟前沿模型打平但成本砍 98% 的案例。六月的「Cluster, Route, Escalate」論文更進一步,提出一個能自動適應模型池變動的串接框架,也就是說當你今天多接一個新模型、或某個模型被下架,系統不需要重新手動調參數,能自己重新校準路由邏輯。
🧠 記
- 78% 的組織用 2 個以上 LLM 家族,3 個以上的比例三個月內從 36% 衝到 59%,多模型架構已是主流而非實驗
- Routing = 推論前依特徵做單次決策;Cascade = 先跑便宜模型、看結果好不好再決定要不要升級,兩者決策時機不同
- 決策的三軸:何時決策(前/中/後)、依據什麼訊號(問題特徵/模型表現史)、怎麼算(規則/分類器/RL/串接)
- 校準過的不確定性估計是串接系統的核心技術難題,原始信心分數常常過度自信、不能直接拿來當門檻
- Advisor model 技巧:便宜開源模型扛大部分流量,只有信心不足時才升級到前沿模型,Q2 2026 起快速普及
- 好的串接系統可保留最強模型 97-99% 準確率,成本降幅可達 9 成以上,前提是校準做得夠準
- LLMRouterBench(21 資料集、33 模型)是目前規模最大的路由評測基準,取代舊版 RouterBench 成為新標竿
✍️ 實踐
- 幫自己現有的 AI 功能畫一張「請求難度分佈圖」,估算真正需要前沿模型的比例,大概率會發現高於一半的請求根本不需要
- 挑一個高流量、低風險的功能(例如分類、摘要格式化)先接上便宜模型,設一個保守的信心門檻做小規模串接實驗
- 不要憑感覺調信心門檻,先用一批標好答案的驗證集,把模型原始信心分數重新校準過,再拿校準後的分數當升級依據
- 每次調整路由邏輯前後都跑一次基準測試(可參考 RouterBench / LLMRouterBench 的任務設計),用數字證明品質沒有跟著崩
- 把「模型池會變動」這件事design進系統——新模型上線、舊模型下架時,路由邏輯要能重新校準,而不是寫死映射表
- 讀一篇決策理論相關的論文(如 arXiv 2605.06350),練習把「升不升級」形式化成一個可以計算的成本效益問題
🔗 延伸學習
- Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving (arXiv 2606.27457)
- Is Escalation Worth It? A Decision-Theoretic Characterization of LLM Cascades (arXiv 2605.06350)
- LLMRouterBench: A Massive Benchmark and Unified Framework for LLM Routing (arXiv 2601.07206)
- Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey (arXiv 2603.04445)
💬 問 AI
我現在的 AI 功能是 {功能描述,例如：客服問答 / 內容摘要 / 程式碼審查},目前固定用 {目前使用的模型} 處理所有請求。
幫我設計一個簡單的路由或串接策略：
1. 幫我把請求依難度分成幾個等級，各等級大概對應什麼特徵
2. 建議便宜模型該用什麼信心/不確定性門檻來決定要不要升級到 {目標前沿模型}
3. 估算如果導入這套策略，成本與品質大概會怎麼變化