昨天留下的最後一條線索,是一篇 09-24 掛上 arXiv 的論文:一個只吐機率、不寫半個字的「typed classifier」Jev,拿去跟三個旗艦下一級的 LLM 判官比,便宜 16 到 325 倍,準確率在 27 組配對裡只有 8 組分得出高下,而且「錯得一模一樣」——Jev 最有把握的錯誤,有 96% 被 LLM 判官原封不動重複一次。昨天只抄了摘要的數字。今天把全文的表格與附錄讀完,結論比摘要更尖:這篇論文證明的不是「便宜模型夠用」,而是「判官的錯誤相關性,跨過了架構的界線」。09-27 與昨天的有效票數研究都在同一類生成式判官之間量相關,這篇是第一份把一個完全不生成文字的分類器放進來比的證據。
📖 學
一、實驗到底比了什麼:九個面板、五千零三組配對
Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places(Delip Rao、Chris Callison-Burch,arXiv:2609.29769,v1 2026-09-24,v2 2026-09-28)比較的對象,一邊是 TypeSafe 的 Jev:論文把它定義為「對結構化輸入回答一個問題,輸出的是固定允許答案集合上的機率分布,不寫任何自由文字」。它有三種輸出原語——Noul(二元,取 P(yes) 以 0.5 為門檻)、Choice(多選一,取 argmax)、Score(有序等級,取期望等級後四捨五入)。訓練資料與模型大小論文沒有揭露,所以今天的任何推論都不能建立在「Jev 為什麼這樣」上,只能建立在「Jev 的行為是什麼」上。另一邊是三個旗艦下一級(flash-tier)判官:OpenAI 的 GPT-5.6 Luna、Google 的 Gemini 3.8 Flash、DeepSeek 的 DeepSeek V4.1 Flash,全部零樣本、選項逐組洗牌、走開源的 AutoRubric 評分框架(一次呼叫評一條準則)。
資料是九個面板、七個基準、合計 5,003 組配對(我把表上的數字逐列加過:819+406+1,548+600+250+360+360+360+300=5,003)。其中兩個是二元檢核表型:RiceChem(化學作答,27 條準則,819 組)與 HealthBench(醫療回覆,34 條準則,406 組);另外七個是有序等級型:ELLIPSE(學習者作文,5 級)、FED-Turn、FED-Dialogue、USR-TC、USR-PC(對話品質,3 級)、HelpSteer2(助理回覆,5 級)、LFQA(長篇問答,3–4 級)。論文自己標明有序面板多半只是 10% 或 20% 的抽樣,單一準則的結果只建立在 25 到 258 個單位上——這個樣本量限制,是讀後面每個百分點差距時要記著的。
二、準確率:二元題 Jev 領先,有序題從沒贏過最強判官
表 2 的核心數字如下(Jev 用 Choice 解碼):
| 面板 | Jev | Luna | Gemini | DeepSeek |
|---|---|---|---|---|
| RiceChem(二元) | 81.0% | 77.8% | 76.1% | 79.2% |
| HealthBench(二元) | 77.1% | 70.4% | 79.6% | 76.4% |
| ELLIPSE(5 級) | 13.4% | 14.1% | 29.8% | 15.0% |
| FED-Dialogue(3 級) | 48.6% | 46.7% | 56.9% | 46.9% |
| HelpSteer2(5 級) | 48.6% | 39.2% | 54.6% | 46.8% |
| USR-PC(3 級) | 56.4% | 60.6% | 60.6% | 57.8% |
27 組配對(Jev 對三個判官 × 九個面板)的總帳,論文寫得很清楚:8 組分得出高下、8 組在五個百分點的等價範圍內、11 組無定論。昨天的筆記只記到「8 組顯著」,沒有拆方向。我把兩次抓取到的表 2 daggers 逐格對:Jev 領先 4 次——RiceChem 對 Luna(+3.2 個百分點)、RiceChem 對 Gemini(+4.9)、HealthBench 對 Luna(+6.7),以及 HelpSteer2 對 Luna(48.6 對 39.2,+9.4);Jev 落後 4 次——ELLIPSE 對 Gemini(−16.4)、FED-Dialogue 對 Gemini(−8.3)、HelpSteer2 對 Gemini(−6.0)、USR-PC 對 Luna(−4.2)。4 加 4 正好 8,且與論文「四次領先中三次在二元面板、四次落後全在有序面板」的敘述一致。
換成白話:當準則是「有沒有做到某件事」,一個不會思考的機率分類器跟會逐步推理的旗艦下一級判官打成平手甚至略勝;當準則是「這篇作文該給第幾級」,最強的判官(多半是 Gemini)有明顯優勢,Jev 沒有任何一個有序面板拿到最高準確率。ELLIPSE 還有一個要小心的地方:Jev 的 13.4% 與 Luna 的 14.1% 都低於 5 級均勻亂猜的 20%,論文自己說「近半數 ELLIPSE 標籤取決於四捨五入規則」,所以這個面板的絕對準確率更像是在量「誰碰巧對上取整慣例」,不適合當能力排名的證據。
三、成本:每組配對一點二六萬分之一美元
九個面板跑完,Jev 總共花 0.063 美元、29 秒。三個判官的總成本:Luna 1.83 美元、Gemini 20.48 美元、DeepSeek 4.16 美元;牆鐘時間約 859 秒、950 秒、6,298 秒。我自己重算比值:1.83÷0.063=29.0 倍、20.48÷0.063=325 倍、4.16÷0.063=66 倍;時間 859÷29≈30 倍、950÷29≈33 倍、6,298÷29≈217 倍,和論文表列的 29、325、66、30、33、220 吻合。除以 5,003 組配對,Jev 每組約 1.26 萬分之一美元(0.063÷5,003≈1.26×10⁻⁵),Gemini 每組約 0.0041 美元,Luna 約 0.00037 美元,DeepSeek 約 0.00083 美元。摘要寫的「16 到 325 倍」是兩種模式合併後的最小與最大值:逐準則模式下最貴的是 Gemini 的 325 倍,整份準則一次送出(whole-rubric 模式,與 Jev 同樣的並行度)下最便宜的是 Luna 的 16 倍,同模式下 Gemini 為 182 倍、DeepSeek 為 54 倍。拉到高推理強度後,論文說判官的完成 token 比中等強度多 41% 到 180%,成本變成 Jev 的 36 到 675 倍。
四、96% 是怎麼算出來的,又能推到哪裡
最受矚目的數字出現在第 5.3 節的表 3。樣本是這樣建的:每個有序面板取 Jev 最有信心的 12 個錯誤,七個有序面板共 84 組配對;每組配對有三個判官的判決,總共 252 個 LLM 判決。其中 242 個判決(242÷252=96.0%)給出與 Jev 一樣的錯誤答案。對照基準是「該判官在同準則、同標籤的其他配對上,給出 Jev 那個錯誤答案的比例」,算出來是 50.3%。換成整份準則一次評(96.8%)與高推理強度(97.2%)兩種條件,數字幾乎不變。把範圍放寬到 Jev 的全部錯誤,這個重複率仍然在六個有序面板高出基準 18.8 到 34.2 個百分點,ELLIPSE 高出 8.6 個百分點。
我自己算一個粗略顯著性:若 252 個判決互相獨立,(0.960−0.503)÷√(0.503×0.497÷252)≈14.5 個標準差;但同一組配對的三個判官顯然不獨立,保守地把有效樣本數當成 84 組配對,則為 0.457÷√(0.503×0.497÷84)≈8.4 個標準差。兩個算法下,這個差距都不是抽樣誤差能解釋的。要小心的是樣本選擇:這 84 組是「Jev 最自信的錯誤」,不是 Jev 所有錯誤的隨機樣本,所以 96% 是「最自信的錯」這一個切片的數字,不是整體錯誤的重疊率。
這個重疊在說什麼,論文自己的誠實程度值得記一筆。第 7 節原文大意是:每個判官都逐字照字面讀、準則文字沒寫出的慣例、共享的訓練先驗、不願給最高等級、以及在意見分歧的配對上人類評分員本身的分歧,都可能各自貢獻,而他們的資料無法把這些原因分開;第 5.2 節則把「準則文字缺少慣例說明」當作主要機制,但同時承認沒有做過任何提供範例或重寫等級說明的實驗,因此這個解釋是事後的、探索性的。換句話說,論文證明了「錯誤高度重疊」這個現象,並沒有證明「為什麼重疊」。這也是我今天標為推論的部分:如果重疊主要來自標籤端(標註員分歧或取整慣例),那麼跟 09-02 那篇的結論同構——標註雜訊會讓所有模型一起被同一組標籤「判錯」,與判官之間的獨立性無關;如果主要來自共享先驗,則是 09-27 的有效票數問題換了一種架構重演。兩種解釋對實務的建議截然不同,而這篇論文沒有給出判決。
五、cascade:先讓便宜判官答,低信心的送給貴的
論文的第二個實驗直接回應工程上最自然的衝動:既然 Jev 便宜 300 倍、而且回報校準過的信心,那就讓它先答、信心低於門檻的才送給 LLM 判官,應該能用一點點成本拿到近似的準確率,甚至更高。結果是:就算門檻用評估資料事後挑到最好(oracle),也沒有任何一個面板超過最強單一判官 2.7 個百分點;用一半資料選門檻、另一半評估(cross-fitted,較貼近實務)時,最大增益只有 HealthBench 的 +1.5 個百分點,RiceChem 反而低 1.0 個百分點。ELLIPSE 上,為了追上 Gemini,oracle 門檻也得把 99.8% 的配對送去給 Gemini——Jev 的信心在那個面板幾乎沒有排序能力,AUROC 僅 0.49,等同丟硬幣。
成本面的算術很直接:Jev 每組配對約 1.26 萬分之一美元,Gemini 約 0.0041 美元,相差約 325 倍。若 cascade 送出比例為 d,成本約等於 Jev+d×Gemini,即 Gemini 的 d+0.3%。送出 6% 時(RiceChem 的 oracle 水準)成本是 Gemini 的約 6.3%;送出 80% 時約 80.3%;送出 99.8% 時約 100.1%——比直接用 Gemini 還貴一點點,準確率增益 0.0。這裡假設各面板每組配對的 token 量接近,ELLIPSE 作文較長,實際比值會有出入,但量級不變。論文總結六個面板的 cascade 只花 Gemini 成本的 16% 到 48%,代價是 held-out 準確率低 0.2 到 1.8 個百分點。
六、為什麼重疊的錯誤把 cascade 的上限壓死(我的小模擬,非論文)
cascade 準確率的上限,是「兩個判官至少一個對」的比例,也就是 1 減去「兩個都錯」的比例。這件事我用一個玩具模擬驗證:設兩個判官單獨準確率都是 60%,另設一個「共享困難」比例 h——在這些題目上兩個判官都錯,而且便宜判官對這些錯誤同樣有自信,其餘題目兩個判官各自獨立答對。信心訊號雜訊 0.5,送出比例 20%、40%、60%,40 萬題。結果(相對最強單一判官的增益):
| 共享困難比例 h | 天花板 1−h | d=20% | d=40% | d=60% |
|---|---|---|---|---|
| 0%(完全獨立) | 100% | +10.8 | +16.2 | +14.0 |
| 10% | 90% | +10.8 | +13.5 | +10.6 |
| 20% | 80% | +9.5 | +9.7 | +7.1 |
| 30% | 70% | +5.8 | +5.1 | +3.7 |
| 40% | 60% | 0.0 | 0.0 | 0.0 |
模擬假設一大堆(信心訊號是常態雜訊、困難題目的錯誤完全重疊、二元準確率),不能拿來估計任何真實面板,它只示範一件事:共享困難比例每增加 10 個百分點,天花板就掉 10 個百分點,cascade 的增益會比天花板更早消失。論文裡 96% 的重疊,對應的就是「共享困難」比例大到足以吃掉全部增益的世界。這個模擬的程式碼是我今天在本機另寫的,論文沒有這張表,表中任何數字都不應被當成論文結果引用。
🧠 記
- 便宜 300 倍的判官跟貴的判官錯在同一個地方,這是第三種「有效票數」證據。 09-27 是九個生成式判官的 Kish 有效票數 1.99–2.48,昨天是 32 個判官的二元誤差有效票數 1.971–2.227,今天是生成式判官與非生成式分類器之間,最自信的錯誤重疊 96.0%(242/252)對基準 50.3%。三份證據的架構與任務都不同,結論共線:換架構不能自動換來獨立性,獨立性要實測。
- 「便宜的先答、貴的補位」這個工程直覺,前提是便宜判官的信心能指出自己哪裡錯;在最自信的錯誤上,這個前提恰好最不成立。 cascade 的失效不是門檻沒調好(oracle 門檻也不行),而是被篩出來送給貴判官的題目,本來就不是貴判官更擅長的題目。判斷 cascade 值不值得蓋,先量「最自信的錯誤」在貴判官那邊的重複率,比先量平均準確率有用得多。
- 二元準則與有序準則是兩個不同的判官問題,不要用同一個面板平均去回答。 在「有沒有做到」的檢核表題上,一個不寫理由的機率分類器可以打平旗艦下一級判官(RiceChem Jev 81.0%、三判官 76.1%–79.2%);在「第幾級」的有序題上,判官之間的差距與取整、慣例的關係,大於與模型大小的關係。這跟 09-04 的結論相接:標籤本身的天花板,才是有序評分最先碰到的牆。
✍️ 實踐
挑你手上一個有金標籤的判官流程(任何一個有標準答案、而且有兩個以上判官或模型的評估),做一次「最自信錯誤的重複率」檢查,預估一個下午:
- 拿最便宜的那個判官(或分類器)的輸出,依它自己回報的信心由高到低排序,篩出「信心最高、但與金標籤不符」的錯誤,每個準則或每個面板取最多 12 筆(論文的取法;若總錯誤不到 12 筆就全取)。
- 把這些題目送給貴的判官,記下它給的答案是不是跟便宜判官的錯誤答案一樣。重複次數除以總判決數,就是重複率。
- 算基準:貴的判官在「同準則、同金標籤」的其他題目上,給出便宜判官那個錯誤答案的比例。論文的基準是 50.3%,你的會因任務而不同。
- 如果重複率遠高於基準(例如超過 80% 而基準是 50%),先不要蓋 cascade;把這十幾題讀一遍,判斷是準則文字少了慣例說明、標籤本身有疑義、還是兩個判官確實共享同一個盲點——這三種原因對應的修補方式完全不同,而且論文本身也分不出來。
做完把「重複率、基準、這十幾題的人工歸因」三樣寫進你的判官紀錄。這一步花的是人工,不花 API 費用,而且能避免你多花一個月去蓋一個天花板已經被錯誤重疊壓死的 cascade。
🔗 延伸學習
- Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places — Delip Rao、Chris Callison-Burch,arXiv:2609.29769(v1 2026-09-24,v2 2026-09-28)。今天的唯一主要依據:九面板 5,003 組配對、Jev 與三個 flash-tier 判官的準確率與成本、96.0%(242/252)最自信錯誤重疊、cascade 增益上限 2.7 個百分點。
- Autorubric: A Unifying Framework for Rubric-Based LLM Evaluation on Non-Verifiable Tasks — arXiv:2603.00077,同兩位作者。今天那篇論文使用的「AutoRubric harness」的來源,我只確認了標題與用途描述,沒有讀全文。
- delip/autorubric — GitHub 上的 Python 函式庫,封裝以 LLM 判官做準則式評分的最佳實務;想自己重現「逐準則對整份準則一次評」的成本差異,可以從這裡開始。
- How Many Humans Are 32 LLM Judges Worth? — Chao Li、Yingying Yu、Yunfeng Li,arXiv:2609.21277。昨天的主要依據,今天用來對照「生成式判官之間的有效票數」與「跨架構的錯誤重疊」是否收斂到同一結論。
💬 問 AI
我有一個 LLM 判官評測流程(場景:[填:準則式評分 / 成對偏好 / 二元檢核表],目前判官:[填:便宜判官與貴判官各是什麼]),正在考慮蓋一個「便宜判官先答、低信心的送給貴判官」的 cascade。請依序回答,嚴格區分三類:「來源說的」(論文原文與表格,附 arXiv 編號與章節)、「你查證的」(你實際查到的網頁或數據,附網址)、「你推論的」(你自己的推理,標明假設)。查不到就直接說查不到,不要編。
1. 依 arXiv:2609.29769(Jev vs. LLMs as Rubric Judges):論文用什麼定義算「重複錯誤」與「獨立基準」(50.3%)?樣本是怎麼挑的(84 組配對、252 個判決)?這個 96.0% 能不能推廣到「所有錯誤」,為什麼不能或能?
2. 論文把重疊歸因於哪些因素(第 5.2 節與第 7 節)?哪些是論文的實驗證據、哪些是事後解釋?如果重疊主要來自標籤端(標註員分歧、取整慣例),與如果主要來自判官共享的訓練先驗,對我的 cascade 設計各有什麼不同的建議?
3. 幫我設計一個一個下午做得完的檢查:從我的判官流程取「便宜判官信心最高、但與金標籤不符」的錯誤(每準則最多 12 筆),送給貴判官,算重複率與基準,並給出判讀門檻(超過多少就不蓋 cascade)。請列出每一步需要的資料欄位,與樣本太小時信賴區間該怎麼估。
4. 用這個公式幫我估:cascade 準確率上限 = 1 − P(兩個判官都錯)。假設我兩個判官單獨準確率都是 [填:百分比],我估計共享錯誤比例是 [填:百分比],上限是多少?送出比例 d 的成本是便宜判官成本加 d 乘以貴判官成本,請用我的實際單價算一個損益平衡點。
5. 給我最強的反方論證:(a) 為什麼 96% 重疊在實務上可能不是問題(例如重疊的錯誤集中在標籤本身有疑義的題目);(b) 為什麼在二元準則上這篇論文的結論可能不適用於我的場景;(c) 有沒有 2026 年的獨立研究直接支持或反駁「便宜判官加 cascade 能顯著提升準確率」?有就附網址,查不到就明說查不到。