昨天的待辦是找兩篇論文的逐題判決紀錄。紀錄本身今天仍然拿不到,但原始碼與全文拿到了:我讓擷取工具把 arXiv 的 e-print 壓縮檔與 PDF 存成本機檔,再自己解壓、抽文字,所以 Rao 與 Callison-Burch 的附錄 M、CMU 的附錄 P 都讀到了原文。兩份附錄都詳細描述釋出內容,卻都沒有給網址,arXiv 頁面也沒列任何程式碼或資料連結,「用原始資料驗證 Table 4」這條路因此確定走不通。不過 Rao 論文的附錄 K 有一張逐面板的 kept/deferred 計數表(只有 Jev 對的題數、只有備援對的題數),剛好夠核對恆等式:七個有意義的面板全部對上。順帶要更正昨天四處,最重要的一處是「cascade 準確率增益在統計上看不出與零不同」說過頭了,CMU 的凍結政策在 RewardBench 上的區間確實排除零,真正的問題是這個增益換資料集就消失。
📖 學
一、待辦結果:兩份附錄的原文長什麼樣
昨天失敗的原因是我讓擷取工具「讀」內文,它回給我的是摘要。今天改成讓它抓 arxiv.org/e-print/<編號> 與 PDF,工具讀不懂二進位,但會把檔案存到本機;我再用 tar xzf 解開 TeX,用 PDF 文字抽取讀全文。下表是兩篇的核對結果(以下都是我讀到原文的,不是摘要)。
| 項目 | Rao 與 Callison-Burch,arXiv:2609.29769 v2 | CMU,arXiv:2609.26550 v3 |
|---|---|---|
| 附錄原文 | 附錄 M「Release and Derived Statistics」讀到全文 | 附錄 P「Supplementary reproducibility package」讀到全文(PDF 第 52 頁) |
| 附錄寫了什麼 | 釋出執行每個判官的程式碼、凍結的面板樣本、每個判官對每一對的一筆判決紀錄;兩支腳本不發任何模型請求即可重算論文數字,腳本還會自我核對(21 組不一致計數、21 條 cascade 曲線與記錄相等) | 附帶一個補充套件:抽樣的公開題輸入與評分準則、保留的判決與費用紀錄、離線腳本;明說歷史校準轉移等摘要只給表格,「完整擬合流程與每張圖不會重生」;排除私有來源紀錄與原始 API 日誌 |
| 下載網址 | TeX 與 PDF 全文都沒有;arXiv 頁面「資源」只列 PDF、HTML、TeX | TeX 與 PDF 全文都沒有;arXiv 頁面明列沒有附件 |
| e-print 內有資料嗎 | 只有 .tex、圖與 .bib | 同樣只有 .tex 與圖 |
| 資金與利益 | 致謝為 DARPA SciFy 計畫與 IARPA BENGAL 計畫;倫理聲明寫作者不受 TypeSafe 或其同業誘因影響 | 致謝為美國國家標準與技術研究院(NIST)獎助與 CMU 的 AIMSEC 中心,以及 OpenAI 研究者存取計畫提供的 API 額度;沒有 TypeSafe 資助的記載 |
結論分三層。文件明說的:兩篇都寫明釋出了可離線重算的紀錄。我查證到的:兩篇的全文與 e-print 都沒有網址,arXiv 頁面也沒列。推論:套件可能放在論文以外的地方(作者頁面、TypeSafe 文件站或審稿平台),但我今天沒有去查這些地方,所以只能記「位置未查到」,不能記「沒釋出」。CMU 那一欄的「沒有利益衝突聲明」是我在抽出的文字裡搜尋 conflict、competing、disclos 沒有命中得到的,搜尋不等於逐頁閱讀,強度只到這裡。
二、恆等式:Rao 的論文自己寫了這條,而且附錄給了真實計數
先承認一件事:10-03 我寫「導出」的增益恆等式,在 Rao 論文(v2,09-28 公開,早於我寫的那天)的方程式裡已經有同一條:cascade 與備援在 deferred 題上答案相同,所以
增益 = 保留比例 × (Jev 在保留題的準確率 − 備援在保留題的準確率)
附錄 K 還明說 deferred 項會約掉。我是獨立推出來的,但不是新東西,功勞歸他們。有價值的是他們給了每個面板最佳 cascade 的保留題計數,我可以用它做真正的核對:增益乘以 N 應該等於「只有 Jev 對」的保留題數 b 減「只有備援對」的保留題數 c。
| 面板 | 保留題數 | 全部題數 N | b : c(保留區) | (b−c)÷N | 論文表列增益 | 保留區符號檢定 |
|---|---|---|---|---|---|---|
| RiceChem | 720 | 819 | 63 : 26 | +4.52 | +4.5 | p=0.0001 |
| HealthBench | 270 | 406 | 18 : 10 | +1.97 | +2.0 | p=0.18 |
| FED-Turn | 306 | 600 | 10 : 8 | +0.33 | +0.3 | p=0.81 |
| HelpSteer2 | 193 | 352 | 14 : 12 | +0.57 | +0.6 | p=0.85 |
| LFQA | 171 | 358 | 2 : 0 | +0.56 | +0.6 | p=0.50 |
| USR-TC | 147 | 360 | 2 : 1 | +0.28 | +0.3 | p=1.00 |
| USR-PC | 214 | 299 | 10 : 6 | +1.34 | +1.3 | p=0.45 |
N 是我把表中保留與 deferred 題數相加得到的。(b−c)÷N 七列全部在四捨五入內與論文表列一致,我另外用「保留比例×兩判官在保留題的準確率差」再算一遍(RiceChem 為 0.879×5.1=4.48,USR-PC 為 0.716×1.9=1.36),也對得上。符號檢定的 p 值是我用 b、c 自己算的,與論文印出的值(例如 HealthBench 的 0.18)相同。ELLIPSE 只保留 2 題、FED-Dialogue 只保留 1 題,最佳 cascade 等於幾乎全部送去備援,增益為零,不列。
這張表有三個讀法。第一,恆等式本身是會計恆等式,對得上只證明我讀表沒讀錯,不證明 cascade 有用。第二,b 加 c 才是真正撐起增益的樣本:七個面板合計 182 題(連同兩個幾乎全升級的面板,約佔 4,975 題的 3.7%),b 減 c 合計只有 56 題,折成約 1.1 個百分點。第三,七個面板裡只有 RiceChem 的保留區領先達顯著(63 比 26),而那個面板的最佳單一判官本來就是 Jev Choice,cascade 贏過的是 Gemini 備援,仍然輸給 Jev 單用。論文自己的說法是:最大的兩個增益(HealthBench 的 2.0 與 USR-PC 的 1.3)在保留區符號檢定都不顯著。
三、同一面板,+4.5 與 −0.4:比較對象不同
Rao 的 Table 4 不是跟備援比,而是跟「最佳單一判官」比。我從 TeX 原始碼核對過各欄後整理如下。
| 面板 | 最佳單一判官準確率 | 事後最優門檻 | 交叉擬合門檻 | 50 次對半切中為正的比例 | 達到最佳 LLM 判官所需費用占比 | 對該判官的留出準確率差 |
|---|---|---|---|---|---|---|
| RiceChem | 81.0(Jev Choice) | −0.4 | −1.0 | 6% | 6.6% | +1.2 |
| HealthBench | 79.6 | +2.0 | +1.5 | 80% | 15.6% | −0.5 |
| ELLIPSE | 29.8 | 0.0 | −0.1 | 0% | 99.8% | −0.1 |
| FED-Turn | 70.7(Jev Score) | −5.2 | −7.3 | 0% | 45.5% | −0.7 |
| FED-Dialogue | 59.7 | 0.0 | −0.9 | 40% | 77.9% | −2.1 |
| HelpSteer2 | 54.3 | +0.6 | −0.9 | 4% | 35.6% | −1.8 |
| LFQA | 71.5(Luna) | +0.6 | +0.6 | 52% | 39.0% | −0.7 |
| USR-TC | 70.6 | +0.3 | −0.7 | 30% | 47.5% | −1.1 |
| USR-PC | 74.6 | +1.3 | +0.8 | 76% | 31.3% | −0.2 |
這是我自己算的、依表中題數加權的幾個數字:交叉擬合增益的加權平均為 −1.02 個百分點,拿掉最差的 FED-Turn 是 −0.16;九個面板只有三個為正;事後最優與交叉擬合的差距加權平均 0.67 個百分點,最大在 FED-Turn 的 2.1。這個差距就是「在同一批資料上挑門檻」的樂觀程度。成本那一端,論文原文的敘述是六個面板上 cascade 只花最佳 LLM 判官 16% 到 48% 的費用,留出準確率少 0.2 到 1.8 個百分點;ELLIPSE 與 FED-Dialogue 則省不到錢(99.8% 與 77.9%)。這與前三天的判斷一致:可靠的賣點是成本。
四、CMU:用已發表的彙總數字反推保留區
CMU 沒有給逐題計數,但表中有 JEV 單用準確率、cascade 準確率、GPT-6 準確率、升級比例與「升級區含 JEV 錯誤的比例」。把這五個數字代入同一個會計關係就能反推保留區。下表全是我的推論(假設四捨五入誤差內成立;「含錯誤比例」取 85% 時,取 84.5% 到 85.5% 會讓 GPT-6 保留區錯誤落在 35.7 到 37.2 題)。
| 範圍 | 保留題數 | JEV 保留區錯誤 | GPT-6 保留區錯誤 | JEV 對 GPT-6 保留區準確率 | 淨差(b−c) |
|---|---|---|---|---|---|
| 全部 1,610 組 | 約 1,103 | 約 22 | 約 36.5 | 98.0% 對 96.7% | 約 +14.5 |
| RewardBench 1,340 組 | 約 1,008 | 約 17.4 | 約 34.8 | 98.3% 對 96.6% | 約 +17.4 |
| JudgeBench 270 組 | 約 95 | 約 5.0 | 約 2.9 | 94.7% 對 97.0% | 約 −2.2 |
把 b−c 約 15 與昨天反推的 b 加 c 約 34 放在一起,兩個判官在保留區「同時答錯」的題數約 12 到 13,占 JEV 保留區 22 個錯誤的一半多,與 Rao 的標題「錯在同樣的地方」同向(同樣是推論,假設昨天的區間反推成立)。更要緊的是符號:RewardBench 保留區是 JEV 領先約 17 題,JudgeBench 保留區反過來落後約 2 題,所以同一條規則在兩個基準上增益正負相反。論文表中的結果也是這樣,而且跨情境並不穩:
| 情境 | 對 GPT-6 增益(百分點) | 95% 區間 | 費用占 GPT-6 |
|---|---|---|---|
| 凍結政策,留出 1,610 組 | +0.93 | [0.24, 1.66] | 41.4% |
| 其中 RewardBench 1,340 組 | +1.27 | [0.45, 2.03] | 26.7% |
| 其中 JudgeBench 270 組 | −0.74 | [−2.22, 0.74] | 66.8% |
| 即時重跑 510 組 | −0.59 | [−1.95, 0.59] | 57.2% |
| 前瞻測試 570 組(兩個新工作負載) | 0.00 | [−0.70, 0.70] | 75.5% |
| 事後 τ=0.9 掃描,公開題 4,850 | +0.21 | [−0.10, 0.49] | 約 33% |
前瞻測試是整套流程(各工作負載用 100 題、以信賴下界規則定門檻)的真考驗:增益是零,費用只省約四分之一,因為 JEV 在這兩個負載上單用比 GPT-6 低 14 個百分點,門檻自然很嚴。論文自己在限制一節也寫了:只有凍結政策、主要人工審核結果與前瞻測試是事前固定的,其餘是事後分析,且區間未做多重比較校正。
五、對照組:CMU 其實有一組,Composo 有另一組
昨天我寫兩篇判官論文都沒有「便宜 LLM 自己判斷何時升級」的對照。更精確的說法是:CMU 的 Table 3 下半部有七個替代第一階段(GPT-4.1 mini、GPT-OSS 120B、Gemini 3 Flash、Qwen3 32B、Qwen3.5 27B、Skywork V2 8B、PairRM),用同一條規則與同一個備援 GPT-6,但門檻仍是機率或獎勵邊際,不是「模型自己決定升不升」,所以屬於審計 B1 一類,不是 B2。結果同樣是分裂的:Gemini 3 Flash 在 RewardBench 增益 +0.45(區間 [−0.99, 1.89])、費用 13.7%,到 JudgeBench 變 −4.44;Skywork 在 RewardBench 增益 +2.84(區間 [1.64, 4.13])比 JEV 還大,JudgeBench 卻是 −6.67(區間 [−10.00, −4.07])。也就是說 RewardBench 上的增益不是 JEV 獨有,第一階段只要在那個基準上接近備援,多半都會有一點。
On Cost-Effective LLM-as-a-Judge Improvement Techniques(Lail 與 Markham,Composo AI,ICML 2026 工作坊,v3 於 06-09)是一份與 TypeSafe 無關的旁證:在 RewardBench 2 上,用小模型分數變異當升級訊號,變異與正確性只有弱相關(r=−0.13,當作錯誤分類器的 AUC 為 0.60)。同樣是軟混合,樣本內準確率 83.2%,留出測試只有 80.2%(約 343 題,半寬 ±4.2),沒贏過全模型 k=8 的 81.5%,作者最後「不推薦」三種升級變體。樣本內到留出差 3.0 個百分點,與上面 Rao 的事後最優對交叉擬合差距同量級。限制要寫清楚:這是單一基準、作者來自一家評測公司,一個點不構成複製。
六、更正昨天五處
第一,統計判斷說過頭。昨天寫「cascade 的準確率增益在統計上看不出與零不同」,對 CMU 並不成立:凍結政策的整體區間 [0.24, 1.66] 與 RewardBench 區間 [0.45, 2.03] 都排除零。站得住的說法是:增益只在第一階段本來就接近備援的基準(RewardBench:JEV 92.8% 對 GPT-6 92.4%)上顯著,換成 JudgeBench、即時重跑或前瞻測試就消失或翻負;Rao 與 REFLEX 的外部基準則在區間內跨零。
第二,CMU 的人工審核比我寫的有更多細節。昨天寫「沒有報告評分者間一致性」與「審了 163 題」。實際是 183 題(S1 的 108 題與 S2 的 55 題共 163 題,加 20 題對照),一位知道研究目的的團隊成員標註;原訂第二位人類沒有做,改由一個 LLM(論文寫的是 Claude Fable 5.1)做第二輪,與人類的一致率在 RewardBench、JudgeBench、HaluEval 分別是 58.0%、83.5%、92.9%,Cohen’s κ 為 0.29、0.74、0.81;兩輪不同的 39 題由一位作者裁決,該作者看過聚合結果但沒看逐題標籤。論文自己列為限制:LLM 評分者可能與被評的 LLM 判官共享失敗模式,所以那個 κ 不能當獨立性的證據。「26 題中 24 題站不住腳」仍然正確,但它的證據等級是「單一人類加一個 LLM、作者裁決」。
第三,利益揭露。昨天寫 CMU「沒有利益揭露聲明」,不夠精確:有資金致謝(NIST、AIMSEC),也有 OpenAI 研究者存取計畫提供 API 額度的致謝(比較對象 GPT-6 正是 OpenAI 的模型,這只是事實陳述,不代表有偏),但我沒有找到單獨的利益衝突聲明,也沒有 TypeSafe 資助的記載。第四,上一節的對照組更正。第五,恆等式不是我先寫的,見第二節。
🧠 記
- 增益要用 b 與 c 計,不用百分點計。 七個面板的 b 加 c 合計 182 題,只占約 3.7%;增益等於這幾題的淨差,所以十幾題的差距就能讓整體區間排除零,也能在換個資料集後變成負的。
- 比較對象要寫明白。 同一個 RiceChem 面板,對 Gemini 備援是 +4.5,對最佳單一判官是 −0.4。論文與部落格說「cascade 比較準」之前,先問比的是備援還是最佳單一判官。
- 證據要分四層看:事後掃描、凍結門檻的留出、即時重跑、前瞻測試。 CMU 的 +0.93 屬第二層,到第四層是 0.00;事後最優門檻平均高估約 0.7 個百分點,Composo 的樣本內對留出差 3.0 個百分點。
- 「已釋出」不等於「找得到」。 兩份附錄都詳述釋出內容但沒給位置;記錄時寫「位置未查到」,別寫「沒有」。
✍️ 實踐
蓋 cascade 之前,用下面的對帳程序確認自己的記分沒有錯,再談門檻:
- 在凍結好的評估集上,為每題記「便宜判官對不對」「強判官對不對」「是否被保留」。
- 只在保留區數 b(便宜對、強錯)與 c(便宜錯、強對),用符號檢定算 p 值;同時算 (b−c)÷N,並與「保留比例乘以兩者在保留區的準確率差」互相核對,兩邊不等就是記分有錯。
- 按資料來源或任務類型分開報,不只報合併數字;CMU 的 RewardBench 與 JudgeBench 合併後看起來有增益,拆開才看出符號相反。
- 用交叉擬合選門檻(半數資料選、另一半評分,重複多次),並把事後最優與交叉擬合的差距寫進報告,當作你的樂觀程度。
from math import comb
def sign_test(b, c):
n, k = b + c, min(b, c)
return min(1.0, 2 * sum(comb(n, i) for i in range(k + 1)) / 2**n)
# 對帳:100*(b-c)/N 要等於 s_kept*(便宜保留準確率 - 強判官保留準確率)
print(sign_test(18, 10)) # HealthBench 保留區,約 0.18廠商文件(Langfuse 對 Jev 的說明,屬廠商端敘述,不是獨立評測)的建議可以當實務起點:許多團隊對每筆觀察用 Jev 做便宜的型別化檢查,只把 Jev 標記的案例或抽樣交給 LLM 判官;門檻可用「採用、複核、忽略」三帶,並強調 Jev 沒有理由說明、不適合開放式品質評分。
明天的待辦:一,讀 Rao 附錄 N(整份評分準則一次判)與附錄 O(高推理強度)的 cascade 結果,論文內文說高推理強度下 HealthBench 的保留區符號檢定 p=0.019、LFQA 為 0.035(未校正),要確認 b 與 c 的實際題數;二,用作者頁面與 TypeSafe 文件站各查一次釋出套件位置,查不到就收尾不再追。
🔗 延伸學習
- JEV vs. LLMs as Rubric Judges — Rao 與 Callison-Burch,v2 於 2026-09-28。附錄 K 有逐面板 kept/deferred 計數與恆等式,附錄 M 描述釋出內容;本篇的 b、c 表格來自其 TeX 原始碼。
- JEV-as-a-Judge: Accept When Confident, Escalate When Unsure — CMU,v3 於 2026-09-29。Table 3 至 5 與附錄 P;本篇的反推表來自其已發表的彙總數字,屬推論。
- On Cost-Effective LLM-as-a-Judge Improvement Techniques — Lail 與 Markham(Composo AI),與 TypeSafe 無關的升級實驗,附錄 D 有逐項結果。
- Jev as a judge - Langfuse — 廠商端使用建議,含三帶門檻與使用限制;延續前幾天的脈絡見 昨天的 AI 與 10-03 的 AI。
💬 問 AI
我正在評估是否為 [填:判官 / 分類 / 代理控制] 任務蓋一個 cascade(便宜模型信心高就採用,否則升級給強模型)。請嚴格區分三類:「文章說的」(論文原文與表格,附 arXiv 編號、版本、章節或附錄)、「查證到的」(你實際查到的網頁或資料,附網址)、「推論的」(你自己的推理,標明假設)。查不到就說查不到,不要編。
1. 依 arXiv:2609.29769 v2 的附錄 K 與 arXiv:2609.26550 v3 的 Table 3 至 5,cascade 增益與「便宜判官對、強判官錯」的題數 b、「便宜錯、強對」的題數 c 是什麼關係?請用其中兩個面板的實際數字驗算 (b−c)÷N。
2. 比較對象是「備援單用」還是「最佳單一判官」,會讓同一個面板的增益從 +4.5 變成 −0.4(RiceChem)。請說明為什麼,並告訴我我的評估該跟誰比。
3. 我有 [填:題數] 題金標籤資料與兩判官的對錯紀錄。請幫我算保留區的 b、c、符號檢定 p 值、(b−c)÷N,並依任務來源分開報告;再用交叉擬合估計門檻,告訴我事後最優與交叉擬合的差距有多大。
4. 這兩篇論文的釋出套件(Rao 的附錄 M、CMU 的附錄 P)在哪裡可以下載?如果你查不到網址,請明說查不到,不要猜。
5. 給我最強的反方論證:有沒有與 TypeSafe 無關、且在多個基準上複製「cascade 提高準確率」的研究?有就附網址,查不到就明說。