昨天留下的待解問題是「96% 的錯誤重疊,到底來自標籤端還是判官共享的盲點」,以及 cascade 在別的任務上會不會也失效。今天讀了同一個產品 Jev 的第二篇獨立論文(卡內基美隆大學團隊,arXiv:2609.26550),結論比昨天更細:同樣是「Jev 先答、信心低的升級給強判官」,這篇報告的是準確率比強判官高 0.93 個百分點、費用只有 41%;兩篇論文並不矛盾,因為 cascade 的準確率增益在數學上只取決於兩個判官「一對一錯」的題目數,而不是「兩個都錯」的題目數。重疊高的世界裡,cascade 幾乎無損、也幾乎無增益,它買到的是成本而不是準確率。另外,兩篇論文合起來給出了第一份能把重疊拆成三個來源的證據:HaluEval 上兩個判官都答錯的題目,有 24 題(共 26 題)的標籤本身就站不住腳。同時要先更正昨天的一處:那篇論文的「2.7 個百分點」是高推理強度那一欄的上限,預設設定的上限是 2.0。
📖 學
一、先更正昨天:2.7 是哪一欄的數字
昨天寫「cascade 即使用 oracle 門檻,也沒有任何面板超過最強單一判官 2.7 個百分點;cross-fitted 最大增益是 HealthBench 的 +1.5」,兩個數字各自沒錯,但混在一起讀會誤導。我今天把 Rao 與 Callison-Burch 的論文的 v1 摘要、v2 摘要與 v2 全文表 3 對過一遍:v1 摘要寫「cross-fitted 最多 1.5、oracle 最多 2.0」;v2 摘要改成「oracle 最多 2.7」。差別來自表 3 把三種判官條件並排:
| 條件 | oracle 最大增益 | cross-fitted 最大增益 |
|---|---|---|
| 逐準則(預設,v1 摘要的數字) | 2.0 | 1.5 |
| 整份準則一次評 | 2.6 | 2.5 |
| 高推理強度 | 2.7 | 2.4 |
所以正確的說法是:2.7 是 v2 新加的高推理強度條件下的上限,預設條件的 oracle 上限是 2.0(HealthBench);cross-fitted 在三種條件下是 1.5 到 2.5。昨天「cross-fitted 最大 +1.5」只對預設條件成立。這張表我是透過網頁擷取讀到的,原表的版面我沒有逐格對過,引用時請以論文為準。這一點也對應到昨天提到的版本問題:兩個版本的 cost 摘要寫法(29 對 16)和增益上限(2.0 對 2.7)都改過,抓數字要標版本。
二、同一個產品,兩篇論文的標題相反
JEV-as-a-Judge: Accept When Confident, Escalate When Unsure(Yubo Li、Yidi Miao、Ramayya Krishnan、Rema Padman,v1 2026-09-22,v3 2026-09-29)比的是另一個問題:Jev 的信心能不能當成「接受或升級」的閘門。它對照十六個生成式與獎勵模型判官,基準是 RewardBench、JudgeBench、HaluEval 與既有標籤,強判官是 GPT-6(該論文使用的最強判官設定)。基本帳如下(擷取自 v1 表 1 與 v3 全文):
| 項目 | 數字 |
|---|---|
| RewardBench:Jev 對 GPT-6 | 92.2% 對 93.5% |
| JudgeBench:Jev 對 GPT-6 | 78.6% 對 93.1%(差 14.6 個百分點) |
| HaluEval:Jev 對 GPT-6 | 87.5% 對 86.7% |
| 單價 | Jev 每千次判決 0.044 美元、中位延遲 0.152 秒;GPT-6 為 12.182 美元、1.885 秒 |
| v3 headline(1,610 組保留配對,τ=0.9) | cascade 93.4% 對 GPT-6 單用 92.5%,差 +0.93 個百分點,95% 信賴區間 0.24 至 1.66;費用 41%,升級比例 31.5% |
單價我自己除過:0.044÷12.182=0.361%,與論文的「0.36%」吻合,倍數約 277。1,610 是 RewardBench 1,340 加 JudgeBench 270。
要小心兩件事。第一,這個 headline 在版本間搬家:早期版本(現在放在附錄)報的是 92.5% 對 93.1%,即少 0.6 個百分點(區間 −1.8 到 0.6)、費用 56.8%、約為 GPT-6 準確率的 99%;擴充資料後的 v3 變成多 0.93 個百分點(區間 0.24 到 1.66)、費用 41%。兩個區間互相重疊,所以我不把這個搬家讀成「cascade 變好了」,只讀成「增益大小在 −0.6 到 +1.7 之間,取決於樣本」。第二,這篇論文的新工作負載實測(PPE 與 JudgeBench 的 Claude 分組,共 570 組)結果是「準確率與 GPT-6 完全相同,升級 74% 的配對、省下約四分之一費用」,也就是在新場景裡 cascade 靠把大部分題目送回去維持準確率,省的錢小很多。
兩篇論文放在一起,共同點比差異大:準確率落在強判官的正負一個百分點內,費用降到約四成到六成。昨天那篇的 cascade 也是這個形狀(省成本、準確率沒有明顯提升)。真正不同的是對「為什麼增益這麼小」的解釋:Rao 說是錯誤重疊,CMU 那組報的重疊其實隨任務差很多。
三、cascade 增益的恆等式:只有一對一錯的題目有意義
單一備援的 cascade(Jev 信心高於門檻就採用 Jev,否則採用強判官),把題目分成「接受區」與「升級區」:升級區的答案就是強判官的答案,所以相對強判官的準確率差為零。增益全部來自接受區:
增益 = 接受區佔比 × (接受區上 Jev 準確率 − 強判官準確率)
用 McNemar 的寫法等價於 (b − c)÷N,其中 b 是接受區內「只有 Jev 對」的題數,c 是「只有強判官對」的題數;兩個都錯的題目在減法中互相抵銷,完全不貢獻。這是我推導的恆等式,不是論文原文;我用論文的 pooled 資料代入驗算:4,850 題中 Jev 信心 0.9 以上有 3,744 題(77.2%),該區 Jev 準確率 94.7%、GPT-6 為 94.4%,所以增益 ≈ 0.772×0.3=+0.23 個百分點,即約 11 題。這個量級與論文的 +0.93(另一個樣本、另一個區間)方向一致、同為不到一個百分點。
這個恆等式立刻說清楚昨天那件事。重疊高,意思是 b 與 c 都小:信心很高的錯誤,強判官有 96% 也錯(昨天的 242 對 252),那些題目對增益貢獻零、對損失也貢獻零。所以高重疊對 cascade 的影響是「無損但無增益」,不是「害處」。真正會讓準確率下降的,是 c:Jev 高信心答錯、但強判官答對的題目,這部分在 Rao 的 84 組裡只有約 4%。
再用 JudgeBench 的數字看天花板(CMU 論文第 8 節):350 組中 Jev 錯 75 題,GPT-6 錯 24 題,兩者都錯 15 題。我算:Jev 準確率 275÷350=78.6%,GPT-6 為 326÷350=93.1%,兩者吻合論文表 1;oracle(永遠選到對的那個)為 335÷350=95.7%,與論文吻合,比 GPT-6 高 2.6 個百分點,這就是 cascade 在這個基準上理論上限,也就是 b=24−15=9 題。如果兩個判官獨立,期望兩者都錯的題數是 75×24÷350=5.14 題,b 會是 24−5.14=18.9 題、上限 5.4 個百分點。觀察到 15 題都錯、b=9,相關性把增益天花板砍了約一半(18.9 降到 9),但並沒有砍到零:GPT-6 修正了 Jev 75 個錯誤中的 60 個(80%)。
四、重疊的三個來源,各有一點證據
昨天論文說分不開原因,今天兩篇一起看,至少可以把證據排在三個欄位:
| 來源 | 證據 | 證據性質 |
|---|---|---|
| 能力缺口(強判官確實比較會) | JudgeBench:GPT-6 修正 Jev 80% 的錯誤;兩者都錯的比率 20%,對照獨立期望(GPT-6 自身錯誤率 6.9%)高約 2.9 倍 | CMU 論文第 8 節,可由表上的數字重算 |
| 標籤本身有問題 | HaluEval:兩個判官都漏掉的、經盲審的題目中,24 題(共 26 題)的標籤與證據不符,即約 92% | CMU 論文第 6 節;盲審由論文作者做,人數與一致性我沒查到 |
| 評分慣例沒寫進準則 | Rao 論文第 5.2 節:ELLIPSE、USR 上三個判官的偏移方向一致,「共用 prompt 或解碼規則都不是共同原因」 | 事後、探索性解釋;第 7 節明寫沒有任何提供範例或改寫等級說明的實驗 |
這張表要看的是「不同任務的主因不同」,而不是挑出哪一個贏。RewardBench 上論文還報了 Jev 的 48 個錯誤中 GPT-6 也錯 30 個(62.5%),對照 GPT-6 自身錯誤率約 6.5%,高約 9.6 倍;但這個 48 與 6.5% 來自不同版本與樣本,我沒有逐項核對分母,只把它當成「RewardBench 重疊也很高」的訊號。結論是我的推論:重疊不是一個常數,它是「題目多少比例取決於標籤與慣例,多少比例取決於可推導的能力」的混合比;客觀可驗證的推導題(JudgeBench)能力缺口大、cascade 值得;主觀等級與慣例題(Rao 的有序面板)重疊高、cascade 只能買成本。
五、信心在哪裡會失效
CMU 論文也標出 Jev 信心不能用的區域:在 RM-Bench 的風格對抗配對上,錯誤偵測的 AUROC 從風格一致配對的 0.84 降到 0.76(v1 全文擷取為 0.918 對 0.770,版本間數字不同);在無參考答案的幻覺偵測上,所有判官準確率約 52% 到 55%,Jev 的平均最大機率仍高達 0.90,但準確率只有 52.5%、錯誤偵測 AUROC 0.518,等同丟硬幣。這個區域放進 cascade 的後果很直接:Jev 以 0.90 的信心「接受」一堆其實是對半猜的題目,而升級閘門完全看不出來。另一個工程細節是溫度縮放:在一個任務的 pilot 上調好的校準,論文說在一個任務有幫助、另外兩個任務反而有害(第 7.2 節),JudgeBench 與 HaluEval 需要的溫度方向相反(0.65 對 2.15 與 4.45)。所以門檻要在自己的任務上凍結,不能直接搬別人的 0.9。
六、能把標籤問題與判官問題拆開的工具,現在到哪
Decomposing LLM-Judge Uncertainty to Target Expert Labels(Ryan Lail,v1 2026-09-06,v3 2026-09-11)正面處理「該送給專家的,是判官不懂、還是專家本來就分歧」:把總不確定性拆成 aleatoric(標註池本身的分歧,標籤無法消除)與 epistemic(判官的無知,多一個標籤能減少),用已蒐集的標籤學出「該多信判官幾分」,不去擬合判官本身。在 ChaosNLI(3,113 題,每題 100 位標註者)上,10% 升級預算下依 epistemic 排序移除 15.0 單位誤差,依總熵排序只有 8.2,摘要寫的「多 83%」就是 15.0÷8.2=1.83 倍減一。
我重讀後認為這篇用法上要打很大的折扣:論文自己承認在 ChaosNLI 上判官對每題的陌生程度幾乎一樣,學出來的信任參數 λ 接近平坦,所以真正被真實資料測到的只有「依標籤數」那一半;一個「標籤最少的先送」的簡單啟發式拿到 14.3 單位,15.0 對 14.3 只贏 4.9%;完整方法只在已知真值的合成骰子上完整示範。所以今天對這條線的判讀是:把重疊拆成「標籤問題」與「判官盲點」需要的是這種分解,但目前只有方法,沒有在真實判官資料上測過它能不能分得開。這個缺口論文稱為「欠缺的資料集」。
理論面還有一篇相關的下限:Partially Correlated Verifier Cascades in LLM Harnesses(Jiangang Han,2026-07-15),摘要結論是串聯驗證關卡的後驗對數勝算對關卡數是凹的、失敗率多項式而非指數遞減,而且存在一個「盲點原子」使可擷取的證據不隨關卡數增加;以獨立假設外推,k=5 時低估失敗 20 倍、k=10 時約 3,000 倍。它處理的是「全部通過才接受」的串聯關卡,不是「信心不夠就升級」的 cascade,所以只能類比;結論「要的是去相關,換模型家族、模態或證據來源,不是多加關卡」,與 Rao 論文結尾「cascade 需要一個錯在別處的備援」同向。我只讀了摘要,沒有驗證推導。
🧠 記
- cascade 的準確率增益只由接受區「一對一錯」的題目決定,公式是 (b − c)÷N;兩個都錯的題目抵銷掉。 所以高重疊的後果是「無損也無增益」,cascade 買到的是成本(兩篇論文都落在強判官費用的約 41% 到 57%,準確率差在正負一個百分點內),不是準確率。蓋 cascade 之前要先問自己的目標是省錢還是提高準確率,後者在重疊高的任務上不會發生。
- 重疊不是常數,它是標籤、慣例與能力三種來源的混合。 JudgeBench 上強判官修正了 80% 的錯誤,HaluEval 上兩個判官都漏的題目約 92% 標籤本身有問題,有序題上則是評分慣例沒寫進準則;三個任務用同一個數字(96%)概括,會同時蓋住真的值得蓋 cascade 的場景與完全不值得的場景。要拆就得做標籤審核,不能只看一致率。
- 信心閘門在無參考答案與風格對抗的題目上失效,而且失效時不會自己報警。 平均最大機率 0.90 配 52.5% 準確率,是校準完全壞掉;門檻要在自己的任務上凍結,別搬 0.9。
✍️ 實踐
延續昨天的檢查,今天補上兩個步驟,一個下午內可以做完:
- 取你的便宜判官與強判官在同一批有金標籤題目上的判決,先不看信心,做 2×2 表:都對、只有便宜對(b)、只有強判官對(c)、都錯。算 (b − c)÷N 與 b÷N,後者是 cascade 的理論增益天花板。再用獨立假設算期望的 b 與期望的都錯題數(都錯期望=便宜判官錯誤數×強判官錯誤數÷N),看相關性把天花板砍了多少。
- 依便宜判官信心由高到低,只在「接受區」(例如信心 0.9 以上)重算 2×2 表,得到實際的增益 = 接受區佔比 ×(接受區便宜準確率 − 強判官準確率),與預期的成本比(便宜判官單價 + 升級比例 × 強判官單價)。
- 把「都錯」的題目抽 20 題(不足就全取),不看判官答案,先自己判斷標籤是否站得住腳,分成「標籤有問題」「準則缺慣例說明」「確實是難題」三類,記下各佔幾題。這一步的結果,決定重疊該靠重標、補準則還是換備援模型來處理。
明天接的待辦:查 Rao 與 Callison-Burch 的 v2 與 CMU 的 v3 有沒有釋出逐題判決紀錄或程式碼(我今天沒查到,未查證),有的話直接重算上面的 2×2 表與接受區增益,驗證我導出的恆等式是否與他們的 Table 4 逐面板吻合。
🔗 延伸學習
- JEV-as-a-Judge: Accept When Confident, Escalate When Unsure — Yubo Li 等人,卡內基美隆大學,v3 2026-09-29。今天的主要新依據:準確率與成本帳、JudgeBench 的 75、24、15 錯誤分解、HaluEval 盲審 24 對 26、信心失效區。
- JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places — Rao 與 Callison-Burch,v2 2026-09-28。昨天的主要依據,今天用來對照表 3 的三種條件(2.0、2.6、2.7 的出處)與第 5.2、7 節的解釋與限制。
- Decomposing LLM-Judge Uncertainty to Target Expert Labels — Ryan Lail,2026-09。把不確定性拆成標註池分歧與判官無知的方法;重點在它的限制,真實資料上只測到「依標籤數」那一半。
- Partially Correlated Verifier Cascades in LLM Harnesses — Jiangang Han,2026-07-15。串聯驗證關卡在部分相關下的下限與「盲點原子」;我只讀了摘要。
💬 問 AI
我有一個 LLM 判官流程(場景:[填:準則式評分 / 成對偏好 / 二元檢核表],便宜判官:[填],強判官:[填]),正在評估 cascade(便宜判官信心夠高就採用,否則升級給強判官)。請嚴格區分三類:「文章明說」(論文原文與表格,附 arXiv 編號與章節,註明版本)、「我查證」(你實際查到的網頁或數據,附網址)、「我推論」(你自己的推理,標明假設)。查不到就直接說查不到,不要編。
1. 依 arXiv:2609.29769(Rao 與 Callison-Burch)與 arXiv:2609.26550(Li 等人),兩篇論文各自報告的 cascade 增益(相對最強單一判官)與費用比是多少?版本不同時數字有何差異?
2. 單一備援 cascade 的準確率增益是否等於「接受區佔比 ×(接受區便宜判官準確率 − 強判官準確率)」?請推導,並說明兩個判官都錯的題目為什麼不影響增益。若我的推導有漏洞(例如多個備援、升級區用平均而非強判官答案),請指出。
3. 我手上有 [填:題數] 題金標籤資料,便宜判官與強判官的 2×2 表是 都對 [填]、只有便宜對 [填]、只有強判官對 [填]、都錯 [填]。請算 cascade 的增益天花板、獨立假設下的期望值,以及我該不該蓋 cascade(目標:[填:省成本 / 提升準確率])。
4. 對「都錯」的題目,請設計一個人工歸因流程,分成標籤有問題、準則缺慣例說明、確實是難題三類,並說明要抽幾題才能把各類佔比的信賴區間估到正負 15 個百分點內。
5. 給我最強的反方論證:這兩篇論文的結論有哪些限制(判官家族、基準是否含標籤雜訊、盲審人數、利益揭露)?有沒有其他獨立研究支持或反駁「便宜判官加 cascade 能提高準確率」?有就附網址,查不到就明說查不到。