昨天留的待辦是 Rao 與 Callison-Burch 的附錄 N(整份評分準則一次判)與附錄 O(高推理強度),今天讀完了:這次不靠擷取工具的摘要,而是讓它把 PDF 存成本機檔,再用 Python 的 pypdf 抽出第 45 到 58 頁全文自己讀。結果有一個要緊的轉折:論文內文說高推理強度下 HealthBench 的保留區符號檢定 p=0.019、LFQA 為 0.035,兩個數字我都用附錄的題數重算對上了(15 比 4、12 比 3),但它們不是 Jev 變強,而是 LLM 判官在高推理強度下變差,cascade 的「增益」是從變低的基準線量出來的。另一個待辦(查釋出套件位置)今天又找了一輪,仍然沒有結果,依昨天定的規則,這條線在此收尾。
📖 學
一、兩個 p 值:題數與恆等式都對得上
附錄 O 的正文給了兩個高推理強度下的保留區題數,加上 Table O4 的準確率,可以延續前幾天的對帳做法。下表的 N 是各面板的配對數,「對備援單用」欄是我把論文給的準確率與題數換算回來的。
| 條件 | 面板與備援 | 保留區 b : c | b−c | (b−c)÷N | cascade 對備援單用 | 符號檢定 p |
|---|---|---|---|---|---|---|
| 預設 | HealthBench,Gemini | 18 : 10 | 8 | 1.97 | 331 對 323 題,差 8 | 0.18 |
| 高 | HealthBench,Gemini | 15 : 4 | 11 | 2.71 | 331 對 320 題,差 11 | 0.019 |
| 預設 | LFQA | 2 : 0 | 2 | 0.56 | 論文表列 +0.6 | 0.50 |
| 高 | LFQA,Luna 當備援 | 12 : 3 | 9 | 2.51 | 70.9% 對 68.4%,差 2.5 | 0.035 |
| 高 | LFQA,DeepSeek 當備援 | 13 : 5 | 8 | 2.23 | 論文只給 p | 0.096 |
| 高 | HelpSteer2,Gemini | 25 : 19 | 6 | 約 1.7 | 53.4% 對 51.7%,差 1.7 | 0.45 |
(b−c)÷N 與「cascade 準確率減備援單用準確率」逐列吻合,所以恆等式在高推理強度下也成立。符號檢定的 p 值我用 b、c 自己算過:15 比 4 是 0.0192、12 比 3 是 0.0352、25 比 19 是 0.4514,與論文印出的值相同。HealthBench 的另一端也有資訊:在被送去備援的題目上,Gemini 單獨答對 33 題、Jev 單獨答對 16 題(p=0.021),代表 Jev 的信心確實把「Jev 較不準的區域」分了出來,這是 cascade 路由邏輯成立的證據,我昨天沒提,補在這裡。
二、增益是從下降的基準線量出來的
同一個 HealthBench 面板,預設設定下保留區是 18 比 10,高推理強度下是 15 比 4,差別來自 Gemini 在保留題上有 11 筆判決改變(7 筆由對轉錯、4 筆由錯轉對),淨少對 3 題。整個 cascade 在兩個條件下都是 406 題中答對 331 題,沒變;Gemini 單用從 323 掉到 320。差 3 題,就讓 p 值從 0.18 掉到 0.019。論文自己的描述也很直接:最佳 oracle cascade 的增益在 HelpSteer2、LFQA、HealthBench 變大,「每一次都是因為最佳單一判官掉得比 cascade 多」。
| 面板 | 最佳單一判官(預設 → 高) | cascade(預設 → 高) | oracle 增益(預設/中/高) | 交叉擬合增益(預設/中/高) |
|---|---|---|---|---|
| HealthBench | Gemini 79.6 → 78.8 | 81.5 → 81.5 | +2.0 / +2.0 / +2.7 | +1.5 / +1.8 / +2.4 |
| LFQA | Luna 71.5 → Jev Score 69.6(Luna 單用掉到 68.4) | 72.1 → 70.9 | +0.6 / +0.6 / +1.4 | +0.6 / +0.6 / +1.8 |
| HelpSteer2 | Gemini 54.3 → 51.7 | 54.8 → 53.4 | +0.6 / +0.6 / +1.7 | −0.9 / −0.9 / +1.0 |
(LFQA 與 HelpSteer2 的預設 cascade 準確率是我用「最佳單一判官加預設增益」推回的,與論文給的 54.8 一致,LFQA 的 72.1 沒有論文的直接印出值,屬推算。)HelpSteer2 的交叉擬合增益從 −0.9 變成 +1.0,只因為基準線少了 2.6 個百分點。把「高推理強度」當成讓 cascade 更有用的條件並不準確:附錄 O 的九面板彙總顯示,Gemini 高對預設的準確率差是 +0.5(區間 −0.1 到 +1.2,平價),Luna 是 −0.0,代價卻是 Luna 的費用 1.84 美元變 2.30 美元(多 25%)、Gemini 的 20.59 美元變 42.77 美元(多 108%),Gemini 的牆鐘時間從 950 秒變 3,361 秒。唯一通過 Holm 校正的準確率變動是 Gemini 在 ELLIPSE 的 +2.5。
另外一個衡量「Jev 與 LLM 判官到底有沒有差」的數字也隨設定移動:27 組比較裡「分得開」的數量,預設是 8、中等是 10、高是 5。論文標題與摘要的「至多 8 組」是預設設定下的最大值,不是設定無關的常數。
三、成本:判決的粒度決定省不省
附錄 N 做了另一種 LLM 用法:整份評分準則在一次請求裡一起判,而不是一個準則一個請求。請求數從 5,003 降到 1,021,提示 token 約降到三分之一,費用降 45%(Luna)、44%(Gemini)、19%(DeepSeek)。對 cascade 的影響更大:被保留或送出備援是以「配對」(單一準則的判決)決定的,但整份評分準則的備援請求要以「單元」計費,只要一個單元裡有一個配對被送出,整份都得再判一次。
| 面板(每單元準則數) | 逐準則備援:達到最佳 LLM 判官所需費用占比 | 整份備援:同一占比 |
|---|---|---|
| RiceChem(6.8) | 6.6% | 57.0% |
| FED-Turn | 45.5% | 99.1% |
| FED-Dialogue(10) | 77.9% | 93.4% |
| USR-TC | 47.5% | 73.0% |
| USR-PC | 31.3% | 44.6% |
| HealthBench(2.0) | 15.6% | 28.3% |
| HelpSteer2(4) | 35.6% | 36.6% |
| LFQA(3) | 39.0% | 23.4% |
| ELLIPSE | 99.8% | 100.4% |
論文提醒備援準確率的變動也會推動這個比例,所以不是純粹的計費效果。具體例子:HelpSteer2 最佳整份 cascade 只送出 14.5% 的配對,卻碰到 46.7% 的單元;USR-TC 在匹配 Gemini 的門檻下,38.1% 的配對落在 81.9% 的單元上。整份備援下,成本低於判官一半的面板只剩四個(23% 到 45%)。昨天寫「可靠的賣點是成本」仍然成立,但成本是在「判決粒度與備援粒度一致」時才成立。每個單元的準則越多,保留比例換算成金額的折扣越小,RiceChem 每單元 6.8 個準則、FED-Dialogue 10 個,兩者的省錢程度都被明顯吃掉。
四、重跑雜訊地板:同一個請求,間隔八天,判決不同的比例
附錄 O 做了一個少見的對照:把預設設定的請求原封不動在 8 天後再跑一次(第二次預設跑),比較與主跑相同判決的配對比例。結果是 Luna 83.6%、Gemini 97.0%、DeepSeek 80.4%(106 個重跑單元、529 個配對)。換句話說,同一個請求隔八天,Luna 有約 16% 的判決不同、DeepSeek 約 20%。DeepSeek 還有額外原因:論文記到它第二次預設跑的提示 token 數只有 103 個單元中的 5 個與主跑一致,OpenRouter 在兩個日期把請求路由到了不同的上游供應商。
這個地板也解釋了附錄 N 的一個細節:整份評分準則與逐準則兩種判法,在全部配對上給出不同判決的比例是 Luna 24.3%、Gemini 11.6%、DeepSeek 22.6%,但在重跑單元上,重跑同一組整份請求本身就會改變 13.8%、7.4%、12.1% 的判決。扣掉重跑雜訊,「判法本身」造成的額外差異是 9.5、3.5、10.3 個百分點(論文稱 cross-mode excess,95% 區間都不含零)。這是一個可以直接借用的做法:任何「換配置後準確率差一點」的比較,先量同配置重跑的差距,才知道差一點算不算差。
五、三篇新近論文:序級量表壓縮、標籤蓋過定義、自我稽核
以下三篇都是 09-30 到 10-01 的 v1,我只讀到 arXiv 摘要頁或擷取工具回的摘要,沒有逐頁核對,數字請當作二手。
第一,Gao 等人的 More Choices, Fewer Decisions(09-30)。他們量「量表利用率」:用 exp(熵) 比較模型輸出分布與金標籤分布的有效支撐大小。在 36 個序級資料集上,JEV 1.13 的序級利用率偏離金標籤 24.2 個百分點,四個測試模型落在 24 到 33 個百分點,名目分類任務則是 1.5 到 13.4 個百分點(KEV-0.8B 的名目偏離偏大)。量表越細壓縮越重:JEV 1.13 的利用率從二選項的 95.9% 掉到 14 選項的 54.5%。他們也用 3.2 萬筆、八個序級來源做低秩微調,把 KEV-0.8B 與 KEV-4B 的利用率從 47.4%、46.4% 拉到約 86.8%、85.6%,準確率分別 +13.0、+15.3 個百分點,在沒訓練過的來源上則只有 4B 轉移成功(73.2% 到 81.3%),0.8B 反而降(75.0% 到 72.7%)。這與 Rao 的附錄 N5 同向:Rao 量到五個判官乘七個序級面板共 35 組裡 31 組偏移為負(判官給的等級低於人類),Gao 等人則主張這不等於固定偏低,而是量表被壓縮,不同模型在不同任務各自偏向不同錨點。要區分兩者,需要對同一批題看「用了幾個等級」而非「平均高低」。論文頁面寫程式與資料放在 GitHub,但網址在頁面上有明顯拼字疑點,我沒有打開。
第二,Labels Override Definitions in Jev-Style Typed Decision Models(10-01)。摘要說:刪掉所有選項定義,準確率幾乎不變(0.8559 對 0.8487);把選項名稱改成中性字母,準確率反而 +0.1511;偏誤來自提示呈現而非模型決策機制,且有一個實作不受影響。這與 Rao 的 Table P1 有張力:Rao 建議在二元準則上給 Jev 判定定義的包裝,理由是比裸用多 +10.7 與 +1.0 個百分點。兩者任務與設定不同(一邊是路由規則寫在定義裡,一邊是評分準則的判定),我沒讀兩篇的全文,不能下結論,只標成「尚未調和」。
第三,Fast Models, Slow Evidence(10-01),比較的是兩個「系統一」決策模型 Laya 與 Jev 在 11 個代理決策點上的表現(13,923 個測試案例、18 個公開來源),不是對 LLM 判官。摘要寫作者自己稽核出四處分析錯誤,其中一處把成本節省從 23.9% 改為 4.3%,另有兩個疑慮的混淆因素經檢查後不改結論。這與我這幾天每天更正前一天的做法同類,而且說明這個領域的第一手數字改版頻繁,值得引用時一併記版本。
六、對昨天的核對與更正
我把昨天第三節表格的九列費用占比與增益欄位對照附錄 N5 的預設欄(6.6、15.6、99.8、45.5、77.9、35.6、39.0、47.5、31.3;oracle 增益 −0.4、+2.0、0.0、−5.2、0.0、+0.6、+0.6、+0.3、+1.3;交叉擬合增益 −1.0、+1.5、−0.1、−7.3、−0.9、+0.6、+0.6、−0.7、+0.8),全數一致,沒有需要改的數字。需要補的是兩件事。一是昨天把兩支腳本描述為釋出的全部:附錄 M 還寫整份判決的結果樹與重跑結果樹各自獨立釋出,共三棵,另有一支設定腳本。二是釋出位置:論文全文(含倫理聲明)只寫「釋出判決紀錄」與附錄 M,從頭到尾沒有任何程式碼或資料網址;今天另外查了論文的二手解析網誌、一份 Jev 論文彙整清單與一次搜尋,都沒有指向釋出套件。我沒有逐一打開作者個人頁與 TypeSafe 文件站的每一頁,所以這條記成「位置未查到」,不記成「未釋出」。
🧠 記
- cascade 增益要同時報兩個基準線。 對「備援單用」與對「最佳單一判官」的差,以及備援與最佳單一判官自己在兩個設定下的準確率;基準線掉 3 題,保留區 p 值能從 0.18 變 0.019。
- p 值要連同選擇次數看。 兩個 p 值是未校正、在 oracle 門檻、事後挑出的:我自己用面板數 9 做保守校正,0.019 乘 9 約 0.17,0.035 乘 9 約 0.32,若連三個推理強度條件一起乘 27,0.019 約 0.52(三個條件不獨立,所以這個乘法偏保守,只當量級參考)。
- 省錢要看備援的計費粒度。 配對層級的 6.6% 在單元層級變成 57.0%;每單元準則越多,折扣越被吃掉。
- 先量重跑雜訊再比配置。 同一請求隔八天,Luna 有約 16% 的判決不同,「判法」造成的額外差異則是 3.5 到 10.3 個百分點。
✍️ 實踐
評估自己的 cascade 時,把下面四步寫進報告模板,並把每一步的輸出存成檔:
- 在同一份凍結題集上,對備援判官做兩次相同設定的重跑,量判決相同比例,當成雜訊地板;沒有地板,後面的差異都無法判讀。
- 對每個設定(包含推理強度、整份或逐準則判法)分別記:便宜判官單用、備援單用、cascade 三組準確率與保留區的 b、c,並同時列對「備援單用」與對「最佳單一判官」的差。
- 費用以備援真正被呼叫的最小單位計:先數出被送出的配對屬於幾個單元、幾份文件,不要只算配對比例。
- 把 p 值連同「這是幾個面板、幾個設定中挑出的」一起寫,並用面板數做至少一次保守校正。
def billing_share(deferred_pairs, unit_of_pair):
"""deferred_pairs: set of pair ids sent to fallback; unit_of_pair: dict pair id -> unit id"""
n_pairs = len(unit_of_pair)
units = set(unit_of_pair.values())
touched = {unit_of_pair[p] for p in deferred_pairs}
return len(deferred_pairs) / n_pairs, len(touched) / len(units)
# 回傳 (配對層級送出比例, 單元層級被碰到比例);備援按單元收費時,後者才是成本的基礎這條 cascade 連載到此收尾。未解的只剩兩件:Rao 的釋出套件位置,以及 Rao 的包裝 +10.7 點與標籤蓋過定義那篇的結論怎麼並存(需要讀兩篇全文)。
🔗 延伸學習
- JEV vs. LLMs as Rubric Judges — Rao 與 Callison-Burch,v2。本篇的附錄 N(整份評分準則)、附錄 O(推理強度)表格與題數都來自其 PDF 全文。
- More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models — Gao 等人,v1(2026-09-30)。序級量表利用率與低秩微調修正,本篇數字取自摘要頁與擷取工具摘要。
- Labels Override Definitions in Jev-Style Typed Decision Models — Azizi 等人,v1(2026-10-01)。選項標籤蓋過定義,只讀到摘要。
- Fast Models, Slow Evidence — Li,v1(2026-10-01)。Laya 與 Jev 的配對評估與作者自我稽核的四處錯誤,只讀到摘要;前情見 昨天的 AI 與 10-02 的 AI。
💬 問 AI
我正在評估是否為 [填:判官 / 分類 / 代理控制] 任務蓋一個 cascade(便宜模型信心高就採用,否則升級給強模型)。請嚴格區分三類:「文章說的」(論文原文與表格,附 arXiv 編號、版本、附錄與表號)、「查證到的」(你實際查到的網頁或資料,附網址)、「推論的」(你自己的推理,標明假設)。查不到就說查不到,不要編。
1. 依 arXiv:2609.29769 v2 的附錄 O,高推理強度下 HealthBench 的保留區 b 與 c 是多少、符號檢定 p 是多少?cascade 準確率與備援單用準確率在預設與高推理強度兩個條件下各是多少?請用 (b−c)÷N 驗算,並說明「增益變大」有多少來自備援變差。
2. 我的 cascade 若按單元(整份文件)呼叫備援而非按配對,附錄 N 說費用占比會如何變化?請用其中兩個面板的數字說明,並告訴我我該用哪一個單位算成本。
3. 我有 [填:題數] 題金標籤與兩個判官的對錯紀錄。請幫我算保留區 b、c、符號檢定 p、(b−c)÷N,並依面板數與設定數做保守校正;再說明我該怎麼量同配置重跑的雜訊地板。
4. 序級量表壓縮(arXiv:2609.38827)與判官偏向給低等級,兩者怎麼區分?我該用什麼指標檢查自己的判官?
5. 這篇論文的釋出套件(Rao 的附錄 M)在哪裡可以下載?如果你查不到網址,請明說查不到,不要猜。