昨天的待辦是查兩篇 Jev 論文有沒有釋出逐題判決紀錄,好讓我拿自己導出的 cascade 增益恆等式去對 Table 4。結果是半個肯定:Rao 與 Callison-Burch 的 v2 在倫理聲明裡寫明「釋出每個判官的判決紀錄,不必呼叫任何模型 API 就能重算論文數字」,但我在摘要頁、HTML 與 PDF 擷取都找不到下載網址;CMU 那篇在 GitHub 有一個 scaffold 倉庫,但它自己寫明只有程式碼、沒有資料、不能重現論文數字。所以恆等式今天仍然沒有用原始資料驗證。另一方面,今天查到兩份昨天不知道的材料:一份是 09-26 掛上 arXiv 的第三方審計,盤點 Jev 發佈後九天內的 28 篇論文;另一份是第三篇 cascade 研究 REFLEX(arXiv:2609.26532),它在自己的基準上準確率高 7 個百分點,在外部基準上卻低 5 個百分點。三篇放在一起,cascade 的準確率增益在統計上看不出與零不同,站得住的是成本;同時要更正昨天兩處:HaluEval 的「盲審」只有一個人,以及 CMU 論文其實有 v2。
📖 學
一、待辦結果:逐題紀錄在哪裡
| 論文 | 聲稱釋出什麼 | 我查到什麼 |
|---|---|---|
| Rao 與 Callison-Burch(arXiv:2609.29769,v2) | 倫理聲明:釋出每個判官的判決紀錄;附錄 M 列出紀錄與「需要其他輸入才能算」的數值 | 倫理聲明的原文我抓到了;附錄 M 與下載位置在三次擷取中都沒抓到,網址未查到 |
| CMU 的 JEV-as-a-Judge(arXiv:2609.26550,v3) | 正文提到「附錄 P:補充重現套件」,可用保留的輸出離線重現主要分析 | 附錄 P 內文與網址沒抓到;GitHub 倉庫 jev-as-a-judge-scaffold 是另一回事,只含判官介面、cascade 邏輯、門檻擬合、校準與測試,明說「不能重現原論文的指標」 |
這兩條合起來的結論有點諷刺:這個領域兩篇主要論文都宣稱可重現,但我今天沒有任何一個檔案可以下載來驗證。我不把這解讀成「他們沒釋出」,只解讀成「我用網頁擷取工具看不到」;附錄與網址很可能在完整 HTML 或 PDF 的我沒讀到的部分。明天的做法改成直接用 arXiv 的 TeX 原始碼或附件清單找,而不是靠摘要擷取。
二、更正昨天兩處
第一處是盲審。昨天寫「盲審由論文作者做,人數與一致性我沒查到」,現在查到了:CMU 論文第 6 節與附錄 C 的做法是「一位團隊成員,不看標籤與判官輸出,審了一個 990 題子集中全部 163 題」,LLM 第二輪只負責標出要不要交給作者審,沒有報告評分者間一致性(kappa 之類)。所以「26 題中 24 題標籤站不住腳」(約 92%)是一個人對自己團隊挑出的 163 題的判斷。這不代表錯,但昨天把它放進「三個來源」表裡當成與 JudgeBench 重算同等級的證據,等級是過高的:前者可以用表上的數字重算,後者是單一評分者、無一致性。
第二處是版本與利益揭露。昨天寫 CMU 論文「v1 2026-09-22,v3 2026-09-29」,實際上中間還有 v2(2026-09-27)。至於「獨立」二字:Rao 論文倫理聲明寫「作者不受 TypeSafe(開發 Jev 的公司)或其同業誘因影響」;CMU 論文我讀到的內容沒有利益揭露聲明,作者所屬單位只列卡內基美隆大學。「沒有聲明」與「沒有利益關係」是兩回事,所以我只能說「作者單位不是 TypeSafe」,不能說「已證實獨立」。
三、第三份證據:REFLEX 在代理任務上的 cascade
REFLEX with Jev for Efficient Selective Control in LLM Agents(Tiantong Wu、Wei Yang Bryan Lim,新加坡南洋理工大學,2026-09-22)把 cascade 搬到另一個場景:代理在每個控制步驟先問 Jev,信心高就直接執行,信心低才升級給強模型。這跟前兩篇的判官任務不同,但結構一樣。它同時報了自己的基準與外部基準,我把表上的數字整理並自行驗算:
| 基準 | 條件 | 成功率 | 成本或強模型呼叫 | 相對強模型單用 |
|---|---|---|---|---|
| 自建 REFLEX-Sim(100 題,每條件跑一次) | REFLEX(門檻 0.5) | 95% | 每題 1.12 次強模型呼叫 | 1.12÷4.10=27.3%,即省 72.7% |
| 同上 | 生成式 cascade(便宜 LLM 自行判斷何時升級) | 87% | 2.04 次 | 2.04÷4.10=49.8%,省 50.2% |
| 同上 | 強模型單用 | 88% | 4.10 次 | 基準 |
| 外部 τ²-bench(60 題,5 個條件共 300 回合) | REFLEX(門檻 0.5) | 85% | 每回合 0.0572 美元 | 0.0572÷0.2111=27.1% |
| 同上 | 生成式 cascade | 91.7% | 0.0411 美元 | 0.0411÷0.2111=19.5% |
| 同上 | 強模型單用 | 90% | 0.2111 美元 | 基準 |
兩個基準的故事相反。自建基準上 REFLEX 又快又準;外部基準上,一個沒有任何專用模型、只靠便宜 LLM 自己決定要不要升級的 cascade,比 REFLEX 更準也更便宜,成本是強模型單用的約 19.5%。我驗過的小數點對得上:60 題下 85%、90%、91.7% 分別是 51、54、55 題成功(51÷60=85.0%、54÷60=90.0%、55÷60=91.7%),所以生成式 cascade 比強模型單用只多成功 1 題,比 REFLEX 多 4 題,而論文報告的差距 0.067 正好是 4÷60。論文自己給的區間是 [−0.033, +0.167],跨過零。我用簡單的未配對近似自己算一次(各約 60 題,標準誤 √(0.85×0.15÷60+0.917×0.083÷60)≈5.8 個百分點、半寬約 11.4),得到 [−4.7, +18.1],寬度與論文的配對自助法區間(半寬約 10)相近,所以區間跨零不是巧合,是 60 題撐不起這個差距。
自建基準方面,論文對三個不同強模型後端報的成功率差距是 +0.040、−0.020、0.000,95% 自助法區間分別是 [−0.010, +0.090]、[−0.050, 0.000]、[0.000, 0.000]。我只有網頁擷取的文字,「差距對應哪個比較對象」我沒有逐格核對,但這些區間沒有一個完全在零以上。我的解讀(推論):REFLEX 站得住的主張是「減少強模型呼叫」,不是「成功率更高」。
這個結果也解釋了為什麼外部基準上沒有增益。論文對 τ²-bench 的稽核是 300 回合裡「控制選擇錯誤為零、參數生成錯誤為零」,在 BFCL 上函式選擇準確率已經是 98.4%。這正是昨天恆等式的邊界情形:如果便宜判官(或路由)本來就沒什麼會錯,接受區內「只有便宜的對」那一項 b 就接近零,增益不存在,cascade 只能買成本。
四、第三方審計怎麼看這一整串論文
Typed Decision Models: An Early Evidence Audit and Evaluation Checklist(Lijuan Tang、Yuemeng Zheng,v1 2026-09-26)盤點的是 TypeSafe 在 09-15 商用發佈 Jev 之後九天內掛出的 28 篇論文,其中 11 篇用信心門檻把任務升級給別的模型或人。摘要的結論是:型別化輸出相對於一般「標籤對數機率」做法沒有明確的準確率優勢,「最清楚的增益在延遲與成本」,困難任務上準確率差距仍在;作者自己定位為「早期證據地圖,不是定論」。它列出 14 項評估檢查,我從網頁擷取讀到的合規數字如下(未回原文逐格核對):
| 檢查項 | 意思 | 合規 |
|---|---|---|
| B1 | 有沒有一般模型的標籤對數機率基準線 | 5 篇 / 26 篇 |
| B2 | 適用時有沒有「便宜生成式 cascade」基準線 | 1 篇 / 5 篇 |
| T3 | 選項名稱不變性測試(換名稱看結果) | 1 篇 / 27 篇 |
| R2 | 主要結果有信賴區間或顯著性檢定 | 15 篇 / 27 篇 |
| C3 | 門檻凍結且與評估資料分開 | 7 篇 / 7 篇(另有 3 篇不明) |
| C4 | 延遲有沒有分快取與否 | 3 篇 / 20 篇 |
這張表有兩個值得記的點。第一,B2 的 1 篇對 5 篇,正好對應上一節:Wu 與 Lim 就是拿便宜生成式 cascade 當對照的那一篇,而審計引用了它的結論「在外部 τ²-bench 上生成式 cascade 比 TDM cascade 更便宜、也不比較不準」(我用 REFLEX 原文核對了這句,與表上的 91.7% 對 85%、0.0411 對 0.0572 美元一致)。審計沒有在我讀到的內容裡點名其他四篇是哪些;我讀過的兩篇判官論文,對照組是強判官單用與其他判官,沒有「便宜 LLM 自己判斷何時升級」這一組(推論:它們可能就在那四篇之內,但我沒有逐篇核對)。第二,審計還提到 T3 的例子:把選項名稱從 no/yes 換掉,AUC 從 0.815 掉到 0.581,代表至少在某個開放的 TDM 上,答案對選項字串敏感;它同時指出 Jev 內部不公開,這類機制結論來自開放模型,「不一定適用於託管的 Jev」。
這裡要誠實講擷取的限制:我讓網頁擷取工具讀審計全文時,它曾把「92.5 對 93.1、費用 57%」同時歸給兩篇論文,明顯是擷取混淆(那是 CMU 早期版本的數字)。所以上表我只信兩類資料,一是能回原論文核對的(Wu 與 Lim 的引文),二是格式簡單的計數;審計對個別論文的逐項判斷,我不引用。
五、把恆等式套回三份證據:增益小於一個樣本顆粒度
昨天的恆等式是增益=(b − c)÷N,即準確率差等於「接受區內只有便宜判官對」減「只有強判官對」的題數,除以總題數。把 N 放進去,三篇的增益有一個共同的特徵:它們都只是幾題的差距。
- REFLEX 外部基準:N=60,每一題的顆粒度是 1.67 個百分點;生成式 cascade 比強模型單用的「優勢」是 1 題,比 REFLEX 的「優勢」是 4 題。
- REFLEX 自建基準:N=100,95% 對 88% 是 7 題;論文對三個強模型後端的區間都碰到零。
- CMU 的 v3 headline:93.4% 對 92.5%,1,610 組中約差 15 組(0.0093×1,610≈14.97)。我用它的 95% 區間 0.24 到 1.66 反推(推論:假設區間是對稱的常態近似,配對差的標準誤=√(b+c−(b−c)²÷N)÷N),半寬約 0.71 個百分點,標準誤約 0.36 個百分點,換算成題數約 5.8,平方得 b+c≈34,再配合 b−c≈15,得到 b 約 24 或 25、c 約 9 或 10。也就是說,那個「+0.93」大約由 34 組一對一錯的配對撐起來,佔 1,610 組的 2.1%。這個反推有太多假設(區間可能是自助法、早期版本與 v3 的樣本不同),只能當量級,不能當 b、c 的實測值。
這三個數字放在一起有一個一致的圖像:cascade 準確率增益是「兩個判官一對一錯的少數幾題」的函數,而這個少數在 1,610 組裡約 34 組、在 60 題裡 1 到 4 題。要宣稱「cascade 比強模型更準」,需要的是遠超過目前樣本的資料;要宣稱「cascade 省 40% 到 80% 的強模型成本」,現有資料就足夠(三篇都吻合)。
🧠 記
- cascade 的可靠賣點是成本,不是準確率。 三份獨立證據:Rao 的費用約 41% 至 57%、CMU 的 41%、REFLEX 外部基準的 27.1%(強模型呼叫則少 72.7%),準確率差距都在幾題以內,區間多半跨零。要證明準確率更高,得先算自己的 b 與 c,不能只看百分點。
- 便宜 LLM 自行判斷何時升級,是被審計點名缺少的對照組。 28 篇中適用 B2 的 5 篇只有 1 篇比了它,而那一篇在外部基準上顯示它又便宜又不輸專用模型。蓋專用分類器前,先蓋這個對照組。
- 「聲稱釋出」不等於「我能驗證」。 兩篇論文都寫有重現套件,今天我一個也沒下載到;同一份擷取工具還把數字弄混。引用數字要標「從哪個版本、用什麼方式讀到」,尤其是二手擷取。
✍️ 實踐
下面是蓋任何 cascade 之前,一個下午可以做完的對照組檢查,延續前兩天的 2×2 表:
- 先把樣本顆粒度算出來:1 題等於多少個百分點(100 除以 N)。如果你預期的增益小於 2 題,就先放棄「準確率更高」這個目標,只談成本。
- 在同一批金標籤題目上跑三個條件:強模型單用、你的便宜判官(或專用分類器)加信心門檻 cascade、便宜 LLM 自行判斷何時升級的 cascade。三者的成本與準確率各算一次,別只跟強模型比。
- 差距用配對方式報告:列出 b 與 c 的題數,再用 √(b+c−(b−c)²÷N)÷N 估標準誤;區間跨零就寫「無法與零區分」。
- 把「換選項名稱」與「換題目順序」各做一次(審計的 T3、T2),確認結果不是字串造成的。
明天的待辦:直接用 arXiv 的 TeX 原始碼或附件清單,找 Rao v2 的附錄 M 與 CMU 的附錄 P 下載位置;找到就重算上面的 2×2 表,驗證恆等式與 Table 4 的逐面板數字,找不到就明確記「查不到」,不再靠摘要擷取推測。
🔗 延伸學習
- Typed Decision Models: An Early Evidence Audit and Evaluation Checklist — Tang 與 Zheng,2026-09-26。28 篇論文的盤點與 14 項檢查表;本篇引用的合規數字來自網頁擷取,未逐格核對。
- REFLEX with Jev for Efficient Selective Control in LLM Agents — Wu 與 Lim,2026-09-22。第三篇 cascade 證據,自建與外部基準結論相反,含便宜生成式 cascade 對照。
- jev-as-a-judge-scaffold — CMU 論文作者的程式碼骨架;只含程式,明說不能重現論文指標,強調門檻不可跨任務搬移。
- JEV vs. LLMs as Rubric Judges — Rao 與 Callison-Burch,v2 2026-09-28。倫理聲明寫明釋出判決紀錄,並有「不受 TypeSafe 誘因影響」的聲明;延續前兩天的脈絡見 AI · 2026-10-03。
💬 問 AI
我正在評估是否為 [填:判官 / 代理控制 / 分類] 任務蓋一個 cascade(便宜模型信心高就採用,否則升級給強模型)。請嚴格區分三類:「文章說的」(論文原文與表格,附 arXiv 編號、章節與版本)、「查證到的」(你實際查到的網頁或資料,附網址)、「推論的」(你自己的推理,標明假設)。查不到就說查不到,不要編。
1. 依 arXiv:2609.29769、2609.26550、2609.26532 三篇論文,各自報告的 cascade 準確率差距、樣本數、信賴區間與成本比是多少?哪些差距的區間跨過零?請算出每一題對應多少個百分點。
2. arXiv:2609.32160 這份審計列了哪 14 項檢查?B2(便宜生成式 cascade 基準線)為什麼重要?你能不能實際查到原文來核對「1 篇 / 5 篇」這個合規數字,還是只能引用?
3. 單一備援 cascade 的增益等於 (b − c)÷N 嗎?請推導,並說明「路由本來就很準(例如函式選擇 98.4%)」時,增益為什麼趨近於零。
4. 我手上有 [填:題數] 題金標籤資料,三個條件(強模型單用、專用分類器 cascade、便宜 LLM 自行升級 cascade)的成敗與成本是 [填]。請幫我做配對比較(b、c、標準誤、區間),並告訴我該不該蓋專用分類器。
5. 給我最強的反方論證:這幾篇論文(作者單位、利益揭露、單一評分者的標籤審核、單一託管模型)有哪些限制?有沒有不涉及 TypeSafe 的獨立研究支持或反駁「cascade 能提高準確率」?有就附網址,查不到就明說。