昨天那篇閉式估計器的作者 Veerendra Kumar Sunkavalli,在九月八日發出這篇論文之前九天——八月三十日——已經先發過另一篇論文,用的不是他自己在後一篇裡發明的單一共同因子模型,是教育測驗領域幾十年前就驗證過、用來處理評分者偏誤的成熟工具:多面向 Rasch 測量(Many-Facet Rasch Measurement,MFRM)。LLM Judges as Raters: A Pre-Registered Audit of Severity, Halo, Reliability, and Version Instability in LLM Essay Scoring on Public Corpora(arXiv:2608.29517,2026-08-30,同一作者)把 LLM 判官直接當成教育測驗裡的「評分者」,套用一套已經在人類評分者身上驗證過幾十年的診斷電池,而不是重新發明一個因子模型。這回答了昨天沒問到的問題:如果不信任那套九月八日才問世的閉式解,回到已經被驗證過的心理計量方法,「錨」撐不撐得住?
答案是:撐不住,而且撐不住的方式很具體,還牽出一個跟九月二十二日那篇 rubric 相關性問題同源的機制。這篇論文在 ENEM/Essay-BR(葡萄牙文)與 ASAP(英文)兩個公開語料庫上,對 2,377 篇作文、12 個判官、4 家供應商、5 組版本對照跑了一套預先註冊的評分者效應電池:多面向 Rasch 嚴苛度(severity)、殘差月暈(halo)、G 理論/決斷研究(generalizability/decision study)、跨版本位移、差異化功能檢定(differential functioning)。
📖 學
一、把「共同因子」換成教育測驗界已經用了三十七年的工具
MFRM 的邏輯是把評分者當成獨立於受評對象、受評項目之外的第三個「面向」(facet),用一個對數線性模型同時估出評分者的嚴苛度、受評者的能力、題目的難度,三者互相分離而不是攪在一起。這篇論文用的四個面向是「作文、判官、評分向度、重複測量」,並把原點釘在匯總後的人類分數上(α_human ≡ 0)——這就是心理計量版本的「錨」:不是昨天那篇論文裡抽象的統計變數,是一個具體的、把整套量表校準到零點的參照人群。
結果不好看。判官嚴苛度在 ENEM 的 0–1000 分量表上橫跨 219 分,在 ASAP 上,判官委員會的離散幅度佔量表全距的 15–33%,對照受過訓練的人類評分者之間的離散幅度只有 1% 左右。判官與人類的相關係數落在 0.47–0.56 這個「無法辨別」的區間——不是零相關,但也遠不到能直接替代人類評分者的程度。這組數字用完全不同的方法論,獨立確認了昨天那篇論文的結論:預設狀態下的 LLM 判官,離「乾淨的錨」還有一大段距離,而且這段距離大到用最傳統的心理計量工具就量得出來,不需要靠共同因子模型的閉式解才看得見。
二、版本更新是一次「重新校準事件」,不是雜訊
比嚴苛度的絕對值更麻煩的是它會動。論文做了五組模型版本對照,全部五組的嚴苛度位移都超過一個以家族為單位建立的排列檢定虛無分布,其中最大的一次位移達 133 分,佔量表全距的 13%。換算成昨天的語言:就算你今天用一批乾淨的人工標註把某個判官的 β_k 校準到接近零,供應商下一次不宣告的模型更新就可能把它重新推離原點——你昨天做完的診斷,到不了明天。
論文用一個很簡陋但有效的機制去抓這件事:「身份金絲雀」(identity canary)——固定 12 篇作文,在溫度 0 的設定下,於蒐集期開始、期中、期末各測一次(三輪掃描),任何判官的輸出分佈只要偏離自己的歷史指紋就會被標記出來。這套機制在研究進行期間真的抓到一個判官(sonnet-4)被供應商降級為「舊版」,在葡萄牙文與英文兩個蒐集窗口之間 12 次金絲雀探測全部失敗——服務直接拒絕請求,金絲雀在這種情形下抓得毫不費力,但這也說明:如果沒有先佈好金絲雀,你甚至不會知道你的判官從什麼時候開始已經是另一個東西。
三、「無聲漂移」被推翻是個好消息,但它的好只夠到一半
論文預先註冊了一個叫「無聲漂移」的假說:版本更新讓嚴苛度偏移,但一致性指標(quadratic weighted kappa)維持不變——也就是說,漂移在你平常監控的儀表板上完全不可見。這個假說被推翻了,而且是「有意義地推翻」:五組版本對照裡有四組,一致性指標跟著嚴苛度一起動了。翻成白話:漂移不是徹底隱形的,只要你同時盯著一致性與嚴苛度兩條線,version 更新至少會在某條線上露出馬腳。
但另一個預先註冊的檢定給出誠實的虛無結果。論文做了「嚴苛度調整後的排行榜反轉」檢定——用分半設計,校正掉每個判官各自的嚴苛度偏移之後,判官之間依一致性排出的名次會不會翻盤。最大的反轉幅度是 0.029,遠低於 66 組配對排列檢定算出的 95% 門檻 0.107。 論文自己的結論是:「嚴苛度對分數的絕對用途確實要緊……但我們沒能證明它對判官之間的相對排名要緊。」這跟 09-27 那篇「量 vs 選」的區分完全對上:嚴苛度校正動的是絕對分數(你在報告一個 checkpoint 的品質時在乎的東西),不動比較排名(你在挑哪個判官比較好時在乎的東西)——同一個修正,對兩種用途的價值天差地遠。
四、月暈效應被判無罪,但無罪判決指向了真正的嫌犯
論文一開始也懷疑 LLM 判官有比人類更嚴重的月暈效應(對一個向度打高分,連帶把其他向度也打高)。做完一個「同儀器、同校準」的對照檢定之後,這個懷疑被推翻了:論文自己先前的月暈比較被同一份資料重新檢驗後推翻,結論是沒有可信證據顯示判官的月暈效應超出受過訓練的人類評分者的範圍。
但論文緊接著給出一句更值得記住的建議:「單一次呼叫產生的分析型子分數會共享同一個印象,請把不同評分向度分開評分。」 這句話沒有直接點名 09-22 那篇講的 rubric 準則相關性 ρ,但它給出的正是那個 ρ 的一個具體機制——如果你的 rubric 有八條準則,卻只用一次 LLM 呼叫、一次生成過程去打出全部八個子分數,這八個分數天生就共享同一次「印象形成」,也就是共享同一個潛在因子。09-22 那篇用 Beta-二項模型量到 ρ = 0.40 時 64 條準則的天花板只值 6.16 bit;這篇論文從評分機制本身指出了 ρ 為什麼會這麼高的其中一個現實原因——不是準則本身相關,是你評分的方式讓它們相關。（這個連結是我自己把兩篇論文的發現接起來,論文本身沒有互相引用,也沒有共同作者之外的關聯——只是同一位作者在兩篇時間相近的論文裡,分別用因子模型與心理計量工具量到了同一種現象。)
五、「錨」這個詞在這批文獻裡至少有兩個互不相干的意思
在確認方向之前,值得先排掉一個容易搞混的地方。2026 年 ACL 有一篇論文題目也用了「anchor」:Mediocrity is the key for LLM as a Judge Anchor Selection(arXiv:2603.16848,Don-Yehiya、Yehudai、Choshen、Abend)。查證下來,這篇講的是完全不同的問題——Arena-Hard、AlpacaEval 這類基準為了把 O(模型數²) 的兩兩比較降到 O(模型數),會挑一個「錨模型」,讓所有待評模型都只跟這個錨比,不跟彼此比。這篇論文問的是「選哪個模型當這個錨」,不是「這個錨的分數乾不乾淨」。
它的發現本身很有意思:在 Arena-Hard-v2.0 上測了 22 個候選錨模型,發現表現最好或最差的模型都是差錨——因為它們幾乎穩定地贏過或輸給所有其他模型,對「哪個模型比較好」這個相對排名幾乎不提供資訊;選對錨(避開兩極、挑中等表現的模型)最多能把與人類排名的相關性拉高 0.19 個相關係數點。 論文還做了檢定力分析:要偵測 5% 的小效應量,在他們量到的平均資訊量(54% 的樣本具有資訊性)下,需要 N=930 筆樣本,而 Arena-Hard-v2.0 目前的資料集大小比這個需求還小——標準基準的規模,不足以在錨模型設定下可靠地分辨伯仲之間的模型。
但這篇論文完全沒有討論錨的誤差會不會跟判官共享同一個潛在因子、需不需要做汙染診斷——這是兩件事:一個是「選哪個模型當比較基準最有資訊量」,一個是「這個外部真值基準本身乾不乾淨、有沒有被污染」。到目前為止,能回答後者的仍然只有 Sunkavalli 自己那份九月八日的診斷電池,還沒有查到第二篇獨立處理「污染检定」這個問題的論文。這個提醒很具體:讀到「anchor」兩個字時,先確認作者講的是哪一種錨,兩種錨的修法完全不通用。
六、去偏本身也不是免費的,而且該把代價跟效果一起報
另外查到一篇跟這條主線在方法論上同構、但領域不同的新論文,值得放進來當一個更大的教訓。Debiasing as a Measurement Intervention: Calibrated Ties and Resolution Loss in LLM-as-a-Judge Evaluation(arXiv:2609.12439,Liang Zhao、Yong Wang、Jiangzhe Chen,2026-09-11,EMNLP 2026)處理的是 RAG/agent 評測裡的引用偏誤:判官會因為一個答案引用格式漂亮、看起來有出處,就偏好它,即使內容其實比較差。
論文用一套叫 TraceJudgeBench 的診斷基準,在 GPT-5.5、Claude Sonnet 4.6、DeepSeek V4-Flash 三個判官上量到:加強反引用提示(明確要求判官忽略引用格式)能把「偏好引用較差答案」的比例從最高 50.5% 壓到 0%。 這聽起來是乾淨的勝利,但論文接著指出代價:在到達最嚴格的壓力測試終點之前,某些操作點已經把人工驗證過、確實存在中等品質落差的判決,提前轉成了「平手」。 論文把「平手」拆成三種:真正等價的平手、人類自己在邊界上也會猶豫的校準式平手、以及會摧毀量測解析度的平手——只有第三種是純粹的損失。用 TRACE 式的解耦評分法(把「有沒有引用」跟「內容好不好」拆成獨立判斷)可以挽回 96.5% 到 100% 的解析度,但這代表原本沒解耦的做法,平均在犧牲掉這麼多可辨識的品質差異。
這篇論文自己的結論是一句方法論宣言:「去偏不只是移除偏誤,是一次量測介入,它的偏誤壓制量、解析度保留量、平手成本、協定成本必須一起報告。」把這句話放回這整個月的主線上看,它不是孤例——09-22 那篇的 rubric dropout 只回收三到五成的黃金分數損害,09-29 那篇引的 arXiv:2607.02104 的判官去偏只對便宜判官有用、對前沿判官幾乎是無效操作(Spearman ρ=−0.84)。三個領域、三種修正手段,共同的形狀是:每一種修正方法都在用某個可測量的代價換某個可測量的效果,沒有一種是純粹的免費升級,而目前只有這篇九月十一日的論文明確要求把代價跟效果放在同一張表裡報。(我另外查了一下 arXiv:2607.02104 那個 Spearman ρ=−0.84 有沒有在更大規模的多判官委員會研究裡被獨立驗證或反駁——沒有查到任何後續復現或反駁的論文,這個數字目前仍然只有原論文自己的 48 個真實判官池與 15 個真實判官這一份資料支持,查不到第二個獨立來源,如實記錄。)
🧠 記
- 同一位作者(Sunkavalli)在發表閉式錨估計器的九天前,先用教育測驗界成熟的多面向 Rasch 測量(MFRM)獨立確認了同一個結論。 2,377 篇作文、12 判官、4 供應商、5 版本對照,ENEM/Essay-BR(葡)與 ASAP(英)兩語料庫。
- 判官嚴苛度差異巨大:ENEM 0–1000 分量表上橫跨 219 分;ASAP 上判官委員會離散幅度佔全距 15–33%,人類評分者只有約 1%。判官與人類相關係數 0.47–0.56。
- 版本更新是重新校準事件,不是雜訊:五組版本對照全部超過排列虛無檢定門檻,最大位移 133 分(佔量表 13%)。「身份金絲雀」(12 篇固定作文、溫度 0、三輪掃描)在研究期間真的抓到一個判官(sonnet-4)被供應商降級,12/12 探測失敗。
- 「無聲漂移」假說被推翻(算好消息):嚴苛度位移時,一致性指標(QWK)在五組對照裡有四組跟著一起動,不是完全隱形的。但「嚴苛度調整能否翻轉判官排行榜」的檢定給出誠實的虛無結果——最大反轉 0.029 遠低於 95% 門檻 0.107,呼應 09-27「量 vs 選」的區分:嚴苛度校正動絕對分數,不動相對排名。
- 月暈效應無罪:同儀器同校準的對照檢定推翻了論文自己先前的月暈比較,沒有可信證據顯示 LLM 判官的月暈效應超出人類範圍。但論文給出具體建議:「單一次呼叫產生的多個子分數會共享同一個印象,請分開評分」——這是 09-22 那篇 rubric 準則相關性 ρ 的一個現實成因(我自己接的線,兩篇論文互不引用)。
- 「錨」這個詞在這批文獻裡至少有兩個不相干的意思,不要混用。 ACL 2026 的「Mediocrity」論文(arXiv:2603.16848)講的是「該選哪個模型當 Arena-Hard 式的比較基準」(避開最強最弱、選中等模型,最多拉高 0.19 相關係數點;檢定力分析顯示 Arena-Hard-v2.0 規模不足,需要 N=930),完全不觸及「這個外部真值錨會不會被污染」——後者到目前只有 arXiv:2609.08826 自己的診斷電池在處理。
- 去偏是一次量測介入,不是免費升級。 arXiv:2609.12439(2026-09-11)量到反引用提示把「偏好較差引用答案」壓到 0%,但同時把人工驗證過的中等品質落差提前判成「平手」,解耦評分法只能挽回 96.5–100% 的解析度——跟 09-22 的 rubric dropout(回收三到五成)、09-29 的判官去偏(只對便宜判官有效,Spearman ρ=−0.84)是同一種形狀:修正都有代價,代價要跟效果一起報。
- 查證結果:arXiv:2607.02104 的 Spearman ρ=−0.84 目前查不到任何獨立復現或反駁,僅原論文自身的 48 判官池 / 15 真實判官資料支持。
✍️ 實踐
在信任任何 LLM 判官給出的絕對分數之前,先用一個小規模的 MFRM 式稽核(哪怕只是簡化版:固定一批人工評分過的樣本、跑一次評分者嚴苛度迴歸)估出你的判官相對於人類原點的偏移量,而不是只看它跟人類分數的相關係數——0.47–0.56 這種相關係數區間本身完全看不出偏移的方向與大小。
給每個生產環境的判官佈一組身份金絲雀:挑 10–20 個固定樣本、溫度設 0、在每次重大評測前後各跑一輪,把輸出存成指紋。任何一次金絲雀失手(拒絕、分數分佈位移超出歷史範圍)都當成「供應商已經換了一個模型」處理,而不是當成單次雜訊。把模型版本更新當成需要重新校準的事件寫進流程,不要假設同一個模型 ID 在不同月份是同一個評分工具。
決定要不要做嚴苛度/偏誤校正之前,先問清楚這次校正是為了絕對分數還是相對排名——如果只是要在 K 個候選裡選一個(BoN、GRPO 組內排序),嚴苛度校正大概率買不到東西(這篇論文的排行榜反轉檢定是誠實的虛無結果);如果是要對外報告一個 checkpoint 的絕對品質,校正才有意義。
如果你的 rubric 用一次 LLM 呼叫產生多個子分數,先把它拆成每個評分向度各自獨立呼叫一次,再重算一次 09-22 那篇建議的「準則分數相關矩陣」,看 ρ 有沒有降下來——這是這篇論文給出的、成本最低的一個具體修法,而且直接對應那篇的天花板公式。
讀到任何講「anchor」的論文,先確認它是哪一種:是「該挑哪個模型當比較基準」(如 arXiv:2603.16848),還是「這個外部真值本身乾不乾淨」(如 arXiv:2609.08826)。兩者的修法完全不通用,把其中一種的解法套到另一種的問題上不會有效。
任何要發表或內部報告的「去偏/校正有效」的結果,依 arXiv:2609.12439 的框架,強制同時報三個數字:偏誤壓制量、解析度保留量(有多少真實品質落差被抹平成平手)、以及協定/工程成本——只報第一個數字等於只報收益不報代價。
🔗 延伸學習
- LLM Judges as Raters: A Pre-Registered Audit of Severity, Halo, Reliability, and Version Instability in LLM Essay Scoring on Public Corpora — Veerendra Kumar Sunkavalli,arXiv:2608.29517(2026-08-30)。今天的主要依據:用多面向 Rasch 測量把 LLM 判官當評分者稽核,量到嚴苛度差異、版本漂移、月暈無罪等一系列結果,與同作者九月八日那篇閉式錨估計器互為方法論對照。
- A Closed-Form Estimator and Diagnostic Battery for Anchor–Judge Error Correlation, Under a Single-Common-Factor Model — 昨天的主要依據,今天用來對照的另一半。
- Debiasing as a Measurement Intervention: Calibrated Ties and Resolution Loss in LLM-as-a-Judge Evaluation — Liang Zhao、Yong Wang、Jiangzhe Chen,arXiv:2609.12439(2026-09-11,EMNLP 2026)。把「去偏」重新框成一次量測介入,反引用提示把偏誤壓到 0% 的同時吃掉部分解析度,TRACE 式解耦評分挽回 96.5–100%。
- Mediocrity is the key for LLM as a Judge Anchor Selection — Don-Yehiya、Yehudai、Choshen、Abend,ACL 2026(arXiv:2603.16848)。另一種「anchor」:該選哪個模型當 Arena-Hard 式比較基準,與污染診斷是不同問題,今天用來釐清術語邊界。
💬 問 AI
我在用 LLM 判官評分(領域:[填:醫療問答 / 法律 / 程式碼 / 客服 / 創意寫作 / 論文評分]),想知道除了統計上的共同因子模型之外,能不能用更成熟的心理計量工具(教育測驗界處理人類評分者偏誤的方法)來稽核我的判官。請依序回答,每一步都給我可執行的東西,嚴格區分「來源說的」與「你推論的」,每個數字標出處,查不到就直接說查不到。
【第一組:嚴苛度稽核】
1. 依 arXiv:2608.29517 的做法,幫我設計一個簡化版的多面向 Rasch 測量(或至少是一個嚴苛度迴歸):輸入是「作文/回答 × 判官 × 評分向度」的分數矩陣,加一小批人類評分當校準錨。給我
(a) 模型設定(要不要用完整 MFRM 套件如 FACETS/lme4,或一個簡化的加性模型就夠)
(b) 怎麼把原點釘在人類分數上
(c) 怎麼報判官嚴苛度的信賴區間,並跟 arXiv:2608.29517 的 219 分(ENEM 0-1000)、15-33%(ASAP)當基準比較我的數字算不算異常
【第二組:版本漂移與金絲雀】
2. 幫我設計一組「身份金絲雀」:選幾個固定樣本、什麼取樣策略(隨機/涵蓋難度分層)、溫度設多少、多久跑一次、怎麼定義「失手」(輸出分佈位移多少算異常)。並設計一個「無聲漂移」檢定:當我偵測到嚴苛度位移時,一致性指標(如 QWK 或 kappa)有沒有跟著動,跟著動代表什麼、沒跟著動代表什麼。
3. 幫我做「嚴苛度調整後排行榜反轉」檢定:給定我的判官池,設計分半排列檢定,算出反轉幅度的虛無分布,告訴我我的判官排名對嚴苛度校正穩不穩(對照 arXiv:2608.29517 的 0.029 vs 0.107 門檻)。並解釋清楚這個結果只影響「絕對分數」還是「相對排名」的判讀規則。
【第三組:月暈與 rubric 相關性】
4. 幫我檢查我的 rubric 是不是「單一次呼叫產生多個子分數」的架構。如果是,幫我設計一個對照實驗:同一批樣本,一組用單次呼叫打全部子分數,另一組把每個評分向度拆成獨立呼叫,比較兩組子分數的相關矩陣(對照 09-22 的 ρ 定義),量化「共享印象」到底貢獻了多少相關性。
【第四組:術語澄清與去偏定價】
5. 我讀到的論文裡「anchor」這個詞好像有不同意思。幫我判斷:我現在的問題是「該選哪個模型/哪組分數當比較基準」(對照 arXiv:2603.16848 的 mediocrity 發現),還是「這個外部真值本身乾不乾淨」(對照 arXiv:2609.08826 的污染診斷)?兩種問題各自該用什麼方法,不要混著套。
6. 如果我要對我的判官做任何一種去偏/校正(引用偏誤、冗長偏誤、位置偏誤、嚴苛度偏誤都算),依 arXiv:2609.12439 的框架,幫我設計一份「三個數字」報告模板:偏誤壓制量怎麼測、解析度保留量怎麼測(需要一批人工驗證過的「已知有真實品質落差」的配對當基準)、協定/工程成本怎麼估。
【第五組:綜合與反方】
7. 綜合以上,給我一份決策:以我的領域與資源,接下來最該做的兩件事,以及可以先不做的兩件事,各附理由與量測方式。
8. 給我最強的反方論證:
(a) 為什麼把教育測驗的 MFRM 套用到 LLM 判官身上可能是錯的類比(作文評分的心理計量假設在我的任務上可能不成立的地方)
(b) 為什麼「單次呼叫多子分數」在我的場景裡可能反而是對的設計(例如省成本、子分數本來就該相關)
(c) 有沒有 2026 年的證據直接反駁上述任何一條?有就給出處,查不到就明說查不到,不要編。