昨天結尾提醒:「錨」這個詞在這批文獻裡至少有兩個互不相干的意思——一個是該挑哪個模型當 Arena-Hard 式的比較基準(Mediocrity 論文),一個是這個外部真值本身乾不乾淨(Sunkavalli 的污染診斷)。查下去發現第三個意思,而且比昨天那篇文章早了十三天就已經掛上 arXiv:拿歷史上「人類已經打過分」的舊模型當校準錨,去把一個完全沒有人類資料的新模型分數,統計上「錨」回人類量表的刻度。這篇論文完全不引用 Sunkavalli 的污染診斷,也不引用 Mediocrity 的錨模型選擇——三組人馬,三種「錨」,互不知道彼此存在。
同一週還有另一篇論文,直接回答了 09-27 那篇留下的問題:九個判官的委員會,有效票數只有 Kish 設計效應算出的 1.99–2.48 票——那如果把判官數拉到三十二個呢?答案來得比想像中冷:幾乎沒有變。
📖 學
一、第三種「錨」:用歷史人類資料把新模型的分數釘回真值刻度
Human-Anchored Inference for Ranking New Models with Large Language Model Judges(Xin Zhou、Sinian Zhang、Zhanyan Yang、Mingyuan Xu、Molei Liu、Doudou Zhou,arXiv:2609.19599,2026-09-17)處理的問題很具體:一個新模型剛發布,沒有任何人類偏好比較資料,只有 LLM 判官幫它跟一批「歷史模型」打分。那批歷史模型手上有真正的人類 Bradley-Terry-Luce 分數。能不能用「歷史模型的人類分數 + 判官對歷史模型與新模型的比較」,統計上反推新模型在人類量表上的位置?
方法叫 ANCHOR,核心是一個兩階段估計加一次正交修正。第一階段先用歷史人類資料估出歷史模型分數,再用歷史判官比較資料估出每個判官各自的敏感度與偏誤函數;第二階段把這些估計值當成已知,去給新模型打分。問題是第一階段的估計誤差會滲進第二階段——歷史分數不準、判官敏感度沒估對、判官偏誤沒抓乾淨,三個誤差來源都會污染最終結果。ANCHOR 用 Neyman 正交化,把三個資料集的殘差各自加權(論文稱為 Riesz 權重),讓一階估計誤差彼此抵消,換來漸近常態、可以直接報信賴區間的推論。
在 Chatbot Arena 上的驗證規模:20 個模型(每輪留一個當「新模型」,其餘 19 個當歷史模型)、10 個可用判官中選 7 個、總共 211,209 筆比較(23,284 筆是人類比較,其餘是判官生成的比較)。結果:ANCHOR 的分數 RMSE 是 0.182,對照 JointBTL 的 0.287 與其他對照方法 0.19–0.35 的區間;插入排名的 MAE 是 0.55,比最佳對照 HistoricalPPR 的 0.85 低 35%;信賴區間平均寬度 0.367,比 JointBTL 的 0.738 窄了將近一半。
但有一個數字沒那麼漂亮,值得記下來:**20 個模型的留一驗證裡,只有 14 個(70%)的真實參照分數落在 ANCHOR 算出的信賴區間內。**論文本身有沒有宣告這組區間的名目覆蓋率是 90% 還是 95%,我沒有查到確切段落——如果目標是常見的 95%,70% 的實際覆蓋率是明顯偏低的,這點已標存疑,留給有空讀完整篇論文的人去確認。
二、這套新校準工具,對「判官會不會犯相關的錯」毫無防備
更值得注意的是 ANCHOR 的假設邊界。整套識別策略要求每個判官的敏感度與偏誤函數在「歷史比較」與「新模型比較」之間保持穩定,而論文完全沒有處理判官之間誤差相關、或者判官集體偏好某種模型特徵這件事——換句話說,這正是 09-29 那篇 Sunkavalli 論文整篇在處理的「錨—判官誤差相關」問題,ANCHOR 完全沒有觸碰。
論文自己的補充實驗(A.7 節)給出一個具體的示警案例:如果有一個沒被記錄進特徵的因素——比如判官集體偏好「回答比較長」——這個遺漏的共變量可以讓新模型的排名整個移位,同時幾乎不動它的估計分數本身。翻成白話:你可能看著一個穩定、信賴區間很窄的分數,卻因為一個沒量到的偏好,把排名前後的順序搞反了。論文自己承認這是設計上的限制,建議用敏感度分析去界定「沒量到的偏誤」能造成多大影響,但並沒有在這篇論文裡真的做出來。
三、九判官到三十二判官:有效票數幾乎沒有動
How Many Humans Are 32 LLM Judges Worth?(Chao Li、Yingying Yu、Yunfeng Li,arXiv:2609.21277,v1 2026-09-18,v2 2026-09-24)直接回答 09-27 那篇留下的問題。固定一個 32 個模型組成的判官池,橫跨 OpenAI、Alibaba、Google、Moonshot、智譜、Anthropic、DeepSeek、字節、xAI 九個供應商家族,溫度 0、單輪使用者訊息、無 system prompt。測三個 ChaosNLI 任務(MNLI-m、SNLI 三分類,αNLI 二分類,各 1,000 題,按人類標註熵分層),外加 CC-1000(毒性二分類)做外部驗證。
論文用三種不同的「人類等價票數」定義去量同一件事:分布誤差匹配(νMSE)算出 2.304、3.750、3.445;頻譜匹配(νH)算出 4.242、6.459、6.499;二元誤差診斷(直接算跟金標籤的一致票數)只給出 1.971–2.227 票。 三種方法的落差不是雜訊——分布誤差匹配看的是判官群體能不能重現人類標註的分布形狀,頻譜匹配看的是殘差方向的多樣性(論文原話:「只留特徵值會丟掉方向,正規化成員又會抹掉能量尺度」),二元誤差診斷看的是跟單一金標籤一致的次數。三個指標在問三個不同的問題,答案卻都指向同一個結論:32 個判官,換算成跟金標籤直接一致的有效票數,只有不到 2.3 票。
這個數字直接對得上 09-27 那篇的發現:九個判官的委員會,用 Kish 設計效應算出的有效票數是 1.99–2.48。判官數從 9 拉到 32,翻了 3.5 倍,有效票數幾乎停在同一個量級沒有動——兩篇論文用完全不同的方法論(Kish 設計效應 vs 二元誤差/分布/頻譜匹配三件套)、完全不同的任務領域(09-27 是九個前沿判官對 MNLI/SNLI/AlphaNLI/RewardBench,這篇是三十二個判官對 ChaosNLI 三任務加毒性分類),互不引用,卻收斂到同一個數量級的答案。
外部驗證(CC-1000 毒性分類)算出 νH=2.84,對 νMSE=1.49,維持約 1.9 倍的落差——說明這個「頻譜 vs 分布」的落差不是 NLI 任務的特例。
四、選判官比加判官重要,這句話現在有了另一組數字支持
論文還做了一次貪婪式的一對二換人優化:從 32 人池子裡找出能同時拉高多樣性又不掉準確率的組合。結果是 νH 可以拉高 24.8–56.0%,但準確率只多了 0.10–1.10 個百分點。 換句話說,精心挑選判官可以讓「看起來的多樣性」大幅改善,但對最終答對率幾乎是免費的裝飾——這跟 09-27 那篇「最強單一判官三組全部打平或勝過委員會平均,而委員會要付九倍成本」是同一個教訓的兩種量法:委員會规模與委員會品質是兩件事,而目前查到的所有證據都指向「品質(挑對判官)比規模(加判官)重要」。
🧠 記
- 兩篇互不知情的論文,用完全不同的方法論與任務領域,收斂到同一個數字量級:LLM 判官委員會的有效獨立票數,無論委員會有 9 個還是 32 個成員,都卡在 2 票上下。 這意味著「多找幾個判官」這個直覺上最容易想到的補救手段,在目前查到的兩份獨立證據下都不太買得到東西——真正能動的槓桿是挑選判官的組合,不是擴大判官的數量。
- 統計校準工具的設計目標,跟這個月一直在查的「錨污染」問題,是兩件事。 ANCHOR 解決的是「有歷史人類資料時,怎麼把新模型的分數校準回人類刻度」,它假設判官敏感度穩定、判官之間誤差不相關——這個假設正是 09-29 那篇論文整篇在說「不能隨便假設」的東西。兩篇論文都叫自己的方法某種形式的「anchor/錨」,解決的問題完全不重疊,而且互不引用。讀到「anchor」這個詞,要問的第一個問題現在變成三選一,不是二選一。
- 一個沒被建模的共變量(比如回答長度),可以翻轉排名而幾乎不動分數本身——這是 ANCHOR 論文自己的補充實驗給出的示警,跟 09-27「量 vs 選」的區分同構:分數的絕對值穩不代表排名穩,兩者是不同的量測目標,必須分開驗證。
✍️ 實踐
如果你手上有任何形式的「判官委員會」(不管是三個還是三十個 LLM 判官投票或打分),在決定要不要多加判官之前,先算至少一個有效票數指標——最簡單的是 Kish 設計效應(D_eff = 1+(n−1)ρ,ρ 是判官間誤差相關係數的估計值),或者這篇論文用的二元一致票數(跟金標籤一致的次數,除以隨機獨立同分布時的期望一致次數)。如果算出來的有效票數遠低於委員會的名目人數,加判官這個方向大概率買不到東西,該做的是換判官組合,不是加判官組合。
如果你在用任何形式的「歷史資料校準新項目分數」(不只是 LLM 評測,任何有「舊樣本有真值、新樣本沒有真值,要靠模型推回真值刻度」結構的場景),做一次 ANCHOR 論文附錄 A.7 那個檢查:找一個容易被判官/評分者集體偏好但沒被顯式建模的特徵(長度、格式、語氣),人為地讓新樣本在這個特徵上偏離歷史樣本的分布,看看排名有沒有動、分數動了多少。如果排名動了但分數沒怎麼變,你手上的校準工具對這一類遺漏偏誤沒有防禦力。
🔗 延伸學習
- Human-Anchored Inference for Ranking New Models with Large Language Model Judges — Xin Zhou 等,arXiv:2609.19599(2026-09-17)。今天的主要依據之一:第三種「錨」,用歷史人類 BT 分數與 Neyman 正交校正把新模型分數錨回人類量表,Chatbot Arena 驗證 RMSE 0.182、插入 MAE 0.55、CI 寬度 0.367,但留一驗證覆蓋率僅 70%,且不處理判官間誤差相關。
- How Many Humans Are 32 LLM Judges Worth? — Chao Li、Yingying Yu、Yunfeng Li,arXiv:2609.21277(v1 2026-09-18,v2 2026-09-24)。今天的主要依據之二:32 判官 9 供應商家族在 ChaosNLI 三任務與 CC-1000 外部驗證上,binary-error 有效票僅 1.971–2.227,與 09-27 九判官 Kish 有效票 1.99–2.48 同量級,獨立確認委員會規模買不到有效獨立性。
- A Closed-Form Estimator and Diagnostic Battery for Anchor–Judge Error Correlation, Under a Single-Common-Factor Model — 09-29 的主要依據,今天用來對照 ANCHOR 論文完全沒處理的判官誤差相關問題。
- JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places — Delip Rao、Chris Callison-Burch,arXiv:2609.29769(v1 2026-09-24,v2 2026-09-28)。查證過程中另外找到、尚未深入展開的同期論文:一個簡單的校準信心模型 Jev 在 9 個評測面板、7 個基準上,跟 LLM 判官準確率差距只在 27 組配對裡的 8 組顯著,但 LLM 判官貴 16–325 倍、慢 28–350 倍,而且兩者「錯的方式很像」(Jev 最有信心犯的錯裡,96% 的情況 LLM 判官給出同樣錯誤的判決)——留給之後的文章接著查。
💬 問 AI
我在做 LLM 判官評測(場景:[填:多判官委員會投票 / 用歷史資料校準新模型排名 / 單一判官打分]),想把今天查到的兩個工具用到我的場景裡。請依序回答,嚴格區分「來源說的」與「你推論的」,每個數字標出處,查不到就直接說查不到。
【第一組:委員會有效票數】
1. 依 arXiv:2609.21277 的三種定義(分布誤差匹配 νMSE、頻譜匹配 νH、二元一致票數),幫我設計一套簡化版的診斷:輸入是「樣本 × 判官」的判決矩陣,幫我算這三個指標,並解釋這三個數字如果分歧很大(像論文裡 1.72–1.89 倍的落差),分別代表我的判官池有什麼問題。
2. 對照 09-27 的 Kish 設計效應 D_eff = 1+(n−1)ρ,幫我用同一批資料算出 ρ(判官間誤差相關係數的估計),並告訴我：如果我現在有 N 個判官,要把有效票數拉到某個目標值(比如 5 票),是該加判官還是換判官組合更划算,給我一個粗略的成本對比。
【第二組:歷史錨定校準】
3. 如果我要參考 arXiv:2609.19599 的 ANCHOR 方法,把一個新模型/新版本的分數校準回一批有人類標註的歷史基準,幫我列出:(a) 我至少需要準備哪些資料(歷史模型分數、歷史判官比較、新模型判官比較),(b) 這個方法的識別假設(判官敏感度穩定、誤差不相關)在我的場景裡合不合理,(c) 如果不合理,該怎麼退而求其次。
4. 幫我設計一個 arXiv:2609.19599 附錄 A.7 那樣的「遺漏共變量檢查」:挑一個我懷疑判官會集體偏好、但目前沒有顯式建模的特徵(例如長度、格式、語氣),人為構造一組在這個特徵上偏離歷史分布的新樣本,量化排名位移 vs 分數位移,判斷我的校準工具對這類偏誤有沒有防禦力。
【第三組:綜合與反方】
5. 綜合以上,給我一份決策:以我的判官池規模與資源,接下來最該做的一件事,以及可以先不做的一件事,各附理由與量測方式。
6. 給我最強的反方論證:(a) 為什麼「有效票數低」不代表委員會沒用(舉出可能的反例,比如低相關本身就是設計目標的情況);(b) 為什麼 ANCHOR 的「判官敏感度穩定」假設在我的場景裡可能其實成立;(c) 有沒有 2026 年的證據直接反駁上述任何一條?有就給出處,查不到就明說查不到,不要編。