上一篇留了一個沒展開的補救方案:共模誤差大到危險時,一百到五百筆真值標註就量得出來——把這批標註當「錨」(anchor),拿它跟判官分數的共變異數,回推共模誤差有多大。這句話本身沒錯,但漏講了一個前提:錨本身必須乾淨,它的誤差不能跟判官共享同一個潛在因子。九月八日掛上 arXiv 的 A Closed-Form Estimator and Diagnostic Battery for Anchor–Judge Error Correlation, Under a Single-Common-Factor Model(arXiv:2609.08826,Veerendra Kumar Sunkavalli)把這個「前提」拆開來做:如果錨也被污染呢?答案是可以用閉式解回推污染多大,但論文自己拿去測的兩個真實面板——一個人類評分面板、一個六判官 LLM 面板——全部沒通過「錨夠不夠乾淨」的前測。換句話說,上一篇建議的「準備 200–500 題人工標註集」這個動作本身是對的,但拿到標註之後不能直接套公式算污染相關,得先做這篇論文給的診斷,而目前為止,沒有一個真實面板通過。
第二件要補的事,是把上上一篇(09-22)提過的「委員會/對抗式 verifier」跟這條線接起來。CARE(CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation,arXiv:2603.00039,Jitian Zhao、Changho Shin、Tzu-Heng Huang、Satya Sai Srinath Namburi GNVV、Frederic Sala,ICML 2026)給的是「完全不需要真值」的解法,用稀疏+低秩分解把判官的聯合精度矩陣拆成「判官對判官」的稀疏邊跟「透過潛在因子中介」的低秩部分,靠三組條件獨立的判官子群做張量分解去解出品質因子。這跟今天的錨估計是兩條互補的路:CARE 不用錨但要三個條件獨立子群,錨估計不用條件獨立子群但要至少兩個乾淨錨。兩條路都繞著同一個障礙走——共模誤差在只有品質因子單獨存在時無法識別,一定要多一個結構(條件獨立性,或外部錨)才能打破對稱。
📖 學
一、單一共同因子模型:把「委員會相關」寫成三個變異數
把判官分數寫成 J_j = t + c + e_j(j = 1,…,p 個判官),其中 t 是真品質(變異數 σt²)、c 是所有判官共享的共模因子(變異數 σc²)、e_j 是各判官獨立的雜訊。這就是 09-22、09-27 兩篇一直在講的模型:判官之間的相關不是來自品質本身,是來自 c——訓練資料重疊、prompt 格式偏好、家族共享的 RLHF 痕跡,都會灌進同一個 c。
錨的角色是另一組觀測 A_k = t + (β_k/σc²)·c + u_k(k = 1,…,m 個錨),β_k = Cov(A_k, c) 就是這個錨被同一個共模因子污染的程度。傳統做法(比如上一篇建議的人工標註集)隱含假設 β_k = 0——錨完全乾淨,跟判官共享的污染毫無關係。這篇論文把這個假設換成「可以估計」:只要有 p ≥ 2 個判官、m ≥ 2 個錨,三組可觀測共變異數——判官兩兩共變異數 K = σt² + σc²、錨與判官均值的共變異數 M_k = σt² + β_k、錨兩兩共變異數 P_kl = σt² + β_kβ_l/σc²——聯立起來就能閉式解出 σt²、σc²,以及每個錨各自的污染相關 ρ_k。三個方程式解三個未知數,不需要假設任何一個錨是乾淨的。（這段推導我是透過工具讀取論文 HTML 轉述,沒有拿到 PDF 原始排版核對每個下標,公式的精確係數已標存疑,但「p≥2 判官、m≥2 錨、三組共變異數聯立閉式解」這個結構性主張與摘要原文一致,確認無誤。）
二、失效邊界是一個等式,而不是一個區間
Corollary 1 給出的失效條件很乾脆:當某個錨的污染參數 β_k 剛好等於共模變異數 σc² 時,識別失效——分母裡的 (σc² − β_1)(σc² − β_2)/σc² 在 β_k = σc² 時歸零。數學上這是測度為零的巧合(隨機抽到的 β_k 剛好等於 σc² 機率是零),但論文自己強調一個更陰險的失效模式:業界常見的「指定乾淨錨」做法——選一個錨當基準,把其他錨拿去跟它比對——會在基準錨自己被污染時,把陪同的錨錯誤標記為「完全乾淨」。也就是說,問題不是巧合撞上測度為零的點,是流程本身把一個沒被檢驗過的假設(基準錨乾淨)當成免費午餐往下傳。
論文接著給了一套診斷電池,而不是讓使用者裸奔套公式:Test A(判官共變異數離散度,需要 p≥3)、Test B(≥3 錨的過度識別檢定,檢查不同錨對算出來的 σt² 是否一致)、Test C(家族區塊檢定,拿判官所屬模型家族的中繼資料比較家族內外共變異數,需要 p≥3 且至少兩個家族各兩個判官)。三個都在 1,000 次虛無模擬上校準到 5% 偽陽性率。
三、兩個真實面板全部被拒絕,而且拒絕得不含糊
論文把這套診斷real 拿去測兩個真實資料。第一個是 HANNA 人類評分面板(N=431,三位人類評分者對故事連貫性打 1–5 分):Test A 統計量 0.589,對比 95 百分位門檻 0.247,p<0.0005——面板違反「所有錨/判官共享同一組因子負載」的假設,被明確拒絕。第二個是六個 LLM 判官組成的面板(N=499,Amazon Nova Lite、Llama-3-70B、Mixtral-8x7B、GPT-OSS-120B、Qwen3-Next-80B、DeepSeek-V3.2):Test A 統計量 0.175,門檻 0.064,p<0.01,同樣被拒絕。
更具體的是拒絕之後如果硬套公式會發生什麼:論文在這個六判官面板上做了半合成注入實驗,人為植入已知的污染相關 0.0、0.4、0.7,再讓樸素(沒做過診斷)的估計器去回推——結果算出來的是 0.887、0.960、1.026。不是誤差放大兩三成,是把「幾乎沒污染」的 0.0 估成 0.887,把 0.7 估成超過 1(相關係數理論上限就是 1,估計值破表本身就是模型失配的訊號)。這給了一個很具體的量級感:當單一共同因子假設不成立時,不是估計值有雜訊,是估計值系統性地往同一個方向錯得離譜。
四、序位分數是結構性的牆,不是樣本數的牆
論文另外處理了一個實務上更常見的情況:判官分數常常是序位的(1–5 Likert、pairwise 勝負),不是連續值。這裡有一個識別性階層——如果判官和錨全部都是序位變數,ρ_k 在任何錨的數量下都無法識別,加多少樣本都沒用;但只要判官是序位、錨換成至少三個連續變數,識別就恢復了,論文也給出對應估計器。這跟 09-22 那篇講的 Beta-二項 KL 天花板是同一種現象的另一個面向:那篇是「準則數量再多也撞天花板」,這篇是「錨的數量再多,只要它跟判官同樣是序位,也撞不開識別的牆」。兩者都是結構性限制,不是靠加樣本能繞過去的。
五、就算識別成功,修正的紅利也不落在前沿判官身上
另一篇七月的論文(When Can You Debias an LLM Judge? Identifiability Limits, a Test, and Designs for Top-k Ranking,arXiv:2607.02104,Jian Xu、Delu Zeng、John Paisley、Qibin Zhao)從 Bradley-Terry 模型的另一側逼近同一個問題:在成對比較資料上,品質分數跟偏誤係數的拆分同樣不可識別——論文在 48 個真實判官池上量到概似曲面「平到 0.0000 nats」,把比較數量乘 26 倍也沒有幫助。他們的解法是「可信錨門檻」:針對每個(判官、協變量、任務)三元組,決定要不要做修正,在 6,000 個決策上做到零偽陽性、樣本界給出 ≤6% 錯誤率上界。但用在 15 個真實 LLM 判官上之後,結果是修正只在 5 個「有偏誤但能力尚可」的便宜判官上把 top-k 召回率拉高 0.20–0.32,前沿判官幾乎沒有改善——判官能力與修正幅度的 Spearman ρ = −0.84(p<10⁻³)。也就是說,這整套「用錨修正判官偏誤」的機制,紅利集中在這個系列一直在討論的九判官跨七家族前沿面板恰好不需要的地方。
🧠 記
錨不是免費的解藥:它要先通過「自己夠不夠乾淨」的診斷,而截至目前為止,沒有一個被測過的真實面板通過(HANNA 人類面板、六判官 LLM 面板皆被拒絕,樸素估計把注入的 0.0/0.4/0.7 污染相關估成 0.887/0.960/1.026);如果判官分數是純序位的,加多少錨都無法識別,這是結構性的牆;而就算識別成功、修正合法,紅利也幾乎只落在便宜、能力普通的判官身上(Spearman ρ=−0.84),對這個系列真正關心的前沿判官委員會幫助有限。
✍️ 實踐
先確認手上的判官分數是連續值還是序位值——如果是 Likert/pairwise 這種序位資料,且打算用少於三個連續錨去做污染修正,可以先停下來,因為依 arXiv:2609.08826 的識別性階層,這個組合在數學上就無法識別,不必浪費標註預算。如果已經有或打算收集一批真值標註當錨,在套用任何「反推共模相關」的公式之前,先對手上的判官共變異數矩陣做一次 Test A 風格的離散度檢查(off-diagonal 共變異數的變異係數是否偏離同質負載的虛無分布)——這是免費、只需要判官分數本身、不需要真值的第一道關卡。想看完整診斷電池與可重現的合成注入實驗,論文摘要註明「完整重現包(程式碼、凍結資料、一鍵重跑)隨期刊投稿附上,目前同儕審查中,公開連結將於發表後補上」,可以先讀 arXiv 版本的方法章節,等公開倉庫上線後再跑。
🔗 延伸學習
- A Closed-Form Estimator and Diagnostic Battery for Anchor–Judge Error Correlation, Under a Single-Common-Factor Model——今天的主要依據:錨污染的閉式解、精確失效邊界、兩個真實面板皆被拒絕的診斷結果。
- CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation——不需要真值的互補路徑,靠條件獨立子群做張量分解解出品質因子,12 個 benchmark 最多降低 26.8% 聚合誤差。
- When Can You Debias an LLM Judge? Identifiability Limits, a Test, and Designs for Top-k Ranking——Bradley-Terry 模型下品質/偏誤不可識別的證據,以及修正紅利為何集中在便宜判官身上。
- SprocketLab/CARE GitHub——CARE 的公開實作,可以直接拿自己的多判官分數矩陣跑 SVD-path 聚合。
💬 問 AI
我手上有 p 個 LLM 判官對同一批樣本的評分,懷疑它們的誤差不是獨立的,而是共享某種潛在因子(例如都偏好某種文風或都對某類錯誤視而不見)。
請幫我:
1. 判斷我的判官分數是連續值還是序位值,以及我手上有沒有可以當「錨」的獨立參照(人工標註、外部 verifier、或另一組條件獨立的判官子群)。
2. 如果是連續值且有 ≥2 個錨:依 arXiv:2609.08826 的單一共同因子模型,列出閉式解需要哪三組共變異數(判官對判官、錨對判官均值、錨對錨),並示範怎麼用我的資料算出來。
3. 在下結論前,先做 Test A 風格的判官共變異數離散度檢查,告訴我這個檢查的虛無分布怎麼模擬、我的資料落在哪個百分位。
4. 如果我沒有夠乾淨的錨,也沒有三個條件獨立的判官子群,誠實告訴我目前有沒有任何方法能解出共模誤差,還是我只能承認識別性上的死路。