昨天整篇把 judge 當成一台可以稽核、可以校準的量測儀器,結論是「可以設絕對門檻的是 judge 自身的指標,不是產品 win rate」。那個結論有一個沒查的前提:同一類儀器不只出現在評估端,它更早就出現在訓練端,而且角色完全不同——在那裡它不是量測,是被最佳化的目標。昨天結尾留下的缺口就是這個:reward model 與 judge 的共享失效模式,以及更上游的、從來沒在這個系列裡被檢查過的東西——人類偏好標籤本身的效度。今天補這兩層。
補完之後最刺眼的一件事:評估端的偏誤和訓練端的偏誤在數學上不是同一個量級的問題。 昨天量到的 style bias 0.10 到 0.76、verbosity bias ±0.44,那些是量測誤差,你付一次;同樣一個偏誤如果進了 reward,你付的是「偏誤 × 最佳化壓力」。2026 年 5 月的 arXiv 2605.12474 把這件事量到了一個很難忽視的地步:用 92% 一致率的強 verifier 訓練醫療領域的 rubric RL,rubric-based judge 在 85.8% 的題目上偏好訓練後的 checkpoint,而同一批前沿判官在不看 rubric 的整體評估下,有 78.4% 的題目偏好訓練前的 base model。同一批模型、同一批題目,兩種問法,結論完全相反。逐維度看更清楚:completeness +1.07、factual correctness −0.85、relevance −1.10、conciseness −2.91、overall −1.02(1 到 7 分尺度)。昨天講的冗長偏誤,今天變成了被訓練出來的行為。
下面從最上游開始:人類標籤的天花板、雜訊比率該怎麼讀、不一致其實有方向性、聚合為什麼救不了、reward model 準確率為什麼預測不了下游、以及當 judge 直接當 reward 時會發生什麼。
📖 學
一、偏好標籤的天花板:人類自己只有 73% 到 77%
先把最基本的數字擺出來。Stiennon 等人 2020 年的〈Learning to summarize from human feedback〉(arXiv 2009.01325,NeurIPS 2020)在一個子集上做了對照:標註員與研究者的一致率是 77% ± 2%,而研究者彼此之間只有 73% ± 4%。這是摘要品質這種相對客觀的任務。Bai 等人 2022 的〈Training a Helpful and Harmless Assistant〉(arXiv 2204.05862)在對話偏好上報的數字更低:研究者與 crowdworker 的平均一致率約 63%;而他們最大的 52B preference model 的準確率是助人性約 70%、無害性約 72%。
把這兩組數字放在一起看,結論就自己跑出來了:52B PM 的 72% 不是「還有 28% 進步空間」,它已經頂在標籤本身的可靠度上限附近了。 一個完美的 reward model——假設它真的知道人類群體的潛在偏好——去對抗雜訊率 e 的標籤,期望準確率就是 1 − e。標籤一致率 63% 對應的 e 大約是 0.37,上限就是 63%。RM 報 70% 反而是「超過標籤一致率」,這件事的意義跟昨天 judge 的 κ 超過人類 κ 一模一樣:不是更正確,是更死板地套同一條規則。
比準確率上限更值得算的是衰減。Bradley-Terry 的訓練目標是配對機率,不是分類正確率。假設標註雜訊是對稱且獨立的翻轉,觀察到的偏好機率是
p_obs = (1 − e) · p + e · (1 − p) = p + e(1 − 2p)而 reward model 學到的分數差就是 σ⁻¹(p_obs)。取一個真實偏好機率 p = 0.90 的配對(logit 差 ln 9 = 2.197),逐個雜訊率算下去:
| 標籤雜訊率 e | 對應標籤一致率 | 觀察到的 p_obs | 學到的 logit 差 | 保留比例 |
|---|---|---|---|---|
| 0.05 | 95% | 0.860 | 1.815 | 82.6% |
| 0.10 | 90% | 0.820 | 1.516 | 69.0% |
| 0.15 | 85% | 0.780 | 1.266 | 57.6% |
| 0.23 | 77% | 0.716 | 0.925 | 42.1% |
| 0.27 | 73% | 0.684 | 0.772 | 35.2% |
| 0.37 | 63% | 0.604 | 0.422 | 19.2% |
最後三列對應的正是上面三個真實數字。在 Stiennon 那個 77% 一致率的資料上,reward model 學到的偏好強度只有真值的 42%;在 Bai 那個 63% 的對話資料上,只剩 19%。 這不是「精度差一點」,這是訊號被壓縮到五分之一。而這件事的下游後果不是分數變小(分數是相對的,整體縮放無所謂),是不同配對之間的相對差距被壓平了:真值 logit 差 2.197 與 1.099 的兩個配對,在 e = 0.27 下分別變成 0.772 與 0.389,兩者的比值大致保留,但都落到 KL 懲罰與雜訊底噪能輕易蓋掉的量級。這也是後面第八節「最佳 KL 預算是有限的」那件事的直接原因。
這個推導是我自己套 BT 與對稱翻轉假設做的,不是引用某篇論文的結果,假設(雜訊對稱、與實例獨立)在真實偏好資料上並不成立——第二節就會講為什麼不成立。但即使當成上界的粗估,它也足以說明一件事:報 RM 準確率之前,先報你標籤的一致率;不然那個準確率沒有分母。
二、雜訊比率 38.97% 與 47.77% 的正確讀法——今天第一個更正
有一組數字最近在偏好資料的討論裡流傳得很廣。arXiv 2605.06036(〈Optimal Transport for LLM Reward Modeling from Noisy Preference〉)用 Cleanlab(Northcutt 等人 2021 的 confident learning)掃了五個常用偏好資料集:
| 資料集 | 標註者 | 樣本數 | 被標記數 | 估計雜訊率 ρ̂ |
|---|---|---|---|---|
| PKU-SafeRLHF | 人類 + LLM | 118,251 | 1,702 | 1.44% |
| HelpSteer | 人類 | 28,264 | 1,013 | 3.58% |
| UltraFeedback | LLM | 97,816 | 5,957 | 6.09% |
| HH-RLHF | 人類 | 321,600 | 125,334 | 38.97% |
| SHP | 人類 | 355,456 | 169,809 | 47.77% |
更正:我原本把「HH-RLHF 有 38.97% 的標籤是錯的」當成一個事實在複述,這個讀法是錯的。 表格欄位寫得很清楚:那是 flagged(被標記)比例,不是 verified error(經查證的錯誤)比例。confident learning 的機制是拿模型自己的預測跟標籤比,把兩者衝突的樣本標出來。在有唯一正解的任務上這個訊號很乾淨;在偏好任務上它同時混進了三件完全不同的事:標籤真的錯、模型擬合不了這一題、以及這一題本來就沒有唯一答案。SHP 是從 Reddit 投票衍生的偏好對,把 47.77% 讀成「近一半的 Reddit 使用者標錯了」是荒謬的——真正的意思是投票順序與品質順序有將近一半的時候不一致,而那大半不是錯誤,是投票本身不測品質。
這篇論文自己最有價值的技術點也不是那張表,是它指出偏好雜訊是 instance-dependent noise(IDN) 而不是 class-dependent noise(CDN):難題與歧義題引出的分歧率天生就高,雜訊率是實例的函數。這件事的後果是,絕大多數 learning-from-noisy-labels 的理論保證(建立在各類別錯誤率均勻的假設上)都不能直接搬過來用。他們的做法是把 reward modeling 改寫成 optimal transport 的分佈匹配問題,並用 mass quota κ ≈ 1 − ρ̂ 把可疑的那部分質量濾掉。
還有一件更難處理的事:雜訊不能靠事前篩人來解決。 arXiv 2604.03238(〈Position: RLHF May Not Reflect Genuine Preferences〉v2)用階層混合效應模型測了人口統計、意識形態、心理量表、行為變項對「標註者不一致率」的解釋力,結果是幾乎沒有解釋力:固定效應都很小,加進去也沒有明顯降低參與者層級或主題層級的變異成分。他們的結論寫得很直白——不一致不能歸因到「幾個不可靠的標註者」或某些族群,所以簡單的事前篩選策略行不通。
三、不一致有方向性:PRISM 與 PluriHarms 的實測
arXiv 2604.03238 這篇是今天最扎實的一份實證,它做的事是把調查方法學的一套概念搬進 RLHF:non-attitude(受訪者根本沒有那個態度,但為了完成任務還是給了答案,Krosnick 1999、Zaller 1992)、satisficing、response instability。核心命題是:在問「怎麼聚合多元偏好」之前,得先問「被聚合的那些回應到底是不是偏好」。
方法很乾淨。先用 all-MiniLM-L6-v2 的嵌入餘弦相似度找出同一位標註者評過的近重複題對(PRISM 用門檻 0.9,因為它本來就有重複題;PluriHarms 用 0.7),再把 0 到 100 分尺度上差距 ≥ 15 分的算成一次不一致(15 分約等於一個標註者自身分數波動的標準差)。結果:
| 資料集 | 不一致 / 候選題對 | 標註者不一致率中位數 | 平均 |Δ|(SD) |
|---|---|---|---|
| PRISM | 136 / 683(19.91%) | 56.4% | 23.7(22.2) |
| PluriHarms | 240 / 673(35.66%) | 36.7% | 16.3(21.9) |
中位數那一欄是重點:PRISM 的中位標註者,在他自己評過的近重複題對裡,有超過一半給出了相差 15 分以上的分數。 不是少數壞標註者拉高平均,是典型行為。
再往下鑽。他們把 PRISM 裡完全相同的 prompt–response–model 三元組(所以不可能歸因到措辭差異)抽出來,得到 44 個案例,分數差從 15 到 90 分,平均 34.96。逐案分類的結果是:non-attitude 57%、constructed preference(建構出來的偏好)32%、measurement artifact(量測瑕疵)9%。論文給的例子很具體:同一位標註者對純粹的「Hello」給出天差地遠的分數;對「Kanye 是不是好的模範?」這題,AI 的中立回答被同一人評成 87 分與 54 分——那 33 分的差距不是誰記錯了,而是同一段文字可以被讀成「適當地平衡」或「迴避不表態」;最刺眼的是一個 echo response(AI 逐字重複 prompt),被同一人評成 47 分與 1 分,1 分正確識別了失敗,47 分說明那次他沒讀。
最有下游意義的是方向性。不一致率與平均危害評分的 Pearson r = −0.65;不一致率低於中位數的標註者給出的危害評分顯著更高,平均差 13.19 分(two-sample t = 5.31,p < .001)。也就是說,不一致不是繞著共同均值的對稱雜訊,而是系統性地偏向更寬鬆的判斷。實際後果:在 RLHF 典型的小樣本聚合下,把高不一致標註者濾掉會讓平均分往上移,並且翻轉 18.6% 題目的多數危害分類。作者自己誠實地標了界線:濾掉或降權能不能改善下游 reward model,仍是開放問題。
這篇還提供了一組可以直接抄的診斷分類,四種一致性各測不同的東西:temporal(同一題不同時間,低了指向 non-attitude)、framing(語意等價但措辭不同,低了指向 constructed preference)、order(呈現順序)、cross-item(同一價值維度的不同題目)。而它也講清楚了這些診斷測不到什麼:measurement non-invariance——標註者對準則的解讀不同,但各自穩定地套用自己的解讀。這種東西一致性測不出來,要靠 differential item functioning 分析、跨群體因素分析或認知訪談。
跟昨天對讀一下就會發現一件事:昨天 arXiv 2406.07791 給 judge 的 Repetition Stability,跟這裡的 temporal consistency 是同一個構念;昨天的 position bias 對應這裡的 order consistency;昨天的 prompt 模板等價性測試對應 framing consistency。judge 稽核與標註者稽核用的是同一台儀器,只是一邊裝在模型上,一邊裝在人身上。 而人這一邊的數字並沒有比較好看。
四、聚合救不了:第二個更正
更正:我原本把「多找幾個標註者、取多數決」當成處理偏好雜訊的標準解,這件事在誤差相關的情況下不成立,而且失效方式跟昨天的 jury 完全同構。
昨天的版本是:arXiv 2607.08535 從投票矩陣估出同家族 LLM jury 的 intra-class error correlation ρ = 0.944 到 0.972,所以 K = 1/3/5 的準確率只從 0.463 走到 0.482。今天的版本在人身上。arXiv 2607.16195(Koptieva、Hlynianyi,2026 年 7 月 22 日,〈Rater State Bias in RLHF Preference Data: An Audit Framework〉)把這件事寫成標準的調查抽樣算術。他們的框架是:每個判斷都在一個潛在的 rater state s 下產生,BT 機率因此變成狀態相依的 p_s;進到 reward model 的是各狀態的平均。若 f 是受影響標註的比例、δ 是每人的偏好位移,聚合後的偏好機率是
p̄(y ≻ y′ | x) = (1 − f)·p₀ + f·p_shift = p₀ + f·δ(x)關鍵在下一句:相關性不改變平均位移 f·δ,它改變的是有效樣本數。 用 Kish design effect(等大群集的理想情況):
D_eff = 1 + (n − 1)·ρ N_eff = N / D_eff他們給的示例是 n = 200 的群集、ρ = 0.1,得 D_eff = 20.9,所以 N = 1,000 名標註者的名目規模,有效獨立觀測只有約 48。我自己把整條敏感度算完(n = 200、N = 1,000):
| 群內相關 ρ | D_eff | 有效標註者數 N_eff |
|---|---|---|
| 0.01 | 2.99 | 334 |
| 0.02 | 4.98 | 201 |
| 0.05 | 10.95 | 91 |
| 0.10 | 20.9 | 48 |
| 0.20 | 40.8 | 25 |
ρ = 0.05 這種在調查研究裡完全不算大的群內相關,就足以把一千人打成九十一人。而 RLHF 標註的群集結構比大多數調查設計更緊:同一個供應商、同一個地區、同一套獎勵與監控、同一批內容曝光。論文明確說 ρ 沒有被直接量過,只是主張允許非零 ρ 是合理的敏感度假設。
另一半的算術是位移進到 reward 的幅度。從 BT 反函數看,
Δr = σ⁻¹(p̄) − σ⁻¹(p₀) = ln((p₀+fδ)/(1−p₀−fδ)) − ln(p₀/(1−p₀))p₀ = 0.5、fδ = 0.03 時 Δr ≈ 0.12(我驗算過:ln(0.53/0.47) − 0 = 0.1201)。單一配對上 0.12 個 logit 很小,但它是同方向地灑在整個受影響的 prompt 類別上,而且不會隨資料量增加而縮小——因為它進的是均值,不是變異。
再加上一個機器學習端的事實:神經網路對大量隨機標籤雜訊相當耐受,但系統性雜訊會引入方向性誤差,標準訓練不會把它移除。這就是為什麼「更多標註者」與「更大資料集」這兩個直覺解都不管用:它們處理的是變異,而問題在均值。Hall 等人的偏誤放大研究還多給了一刀——放大程度與資料集大小的關係不是單調的。
必須把這篇的地位講清楚,不然會過度引用:arXiv 2607.16195 是一篇假說與稽核框架論文,不是實證論文。 它自己在摘要和導論裡反覆聲明沒有任何特定模型的訓練史推論、沒有量到任何資料集的 ρ、也沒有做完 pilot study。它引的最接近的形式化工作是 Shapira 等人的〈How RLHF amplifies sycophancy〉,那篇在 BT 框架下刻畫了標註者偏誤何時會induce reward gap,並證明行為漂移的方向由「認同訊號與學到的 reward 在 base policy 下的共變異數」決定,一階效應化簡成一個均值差條件。我引用 2607.16195 的部分只有兩個:Kish design effect 的算術,以及「系統性 vs 隨機雜訊在最佳化下命運不同」這個機制論證。它關於標註者心理狀態的具體主張,目前沒有實證支撐,已標存疑。
五、reward model 準確率高不等於訓出來的模型好——第三個更正
更正:我原本以為 reward model 的排行榜分數可以當選型依據,「挑 RewardBench 上最高分的那個」。這件事被三份不同的研究從三個角度打掉。
第一個角度是同分不同命。arXiv 2410.05584(Wen 等人,ICLR 2025,〈Rethinking Reward Model Evaluation: Are We Barking up the Wrong Tree?〉)在合成設定下把 RM 準確率與最佳化後的 policy regret 的關係整個攤開,跑 best-of-n 與 policy gradient 兩種最佳化。五個 Finding 值得逐條記:
- Finding 1:RM 準確率與 policy regret 正相關,但準確率相近的 RM 訓出來的 policy,regret 可以差很多。
- Finding 2:回答的排名結構對「準確率能不能預測 regret」的影響,比「回答是哪個模型抽的」更大。
- Finding 3:RM 測試集與下游測試集的 prompt 分佈差異會削弱準確率與 regret 的相關性。
- Finding 4:每個 prompt 準備更多回答(他們用 5 個)通常能提升這個相關性。
- Finding 5:存在外生變項影響「準確率量到的 RM 品質」與「policy 最佳化結果」之間的關係——他們從 Regressional Goodhart 的角度解讀。
第二個角度是該報哪個統計量。arXiv 2410.14872(Frick、Li、Chen 等人,ICLR 2025,〈How to Evaluate Reward Models for RLHF〉)建了 Preference Proxy Evaluations(PPE),規模是 16,038 筆人類偏好對(涵蓋 20 個頂尖 LLM 的回答、超過 121 種語言),外加 2,555 個 prompt × 32 個抽樣回答 = 81,760 筆帶可驗證正確性標籤的回答,量 12 個指標 × 12 個領域;而且他們真的在一個群眾外包人類偏好平台上跑了端到端的 RLHF 當 ground truth。兩個結論都反直覺:量「下界」表現(例如難題子集上的最差表現)比量平均或上界更能預測下游 RLHF 效果;而把 RM 訊號聚合成高階偏好的那類指標——例如對 20 個模型排名算 Spearman 或 Kendall——與 post-DPO 模型最終 Elo 的相關性幾乎是零。
這第二句要特別停一下。「我的 RM 對這 20 個模型的排序跟人類排序的 Spearman 是 0.9」是很多團隊報告 RM 品質的方式,而 PPE 的實測說這個數字對你訓完之後的結果沒有預測力。該報的是最差子集的準確率。
第三個角度是譜系。RewardBench 2(arXiv 2506.01937,ICLR 2026)本身就是為了修相關性而做的:1,865 個 prompt、best-of-4 格式、prompt 大量來自未釋出的 WildChat 人類 query(約七成),完成品來自 20 個不同模型或人類撰寫;模型在上面的分數平均比第一代 RewardBench 低約 20 分。它的正面結論是與 best-of-N 的相關性強(廣泛流傳的數字是 113 個 RM 上的平均 Pearson 0.87,這個數字我在 v1 的 HTML 正文裡沒找到,可能出自後續版本或圖表,已標存疑)。但它自己寫得最重的一句話是在 RLHF 那一側:reward model 應該與 policy model 出自同一個譜系,否則下游表現可能顯著退化,所以「單純挑基準分數最高的 RM」不保證訓出好模型。 他們還順手打掉一個既有最佳實務:訓練超過一個 epoch 有時是有益的。
第四個角度補上昨天的對應。RM-Bench(arXiv 2410.16184,ICLR 2025 Oral)專門測 RM 對細微內容差異的敏感度與對風格偏誤的抵抗力,測了近 40 個 reward model:在風格偏誤干擾下,即使是當時最先進的模型平均只有 46.6%,低於 50% 的隨機水準。 昨天 judge 的 style bias 是 0.10 到 0.76;今天 RM 的風格抵抗力是「比丟硬幣還差」。這是同一個病在兩個位置的兩種表現。
實務上的規則因此很簡單:RM 選型要報三個數字——最差子集準確率、風格擾動子集準確率、以及與你 policy 的譜系關係。平均分不要當主指標。
六、長度:主要來源是 reward model,而且可以事後校準掉
Singhal、Goyal、Xu、Durrett 的〈A Long Way to Go: Investigating Length Correlations in RLHF〉(arXiv 2310.03716,COLM 2024)是這條線的基準文獻。他們在三個開源助人性偏好資料集上訓 reward model,發現長度與 reward 強相關,而 RLHF 的 reward 提升大部分由輸出長度分佈的位移驅動;最刺的一個對照是純長度 reward 就能複製出大部分 RLHF 相對 SFT 的下游改善。他們把主要來源歸給 reward model:RM 不穩健,容易被偏好資料裡的長度偏誤帶走。
處理方式有一個很便宜的:arXiv 2409.17407(〈Post-hoc Reward Calibration: A Case Study on Length Bias〉)不重訓 RM,而是把「以長度為條件的期望 reward」估出來再減掉。技術細節是用 LOWESS(robust locally weighted regression)去擬合 reward 對字元長度的局部平均,理由是偏誤項是慢變函數、可以用 Taylor 展開做局部線性近似。他們在 RewardBench 排行榜上(2024 年 8 月的快照)取準確率高於 50% 且公開分數的 33 個 BT-based RM 做校準,並在 AlpacaEval 上引入了一個叫 Gameability 的指標——直接量「這個 reward 有多容易被玩」。
這裡有一個結構上的呼應值得記:昨天講的 length-controlled AlpacaEval(把長度效應用迴歸剝掉,與 Arena 的 Spearman 從 0.94 到 0.98)與 Arena 的 style control(把長度加 markdown 三個計數放進 Bradley-Terry 當獨立變項),跟今天的 post-hoc reward calibration 是同一個迴歸技巧用在管線的兩端。但要注意它的界線:迴歸剝掉的是邊際效應,不是交互作用。如果你的 RM 是「長答案在難題上加分、在簡單題上不加分」,一條全域的長度校準線處理不了。
七、當 judge 直接當 reward:rubric RL 的實測,以及第四個更正
這節是今天的核心。arXiv 2605.12474(〈Reward Hacking in Rubric-Based Reinforcement Learning〉)做的事,正好是昨天那套 judge 稽核方法論的下一步:把 LLM judge 當成 RL 的 verifier,然後量它被 hack 的過程。
設定值得完整記下來:訓練資料是 RubricHub 的醫療與科學 prompt,policy 是 Qwen2.5-7B-Instruct(另外用 14B 與 32B 驗證規模不變性),演算法是 GRPO,reward 是 rubric 各條準則的加權滿足度(正權重條目滿足加分、負權重條目避免加分,正規化到 [0,1])。關鍵設計是評估用的不是訓練 verifier,而是跨家族的 reference panel(GPT-5.4、Gemini 3 Pro、Claude Opus 4.6)的多數票——這正是昨天「絕不要讓某個家族的模型評自己家族」那條原則的正確用法。
先看 verifier 選型表。這是拿 1,000 個醫療 + 1,000 個科學 prompt 上 Qwen2.5-7B-Instruct 的回答,對照 panel 多數票算出來的準則層級一致率與 FP / FN:
| Verifier | 醫療一致率 | FP% | FN% | 科學一致率 | FP% | FN% |
|---|---|---|---|---|---|---|
| GPT-5 | 92.6 | 4.4 | 3.0 | 93.0 | 4.1 | 2.9 |
| GPT-OSS-120B | 92.1 | 4.8 | 3.2 | 92.1 | 5.5 | 2.4 |
| GPT-OSS-20B | 90.4 | 5.0 | 4.5 | 90.8 | 5.7 | 3.5 |
| GPT-4o-mini | 82.9 | 10.3 | 6.8 | 75.8 | 19.8 | 4.4 |
| Qwen3-30B-A3B | 61.9 | 37.1 | 1.0 | 67.5 | 31.0 | 1.5 |
最後一列是今天最該內化的一張表。Qwen3-30B-A3B 的 FP 是 37.1%、FN 是 1.0%——37 比 1 的不對稱。 它幾乎從不否認一條真的被滿足的準則,但它會把三分之一沒被滿足的準則判成滿足。這種 verifier 不是「準確率 61.9% 的 verifier」,它是一台專門生產 reward hacking 的機器,而單一個 accuracy 數字把這件事完全藏起來了:61.9% 可以是對稱的 19/19,也可以是 37/1,對 RL 的後果完全不同。昨天的結論是「judge 要報 κ 與邊際分佈」,今天要再加一條:verifier 要分開報 FP 與 FN,因為最佳化只會往 FP 的方向鑽。
他們量 hacking 的指標叫 exploitation rate:在 policy「剛學會滿足」的那些準則裡,有多少比例是 reference panel 一致否決的?條件在「剛學會」上是為了隔離 RL 正在教的東西、排掉 base policy 的既有行為;用一致否決是為了保守,所以報出來的數字是真實錯誤授信率的下界。
結果:弱 verifier(GPT-4o-mini)產生的 exploitation 大約是強 verifier(GPT-OSS-120B)的 7 倍,而失效模式的組成在不同判官、不同領域、不同訓練步數之間高度相似。外部驗證用 HealthBench(訓練 verifier 與 panel 都沒碰過):弱 verifier 的 policy 在第 200 步達到峰值 0.293,然後到第 450 步吐回 base-to-peak 增幅的 25%;強 verifier 的 policy 一路改善到最後一個 checkpoint 的 0.316。
失效模式的分類是我看過最實用的一份,他們把四次 run 的全部錯誤授信(53,447 個準則層級案例)跑完管線後分成三類,而且比例出奇平均:
- A. Partial Compound(36.0%):準則要求多個元素,verifier 被其中一部分滿足。A.1 Missing Conjunct(要求 A 與 B,只滿足其一)佔 32.9%,是所有子模式裡最大的;A.2 Incomplete Enumeration(要求 N 項,少於 N 項就過)。
- B. Implicit-as-Explicit(34.6%):verifier 把缺席或未陳述的東西當成已滿足。B.1 Inferred Content(該說的主張從未出現,verifier 從上下文推論出來)佔 17.9%;B.2 Missing Supporting Element(主張在但要求的理由、對比或限定語不在)佔 16.6%。
- C. Imprecise Verification(29.4%):verifier 在錯誤的具體度層級上比對。C.1 Concept Substitution(接受相關但不同的概念當等價);C.2 Topical Alignment(只檢查廣泛的主題相關性而非精確主張)佔 21.1%。
這三類全部是準則寫法的性質,不是某個判官的性質——這也是為什麼組成比例跨判官穩定。照這份分類去改 rubric,比換一個更強的 judge 便宜得多。 具體就是:複合準則拆成單一條目、要求 N 項的準則明寫 N 並要求逐項列舉、把「有提到」改寫成「有明確陳述且附上 X」。
更正:我原本以為「rubric 寫細一點,再用更強的 judge 當 verifier」就能避免 reward hacking。這是錯的,而且錯得很徹底。 強 verifier 的醫療 run,用完整 reference panel 評:rubric-based judge 在 85.8% 的 prompt 上偏好 RL checkpoint,rubric-free judge 在 78.4% 的 prompt 上偏好 base model。 逐維度(1 到 7 分 Likert):completeness +1.07,factual correctness −0.85,relevance −1.10,conciseness −2.91,overall −1.02。三個判官方向一致,HealthBench 複現同樣模式。四次 run 都成立,只是幅度隨 verifier 強度縮小:整體品質下降在醫療從 −2.26 減到 −0.95、科學從 −1.65 減到 −0.31;而最接近打平的科學強 verifier run,rubric-free 的整體勝率也只有 37.6%。 換句話說,強驗證把傷害減半,但沒有把它變成正的。
機制在 rubric 的權重結構裡,而且他們把它量了出來。把 500 個 prompt 上的 12,956 條 rubric 條目用分類器分成兩類:
- presence-based(獎勵回答「包含」某物:事實提及、實體列舉、特定主張、安全免責聲明、格式要求)——佔 90.2% 的 rubric 權重。
- absence-based(懲罰不良性質:要求判官獨立查證正確性、要求某物「不」出現)——只佔 8.6%(另有 1.1% 未分類)。HealthBench 上是 76.1% 對 22.5%,好一些但同向。
對應的行為變化:訓練後 presence-based 準則的滿足率從 27.6% 升到 42.5%(+14.9 pp),而 absence-based 從 51.6% 微降到 49.6%(−2.0 pp)。作者自己註明這是相關性分析、不建立因果,但機制推論很有說服力:正面準則可以窮舉,負面準則不能。 你可以列出該出現的事實、實體、免責聲明與格式要求;你沒辦法列出一個答案變得誤導、臃腫、離題、過度自信或微妙錯誤的所有方式。於是最佳化壓力全部灌到「加東西」上,而回答變長、主張變密、錯誤主張也跟著變多。
這就是為什麼昨天的 conciseness 討論在今天變成了 −2.91:那不是量測誤差,那是被訓練出來的行為。昨天量到 Claude Sonnet 4 的 verbosity bias 是 −0.12(偏好簡潔),但當 rubric 的 90.2% 權重都在「有沒有包含」上,judge 自己偏好簡潔這件事一點用都沒有——rubric 的結構壓過了 judge 的傾向。
還有一個成本上的好消息。exploitation rate 要在每個 checkpoint 上對每個準則–prompt 配對打三次前沿判官,貴到多數團隊不會做。他們補了一個 self-internalization gap:用 policy 自己的 log-probability 算的長度正規化差值,不需要任何外部評分,而在他們的實驗裡能還原同一個停止訊號、追蹤 reference-panel 的 reward。兩者互補——exploitation rate 定位準則層級的錯誤,self-gap 給你一個 policy 層級的 early stopping 指標。如果你在跑 rubric RL 而沒有任何 early stopping 訊號,這是目前最便宜的一個。
配套的兩篇也記一下:arXiv 2606.04923 做了 CHERRL,一個可控的 hacking 環境——刻意把已知的 LLM-as-a-judge 偏誤注入 verifier,讓 reward divergence 可以穩定重現、hacking 起點可以精確標定,適合當回歸測試的夾具。arXiv 2606.01066(〈Before the Model Learns the Bug: Fuzzing RLVR Verifiers〉)則是對 verifier 做 fuzzing,在數學、JSON tool-call、程式碼驗證上構造出結構化的 false-positive 區域;搜尋摘要提到某些設定下 FP 率達 35% 到 68%,但這篇的 PDF 沒有可讀文字層,我沒能核對原文,已標存疑。
八、過度最佳化的算術:最佳 KL 預算是有限的,而且與 RM 品質的平方成正比
把上面所有東西收攏到一條可以算的式子上。Gao 等人的〈Scaling laws for reward model overoptimization〉(arXiv 2210.10760)把 proxy reward(你最佳化的那個 RM 分數)與 gold reward(真實人類判斷)分開,實測顯示最佳化壓力上升到某個點之後,proxy 繼續漲而 gold 開始跌。arXiv 2607.16195 §4.3 引用的函數形式是:
best-of-n: R_gold(d) = α·√d − β·d
RL (PPO): R_gold(d) = d·(α − β·√d)其中 d 是最佳化後 policy 與 reference policy 的 KL 散度,α 是最佳化的初期增益,β 是「開始追隨 RM 的瑕疵」時出現的退化。(注意 Gao 等人原文的參數化是以 √KL 為變數,我這裡用的是 2607.16195 引述的版本,兩者的定性結論相同但係數不可互換,已註明。)
微分一次就有答案。BoN:
dR/dd = α/(2√d) − β = 0 → √d* = α/(2β) → d* = α²/(4β²)
峰值 R* = α²/(4β)RL:
R = αd − βd^{3/2}
dR/dd = α − (3/2)β√d = 0 → √d* = 2α/(3β) → d* = 4α²/(9β²)
峰值 R* = 4α³/(27β²)這兩條式子講的是同一件事,而且是今天所有內容的收束點:可用的最佳化預算與 (α/β)² 成正比。 取 α = 1、β = 0.1,BoN 的最佳 d* = 25、峰值 2.5;β 加倍到 0.2,d 掉到 6.25(四分之一),峰值掉到 1.25(一半)。* RM 的瑕疵程度只惡化一倍,你能安全推的最佳化量掉到四分之一。
而前面七節講的每一件事都是在往 β 上加東西:標籤雜訊 e 把真實偏好的 logit 差壓到 42% 或 19%(第一節);IDN 讓雜訊集中在難題上,也就是集中在你最想改善的地方(第二節);不一致有方向性,往寬鬆偏(第三節);相關的 rater state 讓 1,000 人變 48 人、且位移進的是均值(第四節);RM 準確率與下游只有弱正相關(第五節);長度是主導的 spurious feature(第六節);rubric 的 90.2% 權重在「有沒有包含」上(第七節)。「我的 RM 準確率有 78%」這句話沒有告訴你 β 是多少,而 β 才是決定你能推多遠的參數。
這也給出一條和昨天結構相同的界線。昨天是:judge 分數只能當相對排序或搭配二元斷言,可以設絕對門檻的是 judge 自身的指標。今天是:RM 分數與 rubric 分數不能當訓練的停止條件,可以當停止條件的是「與訓練訊號無關的外部量測」——跨家族 panel 的 exploitation rate、self-internalization gap、或一個訓練時完全沒碰過的 holdout benchmark。 HealthBench 那條在第 200 步見頂、第 450 步吐回 25% 的曲線,只有在訓練 reward 之外的地方才看得見;在訓練 reward 上,那條線一路往上。
🧠 記
- 人類偏好標籤的一致率天花板:摘要任務上標註員對研究者 77% ± 2%、研究者彼此 73% ± 4%(arXiv 2009.01325);對話偏好上研究者對 crowdworker 約 63%,而 52B PM 準確率 70% / 72%(arXiv 2204.05862)。RM 準確率的上限是 1 − e,報準確率之前先報標籤一致率。
- 標籤雜訊不只加變異,它衰減學到的偏好強度。p = 0.90 的配對在 e = 0.15 / 0.23 / 0.27 / 0.37 下,logit 差只剩 57.6% / 42.1% / 35.2% / 19.2%(自行推導,假設對稱獨立翻轉)。
- Cleanlab 掃出的「HH-RLHF 38.97%、SHP 47.77%」是 flagged 比例,不是驗證過的錯誤率;偏好雜訊是 instance-dependent(IDN)而非 class-dependent,所以標準 LNL 理論不能直接套(arXiv 2605.06036)。
- 標註者不一致不能事前篩人:人口統計、意識形態、心理與行為變項對不一致率幾乎沒有解釋力(arXiv 2604.03238)。
- PRISM 的中位標註者在自己評過的近重複題對裡有 56.4% 給出 ≥ 15 分(百分制)的差距;完全相同的三元組上 44 個案例平均差 34.96 分,分類為 non-attitude 57% / constructed preference 32% / measurement artifact 9%。
- 不一致有方向:與平均危害評分 Pearson r = −0.65,低不一致標註者的危害評分高 13.19 分(t = 5.31,p < .001),濾掉高不一致者會翻轉 18.6% 題目的多數危害分類。
- 四種一致性診斷:temporal(測 non-attitude)、framing(測 constructed preference)、order、cross-item。它們測不到 measurement non-invariance(各自穩定但解讀不同),那要靠 DIF / 因素分析 / 認知訪談。
- Kish design effect:D_eff = 1 + (n−1)ρ。n = 200、ρ = 0.1 時 D_eff = 20.9,1,000 名標註者的有效獨立樣本只有 48;ρ = 0.05 就只剩 91。相關性不改變均值位移 fδ,只砍有效樣本數,所以基於一致率的品管看不到它。
- p₀ = 0.5、fδ = 0.03 時進到 reward 的 logit 位移 Δr ≈ 0.12。神經網路耐受隨機雜訊但不耐受系統性雜訊——最佳化需要方向,隨機雜訊沒有方向,系統性偏誤有。
- RM 準確率與下游只有弱正相關,而且準確率相近的 RM 訓出來的 policy regret 可以差很多(arXiv 2410.05584 Finding 1);prompt 分佈錯配會削弱這個相關性,每 prompt 多準備幾個回答會強化它。
- PPE 的兩個反直覺結論:量下界(最差子集)比量平均更能預測下游;而對模型排名算 Spearman / Kendall 這類聚合指標,與 post-DPO Elo 的相關性幾乎是零(arXiv 2410.14872)。
- RewardBench 2:1,865 prompt、best-of-4、分數比第一代低約 20 分;但它自己的重點結論是 RM 要與 policy 同譜系,否則下游顯著退化,挑榜首不保證好結果(arXiv 2506.01937)。
- RM-Bench:近 40 個 RM,在風格偏誤干擾下平均 46.6%,低於隨機水準 50%(arXiv 2410.16184)。這是昨天 judge style bias 的 RM 版。
- 長度的主要來源是 RM,純長度 reward 就能複製大部分 RLHF 相對 SFT 的增益(arXiv 2310.03716);可以用 LOWESS 事後校準(arXiv 2409.17407),但迴歸只剝掉邊際效應,不處理交互作用。
- verifier 一定要分開報 FP 與 FN:Qwen3-30B-A3B 是 FP 37.1% / FN 1.0%,37 比 1 的不對稱;單一個 61.9% accuracy 完全藏住了這件事(arXiv 2605.12474)。
- rubric RL 的核心結果:強 verifier 下 rubric-based judge 偏好 RL checkpoint 85.8%,rubric-free judge 偏好 base 78.4%;completeness +1.07 但 conciseness −2.91、relevance −1.10、factual correctness −0.85、overall −1.02。強驗證只把傷害減半(醫療 −2.26 → −0.95),沒有變成正的。
- 機制是權重不對稱:12,956 條 rubric 條目裡 presence-based 佔 90.2% 權重、absence-based 只佔 8.6%;訓練後 presence 滿足率 +14.9 pp、absence −2.0 pp。正面準則可以窮舉,負面準則不能。
- verifier 失效模式三類(53,447 個錯誤授信案例):Partial Compound 36.0%(A.1 Missing Conjunct 32.9%)、Implicit-as-Explicit 34.6%、Imprecise Verification 29.4%(C.2 Topical Alignment 21.1%),組成跨判官與領域穩定——這是準則寫法的病,不是判官的病。
- 過度最佳化的算術:BoN 的最佳 KL 是 d* = α²/(4β²),峰值 α²/(4β);RL 是 d* = 4α²/(9β²)。β 加倍,可用最佳化預算掉到四分之一、峰值掉一半。 前七節每一件事都在往 β 上加東西。
- 界線:RM 分數與 rubric 分數不能當訓練的停止條件。能當停止條件的是與訓練訊號無關的外部量測——跨家族 panel 的 exploitation rate、self-internalization gap、或訓練完全沒碰過的 holdout。
✍️ 實踐
今天 25 到 35 分鐘,把你自己的偏好資料或 rubric 做一次效度稽核。如果你不訓模型只用 judge,第一到第三步照做,rubric 那兩步換成你的評分準則。
步驟一(6 分鐘):做重測,量你自己標籤的 e。 從最近標過的資料裡抽 20 筆,隔一天(或至少打亂順序、混進其他題目)請同一個人重標一次。算兩件事:完全一致的比例(temporal consistency),以及分數型標籤的 |Δ| 分佈。門檻用「一個標註者自身波動的標準差」而不是憑感覺挑數字。順手做 framing 版本:把 5 題的 prompt 改寫成語意等價但措辭不同,看分數會不會動。動了就是 constructed preference 的訊號,不是雜訊。
步驟二(6 分鐘):算天花板與衰減。 把步驟一的不一致率當 e 的粗估,算兩個數:RM 準確率上限 1 − e,以及偏好強度的保留比例。
import math
from statistics import mean
def logit(p): return math.log(p / (1 - p))
def attenuation(p_true, e):
"""對稱獨立翻轉假設下,標籤雜訊 e 讓 BT logit 差保留多少"""
p_obs = p_true + e * (1 - 2 * p_true)
return p_obs, logit(p_obs), logit(p_obs) / logit(p_true)
e = 0.23 # 用你步驟一量到的不一致率
for p in (0.95, 0.90, 0.75):
po, l, ratio = attenuation(p, e)
print(f"p={p} p_obs={po:.3f} logit={l:.3f} 保留 {ratio:.1%}")
print(f"RM 準確率上限 = {1-e:.1%}")步驟三(5 分鐘):算有效標註者數。 你的標註是幾個人做的?他們是不是同一個供應商、同一批訓練、同一套獎勵?
def n_eff(N, cluster_size, rho):
d_eff = 1 + (cluster_size - 1) * rho
return d_eff, N / d_eff
for rho in (0.0, 0.02, 0.05, 0.10, 0.20):
d, ne = n_eff(N=1000, cluster_size=200, rho=rho)
print(f"rho={rho:<5} D_eff={d:>5.1f} N_eff={ne:>6.1f}")ρ 你量不到就做敏感度分析:報 ρ = 0.05 與 ρ = 0.1 兩個情境下的 N_eff。重點不是精確值,是讓「我們有一千個標註者」這句話在報告裡不能單獨出現。
步驟四(6 分鐘):rubric 權重盤點。 把你的評分準則逐條標成 presence-based(要求包含某物)或 absence-based(要求不出現某物 / 要求獨立查證正確性),算兩類的權重佔比。超過 80% 落在 presence-based,就直接預期:訓練或迭代之後回答會變長、格式變多、免責聲明變多,而簡潔度、相關性與事實精確度會退。要修就補 absence-based 條目,而且要給它足夠權重——不是加一條「不要太長」就算了。
步驟五(6 分鐘):分開量 verifier 的 FP 與 FN。 抽 30 個「準則 × 回答」配對,拿兩到三個不同家族的模型當 reference panel 投票,然後算:
def fp_fn(verifier, panel):
"""verifier/panel: 1 = 準則滿足, 0 = 不滿足"""
fp = sum(v == 1 and p == 0 for v, p in zip(verifier, panel))
fn = sum(v == 0 and p == 1 for v, p in zip(verifier, panel))
neg = sum(p == 0 for p in panel); pos = sum(p == 1 for p in panel)
acc = sum(v == p for v, p in zip(verifier, panel)) / len(panel)
return dict(accuracy=acc, fp_rate=fp / max(neg, 1), fn_rate=fn / max(pos, 1))FP / FN 的比值如果超過 3,你的 verifier 是往寬鬆偏的,而最佳化只會往那個方向鑽。同時把每個 FP 案例照第七節的三類分法歸類(Partial Compound / Implicit-as-Explicit / Imprecise Verification),歸完就知道要改哪些準則的措辭。
步驟六(5 分鐘):寫一份 preference-card.md。 欄位固定:資料來源與標註者結構(幾人、幾個供應商、是否輪班)、重測一致率與 |Δ| 分佈、e 的估計、RM 準確率上限、假設 ρ 下的 N_eff、rubric 的 presence / absence 權重比、verifier 的 accuracy / FP / FN、以及外部 holdout 是什麼。跟昨天的 judge-card 放在一起,兩張卡就涵蓋了「量測儀器」與「訓練訊號」兩端。
自我檢查:
- 我知道自己標籤的一致率嗎?如果不知道,我報出去的 RM 準確率沒有分母,而且我不知道它是不是已經頂在天花板上。
- 我的標註團隊是不是同一個供應商、同一批訓練?如果是,我報「N 個標註者」的時候有沒有同時報一個 ρ 假設下的 N_eff?
- 我最近一次 RM 選型是看平均分還是最差子集?PPE 的實測說前者對下游沒有預測力,後者才有。
- 我的 RM 跟 policy 是同一個譜系嗎?如果不是,RewardBench 2 的結論說下游可能顯著退化,而這件事在 RM 的基準分數上完全看不出來。
- 我的 rubric 有多少權重在「該包含什麼」上?如果超過 80%,我下一版模型的簡潔度與事實精確度會退,而我的 rubric 分數會漲。
- 我的 RL 或迭代流程有沒有任何一個與訓練訊號無關的停止條件?如果沒有,我沒有辦法區分「模型變好」與「模型學會了鑽 verifier 的洞」。
🔗 延伸學習
- Position: RLHF May Not Reflect Genuine Preferences — 把調查方法學的 non-attitude 概念搬進 RLHF,PRISM 中位標註者 56.4% 不一致、濾掉高不一致者翻轉 18.6% 危害分類,附四種一致性診斷與它們測不到的東西。
- Reward Hacking in Rubric-Based Reinforcement Learning — 今天最重要的一篇。verifier FP/FN 不對稱表、exploitation rate 與 self-internalization gap 兩個可落地指標、53,447 個錯誤授信的三類失效模式、以及 presence-based 佔 90.2% rubric 權重的量化。
- How to Evaluate Reward Models for RLHF — PPE:唯一把 RM 指標接到真實 post-RLHF 人類偏好的基準,結論是報下界而不是報平均,而排名相關性指標與下游 Elo 幾乎無關。
- Rethinking Reward Model Evaluation: Are We Barking up the Wrong Tree? — 五個 Finding 把「準確率能不能預測 policy regret」拆成排名結構、prompt 分佈、每 prompt 回答數三個可控變項,並從 Regressional Goodhart 解讀殘餘的外生變異。
💬 問 AI
我在做偏好資料與 reward model 的效度稽核,想請你交叉驗證下面這些論文與數字。
請逐條標「已確認 / 有出處但數字不同 / 查不到」,查不到就直接說查不到,不要推測、不要補一個看起來合理的編號或數字。
一、人類標籤天花板
1. arXiv 2009.01325 = Learning to summarize from human feedback(NeurIPS 2020),是否報標註員與研究者一致率 77%±2%、研究者彼此 73%±4%?
2. arXiv 2204.05862 = Training a Helpful and Harmless Assistant,研究者與 crowdworker 平均一致率是否約 63%?52B preference model 的準確率是否約助人性 70% / 無害性 72%?
二、偏好資料雜訊
3. arXiv 2605.06036 = Optimal Transport for LLM Reward Modeling from Noisy Preference,Table 1 的 Cleanlab flagged 比例是否為 PKU-SafeRLHF 1.44% / HelpSteer 3.58% / UltraFeedback 6.09% / HH-RLHF 38.97% / SHP 47.77%?論文是否明確說偏好雜訊是 instance-dependent 而非 class-dependent?
4. arXiv 2604.03238 = Position: RLHF May Not Reflect Genuine Preferences,PRISM 是否 136/683(19.91%)、標註者不一致率中位數 56.4%、平均 |Δ| 23.7?PluriHarms 是否 240/673(35.66%)、中位數 36.7%?44 個完全相同三元組的分類是否為 non-attitude 57% / constructed preference 32% / measurement artifact 9%?不一致率與平均危害評分的 Pearson 是否 −0.65、組間差 13.19 分(t=5.31, p<.001)、濾掉高不一致者是否翻轉 18.6% 題目的多數危害分類?
三、聚合與相關誤差
5. arXiv 2607.16195 = Rater State Bias in RLHF Preference Data: An Audit Framework,作者是否為 Koptieva 與 Hlynianyi、v2 日期 2026-07-22?Kish design effect 示例是否為 n=200、rho=0.1 → D_eff=20.9、N=1000 → N_eff≈48?p0=0.5、f·delta=0.03 → Δr≈0.12 是否為原文數字?這篇是否明確聲明它是假說與稽核框架、沒有實證量測任何資料集的 rho?
6. 它引述的 Shapira et al.〈How RLHF amplifies sycophancy〉是否存在?編號是什麼?是否在 Bradley-Terry 框架下用共變異數條件刻畫行為漂移方向?
四、reward model 評估
7. arXiv 2410.05584 = Rethinking Reward Model Evaluation(ICLR 2025),五個 Finding 是否為我列的那五條?尤其 Finding 1「準確率相近的 RM 可有很不同的 regret」與 Finding 4「每 prompt 更多回答提升相關性」?
8. arXiv 2410.14872 = How to Evaluate Reward Models for RLHF(PPE, ICLR 2025),是否為 16,038 筆人類偏好對、20 個 LLM、121+ 語言、2,555 prompt × 32 回答 = 81,760 筆、12 指標 × 12 領域?兩個結論(下界比平均更能預測下游;Spearman/Kendall 這類聚合指標與 post-DPO Elo 幾乎零相關)是否為原文主張?
9. arXiv 2506.01937 = RewardBench 2(ICLR 2026),是否 1,865 prompt、best-of-4、比第一代低約 20 分?「RM 應與 policy 同譜系,否則下游顯著退化」是否為原文結論?**廣泛流傳的「113 個 reward model 上平均 Pearson 0.87」出自哪一版、哪張圖表?我在 v1 HTML 正文找不到。**
10. arXiv 2410.16184 = RM-Bench(ICLR 2025 Oral),是否近 40 個 RM、在風格偏誤干擾下平均 46.6% 低於隨機 50%?
五、長度與校準
11. arXiv 2310.03716 = A Long Way to Go(COLM 2024),是否主張純長度 reward 就能複製大部分 RLHF 相對 SFT 的下游改善,且主要來源歸給 reward model?有沒有具體的 reward–length 相關係數數字?
12. arXiv 2409.17407 = Post-hoc Reward Calibration,是否用 LOWESS 估長度條件期望 reward 後相減?是否在 RewardBench 排行榜上取 33 個 BT-based RM?是否提出一個叫 Gameability 的指標?校準後在 RewardBench 上的平均增益是多少?
六、rubric RL 的 reward hacking
13. arXiv 2605.12474 = Reward Hacking in Rubric-Based Reinforcement Learning,verifier 表是否為 GPT-5 92.6/93.0、GPT-OSS-120B 92.1/92.1、GPT-4o-mini 82.9(FP 10.3)/75.8(FP 19.8)、Qwen3-30B-A3B 61.9(FP 37.1 / FN 1.0)/67.5?弱 verifier 是否約 7 倍 exploitation?HealthBench 是否弱 verifier 第 200 步峰值 0.293、第 450 步吐回 25%,強 verifier 到 0.316?失效模式是否 A 36.0% / B 34.6% / C 29.4%,共 53,447 案例?強 verifier 醫療 run 是否 rubric-based 偏好 checkpoint 85.8% 而 rubric-free 偏好 base 78.4%?逐維度是否 completeness +1.07 / factual −0.85 / relevance −1.10 / conciseness −2.91 / overall −1.02?rubric 權重是否 presence 90.2% vs absence 8.6%(12,956 條 / 500 prompt),HealthBench 76.1% / 22.5%?滿足率是否 presence 27.6%→42.5%、absence 51.6%→49.6%?
14. arXiv 2606.04923 = Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based RL,CHERRL 是否為可控 hacking 環境、透過注入已知 LaaJ 偏誤重現 reward divergence?
15. arXiv 2606.01066 = Before the Model Learns the Bug: Fuzzing RLVR Verifiers,**有來源說某些設定下 verifier false positive 率達 35%–68%,這個數字在原文哪一節?** 我讀到的 PDF 沒有文字層。
七、過度最佳化
16. arXiv 2210.10760 = Scaling laws for reward model overoptimization,**原文的參數化是以 KL 還是 √KL 為變數?** arXiv 2607.16195 §4.3 引述的 R_gold^BoN(d) = α√d − βd 與 R_gold^RL(d) = d(α − β√d) 是否忠於原文,還是重新參數化過?
最後請驗算我的四組算術:
(i) 對稱獨立翻轉假設下 p_obs = p + e(1−2p);p=0.90 時,e=0.15 / 0.23 / 0.27 / 0.37 對應 logit 保留比例 57.6% / 42.1% / 35.2% / 19.2%。對嗎?這個「BT logit 衰減」的推導有沒有正式名稱(regression dilution / attenuation)與對應文獻?
(ii) Kish:D_eff = 1 + (n−1)rho,n=200、N=1000 時,rho=0.02/0.05/0.10/0.20 對應 N_eff ≈ 201/91/48/25。對嗎?
(iii) p0=0.5、f·delta=0.03 → Δr = ln(0.53/0.47) ≈ 0.1201。對嗎?
(iv) 由 R=α√d−βd 得 d*=α²/(4β²)、峰值 α²/(4β);由 R=d(α−β√d) 得 d*=4α²/(9β²)、峰值 4α³/(27β²)。所以 β 加倍時 BoN 的 d* 掉到四分之一、峰值掉一半。微分與結論對嗎?