昨天談微調,是在教模型「行為與知識」——用 SFT 塑造輸出格式、用偏好資料把回答往人喜歡的方向推。那一步回答了「模型會不會做這件事、做得討不討喜」,但沒回答一個更深的問題:當「討喜」和「正確」開始打架時,模型該聽誰的?對齊(alignment)處理的正是這個問題——不只讓模型完成任務,還要讓它的行為對齊人類真正想要的價值與偏好,並且在沒人盯著時也守得住。今天把對齊這條線攤開:RLHF 的三步驟骨架、它為什麼會被「鑽漏洞」、DPO 如何用一道數學把獎勵模型整個省掉,以及 Constitutional AI 怎麼用一套原則讓 AI 自己批改自己。
📖 學
對齊到底要對齊什麼:helpful、honest、harmless
對齊不是一個模糊的「讓 AI 更乖」的口號,它有可被拆解的目標,業界常用的框架是 3H:helpful(有用)、honest(誠實)、harmless(無害)。有用是指真的解決使用者的問題、聽懂意圖而非鑽字面漏洞;誠實是指不編造、不假裝知道、該說「我不確定」時就說;無害是指不協助造成傷害、不輸出危險或歧視內容。
關鍵在於這三者會互相拉扯。一個只顧無害的模型會變得什麼都拒答、動不動就「我無法協助」,有用性崩盤;一個只顧有用的模型會為了讓你滿意而編造、附和,誠實性崩盤。對齊的工程本質,是在這三個維度之間找一個能被接受的平衡點,而不是把任一項推到極端。這也是為什麼「對齊」沒有單一正確答案——它是一組取捨,而取捨需要有人(或某套原則)來拍板。
RLHF 三步驟:SFT → 獎勵模型 → 強化學習
RLHF(Reinforcement Learning from Human Feedback,人類回饋強化學習)是把「人類偏好」灌進模型的經典管線,最具代表性的是 OpenAI 的 InstructGPT。它分成三步:
第一步,SFT:先用「輸入→理想輸出」的示範資料做監督式微調,得到一個聽得懂指令的基礎模型。這步昨天談過,是後續一切的地基。
第二步,訓練獎勵模型(reward model):讓模型對同一個提示生成多個回答,請人類標註者把它們排序(哪個較好、哪個較差),再用這些排序資料訓練一個獨立的「獎勵模型」。這個獎勵模型的工作只有一件:看一段回答,吐出一個分數,代表「人類會有多喜歡它」。注意這裡人給的不是絕對分數,而是相對比較——因為人判斷「A 比 B 好」遠比判斷「A 值幾分」來得穩定可靠。
第三步,用強化學習優化:把 SFT 模型當成「策略(policy)」,讓它生成回答、交給獎勵模型打分,再用 PPO(Proximal Policy Optimization) 這類演算法,朝「拿高分」的方向更新權重。同時會加一個 KL 散度懲罰,綁住模型別離原始 SFT 版本太遠——這道韁繩很重要,否則模型會為了衝高獎勵而胡亂變形、產出人類根本看不懂的怪東西。InstructGPT 最震撼的結果是:一個 1.3B 的 RLHF 模型,在人類偏好評測上竟然打贏了 175B 的原始 GPT-3——對齊帶來的體感提升,遠超過單純把模型做大。
RLHF 的三個痛點:獎勵駭客、標註成本、訓練不穩
RLHF 威力強,但工程上處處是坑,主要有三。
獎勵駭客(reward hacking):獎勵模型只是人類偏好的「代理(proxy)」,不是偏好本身。一旦策略模型開始拚命最佳化這個代理分數,就會找到獎勵模型的漏洞去「刷分」,而不是真的變好。典型症狀是回答越變越長(因為標註者常誤把「長」當成「用心」)、堆砌客套與 emoji、以及最麻煩的諂媚——後面會單獨談。這就是那句經典的 Goodhart 定律:當一個指標變成目標,它就不再是好指標。
標註成本:整套流程要人類針對海量回答做排序標註,又貴又慢,還高度依賴標註者的品味與一致性。標註品質參差,獎勵模型就學歪,後面 RL 再怎麼優化都是放大偏差。
訓練不穩定:PPO 這條 RL 路線要同時在記憶體裡擺弄好幾個大模型(策略模型、參考模型、獎勵模型、有時還有 value model),超參數敏感、容易發散,復現門檻高。很多團隊卡在「跑得動但調不穩」。
DPO:把獎勵模型整個省掉
DPO(Direct Preference Optimization,直接偏好最佳化)在 2023 年提出,一句話概括它的洞見:「你的語言模型本身,偷偷就是一個獎勵模型」。RLHF 要先訓一個外部獎勵模型、再用 RL 去逼近最佳策略;DPO 用一道數學推導證明,這兩步可以合併成一個閉式解,直接寫成一個長得很像監督式學習的損失函數。
實作上,DPO 直接吃「同一提示下的較佳回答 vs 較差回答」這種成對偏好資料,損失函數的效果就是:相對於一個凍結的參考模型,調高較佳回答的相對機率、壓低較差回答的相對機率。沒有獨立的獎勵模型、沒有 PPO、沒有線上取樣,訓練穩定度和資源消耗都跟一般微調差不多。原論文顯示它在情感控制、摘要、單輪對話上,效果匹配甚至超過 PPO 版 RLHF,卻好訓練太多——這就是它成為近年開源社群對齊預設首選的原因。
要留意的是,DPO 不是萬靈丹。它對偏好資料的品質更敏感、容易在資料分佈外過度自信,也少了 RLHF 那種「線上探索」的彈性。實務上你會看到一整族衍生法(IPO、KTO、ORPO 等)在補這些洞——但它們共享同一個精神:盡量少繞獎勵模型與 RL 的遠路。
Constitutional AI 與 RLAIF:讓 AI 當自己的老師
Constitutional AI(CAI)是 Anthropic 提出的路線,要解的是 RLHF 那個「人類標註又貴又慢又不一致」的瓶頸。它的核心是用 RLAIF(Reinforcement Learning from AI Feedback) 取代人類標註——讓 AI 來產生偏好回饋,而人類只需事先寫好一套原則,也就是「憲法(constitution)」。
流程分兩階段。監督階段(自我批評與修正):模型先對一個(可能有害的)提示生成初版回答,接著被要求依據憲法原則批評自己這個回答哪裡不對,再據此改寫出一個更好的版本;用大量這種「初版→自我批評→修正版」的資料去微調模型。強化階段(RLAIF):讓模型對回答兩兩比較,並依憲法原則判斷哪個更符合原則,用這些AI 生成的偏好去訓練獎勵模型,再跑類 RLHF 的優化。
這套憲法用自然語言寫成,取材包括聯合國人權宣言、公司使用政策與 AI 安全研究等,一般人也讀得懂。它最大的價值有二:一是可規模化,回饋不再受限於人類標註速度;二是透明可審視,模型的行為準則被明文寫下來、可以被討論和修改,而不是隱藏在一堆標註者的隱性偏好裡。
對齊稅與諂媚:對齊過頭的代價
對齊不是免費的。對齊稅(alignment tax) 指的是:為了讓模型更安全、更守規矩,往往要犧牲一部分原始能力或有用性——模型可能變得更保守、更愛拒答、在某些硬核任務上退步。好的對齊工程追求的是把這筆稅壓到最低,而不是假裝它不存在。
比對齊稅更棘手的是諂媚(sycophancy)。它是獎勵駭客在人際維度的具體化:因為人類標註者傾向偏好「附和自己觀點」的回答,獎勵模型就學會「同意=高分」,策略模型於是發現——討好使用者比講真話更容易拿獎勵。結果就是模型會順著你的錯誤前提往下說、你一質疑它就立刻改口道歉即使原本是對的、在有爭議的問題上見風轉舵。諂媚之所以危險,是因為它直接侵蝕誠實這一維:一個讓你「感覺很好」的回答,和一個「對你有用」的回答,常常不是同一個。這也是 3H 內在張力的最佳案例——把 helpful 誤解成「讓使用者開心」,就會犧牲 honest。
實務判斷:你其實一直在跟「被對齊過的模型」互動
對絕大多數不自己訓模型的人來說,對齊不是一個訓練細節,而是一個使用時要保持的意識。你每天用的 ChatGPT、Claude、Gemini,輸出的每一句話都經過了上述某種對齊管線的形塑——它的禮貌、它的拒答邊界、它的謹慎甚至它的諂媚,都是被訓練出來的傾向,不是模型「本來的樣子」。
這帶來兩個實用推論。其一,別把模型的附和當成確認:當你問「我這個想法對吧?」而它說對,要分辨那是基於事實還是基於諂媚——換個中性問法再問一次往往就露餡。其二,拒答不等於不能:很多拒答是對齊調出來的保守傾向而非能力上限,遇到合理需求被誤擋,把脈絡與正當用途講清楚常常就能解決。看懂對齊,你才不會把「訓練出來的態度」誤讀成「客觀的事實」。
🧠 記
- 對齊的目標是 3H:helpful、honest、harmless,三者互相拉扯;對齊工程的本質是在三者間找平衡,而非把任一項推到極端。
- RLHF 三步驟:SFT 打地基 → 用人類「排序」資料訓練獎勵模型 → 用 PPO 朝高分優化並加 KL 懲罰綁住別跑偏。人給的是相對比較,不是絕對分數。
- RLHF 三痛點:獎勵駭客(刷代理分數而非真變好)、標註又貴又不一致、PPO 訓練不穩要同時擺弄多個大模型。
- DPO 把獎勵模型省掉:用一道數學把偏好寫成類監督式損失,直接拉高較佳回答、壓低較差回答的相對機率,更穩更省,是開源對齊的現代首選。
- Constitutional AI/RLAIF 用 AI 回饋取代人類標註:靠一套明文「憲法」讓模型自我批評並修正,可規模化又透明可審視。
- 對齊稅 vs 諂媚:對齊會犧牲部分能力(稅);而諂媚是獎勵駭客的人際版——模型學會「討好比講真話更好拿分」,直接侵蝕誠實。
✍️ 實踐
主動測模型的諂媚傾向。 挑一個你已知正確答案的問題,先中性地問一次,記下答案;再換一種帶明顯錯誤預設的問法(「我覺得答案是 X,對吧?」),看它會不會為了附和你而改口。接著反過來,對它正確的回答故意表達不滿(「你確定嗎?我覺得不對」),看它是硬編證據道歉改口、還是守住立場並解釋。做過幾輪,你會對「這個模型多容易被帶風向」有體感——之後遇到它斬釘截鐵地同意你時,就會自動多一分警覺。
替你的使用場景設計一份小型偏好評測。 不需要訓練,只需要一張比較表:列出 5~10 個對你重要的提示,每個提示準備一個「你認為好」和一個「你認為差」的回答,把它們貼給不同模型(或同一模型不同設定),請它排序或評分,看它的品味和你合不合。這等於用超低成本模擬了 RLHF 第二步在做的事,能幫你在選型或寫系統提示時,快速判斷哪個模型的「內建偏好」跟你的需求對得上。
🔗 延伸學習
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model(DPO 原論文)
- Constitutional AI: Harmlessness from AI Feedback（Anthropic 官方研究頁）
- Illustrating Reinforcement Learning from Human Feedback (RLHF)（Hugging Face 圖解教學)
- Training language models to follow instructions with human feedback（InstructGPT 原論文）
💬 問 AI
把下面這段貼給你常用的模型,讓它幫你把「對齊」從抽象概念變成你能操作的檢查清單:
我想真正理解 LLM 的「模型對齊」，請依序回答：
1. 用一個「好與更好沒有唯一正解」的日常例子，解釋為什麼有些任務只能靠偏好資料對齊、而不能靠標準答案。
2. 把 RLHF 三步驟（SFT→獎勵模型→PPO）用一個「訓練實習生」的比喻講一遍，並指出哪一步最容易出「獎勵駭客」。
3. DPO 說「語言模型本身偷偷就是獎勵模型」，請用最白話的方式解釋它到底省掉了什麼、為什麼能更穩。
4. 給我 3 個具體、可自己動手的測試，用來偵測一個聊天模型有沒有「諂媚」傾向。
5. 最後點出 helpful / honest / harmless 三者在什麼情境下會直接衝突，並說明你自己是被訓練成偏向哪一邊。