METR 在 11 月 5 日公開了對 Anthropic 內部「AI 是否正在加速 AI 研發」的評估:在「定義明確的任務」上,Anthropic 目前提升模型能力的速度約為 2024 年 3 月到 2025 年 10 月的兩倍,METR 說 1.3 倍或 3 倍都不會讓它意外。這份報告值得讀,原因不只在 2 倍這個數字,而在於它同時把「證據大半被刪除」寫進結論,示範了一份第三方評估該如何交代自己的可信度。
讀到的程度:我透過網頁摘要工具讀到 METR 原文頁(metr.org),不是逐字全文,也沒有讀 Anthropic 那一側的回應;另外用一份 11 月 6 日的 AI 彙整電子報確認這則的存在。所有數字都出自 METR 的這一份報告,沒有獨立複測;搜尋時也看到別處轉述的 1.5 倍等數字,與原文不同,我以原文為準,轉述版不採用。
📖 學
一、量的是什麼:AECI 斜率的比值
報告的量化核心是 AECI,也就是 Anthropic 版本的 Epoch Capabilities Index,把多個基準測試分數合成一條能力指數。METR 用普通最小平方法做分段線性擬合,在 2025 年 10 月 7 日設一個外生的斷點,「加速倍數」就是斷點後斜率除以斷點前斜率。信賴區間來自對基準分數做自助抽樣(bootstrap)。
依報告,斷點後的速度約為先前的 1.9 倍,95% 信賴區間 1.5 到 2.8 倍;趨勢從每年約 +15 個 AECI 點變成約 +29 點。換算:29 除以 15 約 1.93(自算,與報告的 1.9 一致)。換不同的分析選擇,估計落在 1.1 到 2.9 倍之間。這裡有個容易誤讀的點:區間反映的是「基準分數的抽樣不確定性」,不包含「指標本身是否代表真實進展」的不確定性,後者 METR 另外用文字交代。
二、三個速率與「有多少歸功於 AI」
METR 把問題拆成三個成長率:歷史速率、目前速率,以及「假如沒有 AI 協助」的反事實速率。反事實只能估計,不能觀察。它有信心的一點是:加速並非來自訓練算力成長變快。至於歸因,它的主觀估計是 2026 年 10 月的加速「大概約 80%」來自 AI,並指出 2025 年底那一段加速「可能受非 AI 因素影響」。報告同時說,它與 Anthropic 員工在這部分沒有達成共識,細部歸因數字被刪除。
三、其他證據,以及它們有多弱
除了基準趨勢,報告列了四類證據,而且對每一類都自帶降級標籤:
| 證據 | 內容 | METR 的評語 |
|---|---|---|
| Slack 自評提升 | 從 Claude 3.7 Sonnet 約 1.2 倍到內部 Model 4 約 12 倍 | 「只是很鬆散的證據」 |
| 約 15 位員工訪談 | 由 Claude 分類是否支持超過 2 倍:明確是 2、偏是 3、模糊 4、偏否 0、否 2 | 「略偏支持」2 倍以上 |
| 瓶頸分析 | 未來 12 個月沒看到顯著瓶頸 | 理解中途改變過數次 |
| 自主貢獻的跡象 | 訓練某些環節出現完全自主貢獻的苗頭 | 還不能做高度重大的完全自主貢獻 |
訪談那一列的加總是 2+3+4+0+2=11(自算),但報告說約 15 人,差額原因我沒讀到,可能是有些人未納入分類,這點我無法確認。另一個值得注意的方法學事實:METR 自己說 Claude 參與了大部分資料蒐集與分析,它認為這個風險「不顯著」,因為與人工訪談比對沒有發現顯著差異,但也承認更高的存取權限會讓結論更穩。
四、報告最誠實的部分:限制與刪除
METR 寫得很直接:Anthropic 擁有單方面的刪除權,而且「刪掉了我們認為對這些結論最有資訊價值的證據的大半」。被刪的包含關鍵中間量測、演算法進步估計、細部歸因、瓶頸細節與對未來模型的預測。Anthropic 的說法是目的在移除可能加速其他開發者的機密資訊。一項原定要驗證「算力在能力與安全之間如何分配」的查核在中途被取消。
在 METR 自己的 AEF-1 檢查表上,「透明的方法與結果」底下兩項,4.1(方法細節足以讓獨立者審查)與 4.6(刪除權沒有被用來隱藏令人擔憂的發現)它都標為「否」。它也寫:公眾「必須比理想情況更依賴 METR 的判斷」。這是整份報告對讀者最有用的一句話,因為它等於告訴你,這份評估的可信度有一部分建立在對評估者的信任,而不是可檢驗的證據。
方向相反的偏誤都列了。可能低估:成長可能是超指數、自動化可能比估計的近、AECI 可能低估真實世界影響。可能高估:非 AI 因素可能解釋大部分增幅、進步可能只限於乾淨可自動評分的任務、Anthropic 的歷史成長率可能偏低;若改用所有前沿開發者的模型,加速降到約 1.4 倍。還有基準飽和:Model 4 在所用 15 個基準上都超過 50%,量測因此變得較不可靠。
五、利益衝突的揭露
METR 沒收費,Anthropic 提供筆電與免費 token;一位成員曾討論過 Anthropic 的職位、拒絕了 offer 並持有競爭對手股權(前員工身分),其工作由無衝突成員覆核;一位即將加入的人員持有 Anthropic 股權。METR 還說 Anthropic 對草稿的回饋「過於強烈」,但它認為沒有顯著扭曲最終結論。讀這類第三方評估時,這一節是檢查獨立性的起點,而不是附註。
六、這份報告能和不能支持什麼
能支持的:在一組由 Anthropic 提供、可自動評分的基準上,2025 年 10 月之後的進步斜率明顯變陡,且作者主觀認為多數與 AI 協助有關。不能支持的:「AI 研發整體加速兩倍」(報告限定在定義明確任務)、「已進入遞迴自我改進」(報告明說尚無高度重大的完全自主貢獻)、「這個數字經獨立驗證」(關鍵證據被刪、METR 也沒有取得非公開模型的取樣權限)。
🧠 記
- 結論:Anthropic 在定義明確任務上的能力成長約為先前 2 倍(1.9 倍,95% 信賴區間 1.5 到 2.8 倍;每年 +15 變 +29 AECI 點);METR 說 1.3 到 3 倍不意外。
- 方法:一個外生斷點(2025 年 10 月 7 日)的分段線性擬合,加速倍數是兩段斜率比。
- 歸因:非算力成長加速;主觀約 80% 歸因 AI;與 Anthropic 員工未達共識。
- 限制:多數最具資訊量的證據被刪、Model 4 讓 15 個基準都超過 50%、自評與訪談只算鬆散證據、改用全產業模型降到約 1.4 倍。
- 這是單一來源的第三方評估,我只讀到原文頁的摘要工具輸出。
✍️ 實踐
- 打開原文,只讀「Redactions」「Caveats」「Conflicts of interest」三節,用自己的話寫一段:如果這三節消失,結論的可信度會降多少。
- 練習自算:用報告給的 +15 與 +29 算比值,再想想為什麼報告的 1.9 倍與 1.5 到 2.8 倍區間不能直接當作「AI 研發加速倍數」。
- 把這套檢查表套到你下次讀到的任何「第三方評估」:評估者能否取得原始資料、對方有沒有刪除權、利益衝突有沒有揭露、結論有沒有限定範圍。
- 找一個你常用的基準,看它的最高分是否已超過 50%,想想飽和後它還能不能拿來量進步速度。
🔗 延伸學習
- METR:Assessment of AI R&D acceleration at Anthropic:主要來源,以網頁摘要工具讀取,非逐字全文。
- Sam on AI:AI Brief, November 6, 2026:當日彙整,用來確認這則的存在與時間。
💬 問 AI
我讀到 METR 2026-11-05 發表的〈Anthropic AI R&D 加速評估〉:定義明確任務上約 2 倍(1.9 倍,95% 信賴區間 1.5–2.8)、關鍵證據被 Anthropic 刪除大半。請你:
1. 分開列出「報告原文明確說的」「你能查證到的」「你自己的推論」,不要混在一起。
2. 解釋分段線性擬合加外生斷點估計「加速倍數」的假設與脆弱點(例如斷點選擇、基準飽和)。
3. 依報告的限制,說明這個數字最多能支持什麼、不能支持什麼。
4. 若你不確定某個細節,直接說不確定,不要編造數字或引文。