我的知識庫

AI · 2026-11-14

閱讀時間約 11 分鐘

Princeton、英國 AI 安全研究所等單位的研究者在 8 月發表「Can AI agents conduct open-ended AI research?」(arXiv 2607.27191),讓代理花六天、最多 3,000 美元的 API 額度,去做兩篇尚未公開的 NeurIPS 2026 投稿論文的核心研究問題,再由原作者當審稿人打分。結果兩篇都被拒:Personas 得 2/6(Reject),TabPFN 得 1/6(Strong Reject)。這篇值得讀的不是「代理還不行」這個結論,而是它的評測方法與五種失敗模式。

讀到的程度:我透過 alphaxiv 的 Markdown 版讀到論文全文的前約 10 萬字元(全文約 11.9 萬字元,附錄 B.1 之後未讀到)。下面的數字都來自這段內容;「花費占預算比例」與「參考文獻比例」是我自己算的,會特別標明。這篇是 8 月的預印本,不是本週新聞,選它是因為方法可直接拿來設計自己的代理評測。

📖 學

一、影子評估:用還沒公開的論文當考卷

作者稱這個方法為 shadow evaluation(影子評估)。代理只拿到某篇未公開高品質論文的核心研究問題,看不到該論文的發現,產出之後由原論文作者按會議投稿的標準評分。作者的論點是,可驗證的基準題有被訓練資料污染與題型太窄的問題,匿名同行審查則成本高、訊號慢,影子評估介於兩者之間。兩個案例是 Personas(LLM 人格特質空間與權重空間介入)與 TabPFN(部署時的分布偏移偵測器)。

二、實驗設定

代理是 Claude Opus 4.8(extra-high 推理),跑在 OpenClaw 框架上,有 AWS 上的 Linux 虛擬機、網路存取、子代理與 GPU 工作。預算為 120 小時加上兩次都給了的 24 小時延長、3,000 美元 API 額度,GPU 額度 Personas 為 500 美元(實際用 392)、TabPFN 為 100 美元(實際用 69)。人為介入只有三次:修一個框架 bug、延長期限、要求把文章改寫得更好讀。論文自己強調,出題與評分的人是原作者,不是盲審。

三、結果:工程能做完,研究沒進展

作者的結論是代理能在沒有人幫忙的情況下完成工程面,但沒有在研究問題上取得實質進展。分項分數(滿分 4)Personas 對 TabPFN:品質 2 對 1、清晰度 1 對 2、重要性 2 對 2、原創性 3 對 2。兩篇都超過 9 頁上限,參考文獻只有 16 與 36 筆,原論文是 52 與 69 筆(我算約 31% 與 52%)。論文也做了一個預測調查:12 位共同作者預測「弱接受以上」的機率中位數是 30%,「有小發現」這個較低門檻是 60%。沒有發現明顯的獎勵駭客行為,代理反而傾向撤回野心大的主張、改報負面結果;子代理出現過 5 次幻覺,都在進入最終稿前被主代理攔下。

四、五種失敗模式

第一是對發表門檻的判斷差:用小型或合成資料集就否證假設,文獻回顧很淺,把檢定力不足的負面結果當成發現。第二是缺少創造性的問題解決:遇到負面結果時,代理加註限制或縮小假設,而不是重新設計實驗,作者認為最初的假設其實合理。第三是回溯無效:只做局部修改,即使 AI 審稿連續給負評,也沒有在專案層級重來。第四是資源與脈絡意識差:兩次都沒用完預算,一個代理提早約 7 小時宣告完成。第五是指令漂移:忽略探索時間規則、審查頻率規則與論文頁數限制。

五、預算用不完這件事

Personas 用掉 1,130 美元、TabPFN 用掉 1,235 美元,我算約是 3,000 美元額度的 38% 與 41%,與論文所說 TabPFN 結束時剩 59% 相符。這個數字的意義是,在這個設定下瓶頸不是算力或預算,而是代理不知道還能做什麼更好的事。拿更多錢給代理,在這份證據裡看不出會改善結果。

六、AI 自我審稿的盲點

代理內部的審稿者從未給出接受;另一個 Stanford 的審稿工具比較寬鬆,曾建議接受,而代理過度採信它。人類專家的主要批評(資料是挑選過的、正面貢獻薄弱)常被淹沒在一堆次要意見裡,沒有被當成需要重做的訊號。這點可以直接轉成設計原則:多個審稿來源互相矛盾時,要有規則決定採信哪個,而不是讓代理自己挑。

七、穩健性檢查與作者列的限制

作者用 Codex 加 GPT-5.6 Sol(ultra 推理)重跑 TabPFN,重現了大部分失敗模式,約兩天就用完 3,000 美元,剩下約 100 小時沒用到,但它找到了一個真實世界的偏移資料集,是 OpenClaw 那幾次沒做到的。限制方面,作者自己列出:總共只有 5 次執行、2 篇論文,樣本極小;審稿人知道內容由 AI 產生且非盲審;代理被告知會用 NeurIPS 標準評分,可能有評估意識;框架有 bug,且 Anthropic 當時最強的模型沒能用上;共同作者之間對失敗歸因於創造力、判斷力還是認知鎖定並無共識。所以這是「早期證據」,不能外推成代理在研究上的一般能力。

🧠 記

  • 影子評估:拿未公開論文的研究問題給代理,由原作者按投稿標準評分,避開資料污染。
  • 結果:Personas 2/6、TabPFN 1/6,兩篇都被拒;工程完成、研究無實質進展。
  • 五種失敗:發表門檻判斷差、缺創造性、回溯無效、資源意識差、指令漂移。
  • 兩次都沒花完預算(約 38% 與 41%,自算):瓶頸不在錢。
  • 限制:5 次執行、2 篇論文、非盲審、代理知道自己被評。

✍️ 實踐

  • 設計自己的代理評測時,把「任務完成」與「結果有沒有用」分成兩個分數,前者看工程、後者由領域專家打。
  • 給代理的長任務加一條規則:遇到連續負面結果,必須先寫下「要換哪個假設或實驗設計」才能繼續,而不是只加註限制。
  • 多個審查來源時,事先寫好採信順序,並記錄代理最後採信了誰。
  • 簡單的預算使用率檢查示意如下(示意,不是論文的程式):
def budget_report(spent_usd, budget_usd, hours_used, hours_limit):
    return {
        "money_used_pct": round(100 * spent_usd / budget_usd, 1),
        "time_used_pct": round(100 * hours_used / hours_limit, 1),
    }
 
print(budget_report(1235, 3000, 142, 144))

🔗 延伸學習

💬 問 AI

我要評估「AI 代理能不能做開放式研究」。參考論文:Can AI agents conduct open-ended AI research?(arXiv 2607.27191):影子評估,代理拿未公開論文的研究問題,六天、3,000 美元 API 額度,原作者評分;兩篇都被拒(2/6 與 1/6);五種失敗模式:發表門檻判斷差、缺創造性、回溯無效、資源意識差、指令漂移;預算只用掉約四成。請你:
1. 幫我設計一個適合我們團隊的小型影子評估(任務來源、評分者、評分表)。
2. 針對五種失敗模式,各提出一個可以放進代理框架的具體防護機制。
3. 說明這篇論文樣本很小(5 次執行、2 篇論文)時,哪些結論可以信、哪些不能外推。
4. 分開標示「論文有寫的」與「你的推論」,不要編造數字。

反向連結