SemiAnalysis 在 11 月 2 日發表 GDPx,一套由合作新創出題、讓前沿模型在接近真實的環境裡做專家級任務的基準,最高分的模型整體只拿到 12%。這個數字本身不如它的設計值得學:評分用 pass@1(三次嘗試)、各領域等權、財務與法務的二元評分幾乎全員零分所以改報部分分數,而且合作夥伴必須一次通過品管才能保留任務。
讀到的程度:我讀到 SemiAnalysis 原文的前 10 萬字元(全文約 12.1 萬字元,後段含量化交易、對齊、軟體工程等章節未讀到),原文各模型的整體分數只在圖表裡,轉述工具看不到。「12%」與領先者為 Claude Opus 5.5 來自原文標題與二手報導;「206 個任務、14 家夥伴」只在二手報導出現,我沒在原文讀到,下面不當成已證實的事實使用。
📖 學
一、任務長什麼樣:環境而非題目
原文描述的任務是放進真實環境裡跑的,例如約 4,000 個檔案的財務交易資料室(deal room)、多服務的即時資安環境,以及 CAD、PCB、CAM 工具鏈。涵蓋 11 個領域:晶片設計、資安、生物、財務、法務、量化交易、遞迴自我改進(RSI)、硬體設計、材料科學、對齊與軟體工程。每個領域由合作夥伴出題,晶片設計有三家、材料科學有兩家,其餘各一家。沙箱由 Modal 提供,開源模型推論由 Fireworks 提供。
二、評分:pass@1、等權、與「零分就改報部分分」
標題分數是三次嘗試的 pass@1,領域之間等權,領域內的合作夥伴之間也等權。預設時限 8 小時,部分任務更短。模型盡量在原生的工具框架中跑(例如 Claude Code、Codex、Antigravity),沒有的就用 OpenCode。財務與法務原本設計為二元評分,但二元分數對所有模型實際上都是零,所以排行榜改報平均部分分數。這是一個值得記下的做法:基準太難時,與其讓所有人都是零,不如保留可區分模型的連續分數,但要清楚標示這已經不是原本的評分規則。
三、原文給得出來的具體數字
財務的一項 QoE(盈餘品質)任務跑了 25 次,GPT 6.1 Sol 平均通過 11 項檢查中的 5.6 項,Opus 5.5 與 GPT-6 Astra 平均 5.4 項,GLM 5.3 與 Grok 4.7 平均不到 2 項,單次最佳是 8 項。法務共 20 次試跑、四個模型:二元分數全為 0%,部分分數 Opus 5.5 為 44%、GPT-6 Astra 為 25%、Gemini 4 Argon 為 2%、GLM-5.3 為 0.5%,單次最高 57%(Opus 5.5)。晶片設計的 Ergodex vt01 任務,GPT-6 Astra 平均 0.34、Claude Opus 0.135、Fable 0.07。RSI 領域跑了 20 次,四個模型都表現很吃力;硬體設計 12 次試跑,沒有一次經驗證的完整通過。這些都是單一任務或單一領域的數字,不能拿來推算整體排名。
四、品管才是這篇的重點
原文的品管流程是自動化的代理檢查(一致性、完整性、作弊、不公平的驗證器),再加上作者人工檢視數百條軌跡。關鍵規則是合作夥伴必須「第一次送審就通過」,最多只有小錯;沒通過的夥伴被剔除,同領域有獨家供應者時以任務品質決勝。作者的理由是品管可以靠反覆迭代被玩弄,所以只給一次機會。一份二手報導還提到,同樣的品管流程會把 Terminal Bench 4.0 近一半的任務標為有問題,我沒在已讀到的原文段落看到這句,只當作未證實的說法。
五、讀分數時的限制
作者自己列的限制可以直接拿來當讀任何基準的檢查表:資安、生物、對齊領域的部分模型被安全分類器壓低了分數,所以原文另外給出排除這些領域的版本;好幾個領域只有每模型每任務三次嘗試,雜訊大;任務由合作夥伴撰寫,反映的是各家的專長與選題;品管只能擋它有設計到的問題。再加上財務、法務在二元評分下接近零,排名由部分分數決定,所以「12%」比較像是「現在這批最難的真實任務,代理整體能完成多少」的指標,不是通用能力的比例。
六、可帶走的做法
要建自己的內部評測,可以照這幾點做:任務放進完整環境而不是只給一段提示;每題多次嘗試並報 pass@1 加變異;評分規則若中途改成部分分數就要註明;對出題人設一次性品管門檻;並且把「模型被安全分類器擋下」與「模型做不出來」分開記錄。前三點是原文做法,最後一點是原文提到的混淆來源,我把它轉成記錄習慣。
🧠 記
- GDPx:SemiAnalysis 11/2 發表,11 個領域、合作夥伴出題,整體最佳 12%(原文標題與二手報導)。
- 評分:pass@1(三次)、領域等權、預設 8 小時;財務、法務二元皆零,改報部分分數。
- 法務部分分數:Opus 5.5 44%、GPT-6 Astra 25%、Gemini 4 Argon 2%、GLM-5.3 0.5%。
- 品管:夥伴須第一次就通過,防止靠反覆迭代玩弄。
- 限制:每格只有約三次嘗試、安全分類器壓低部分分數、任務由合作夥伴選;整體排名圖表我沒讀到。
✍️ 實踐
- 把自己團隊常用的一份內部評測拆成「環境、任務、驗證器」三塊,各寫下一個可能被模型鑽漏洞的地方。
- 對一個任務連跑三次以上,記錄通過次數而不只是一次的結果,並算出波動。
- 區分失敗原因欄位:做不出來、被拒答或被安全機制擋、驗證器誤判,三種分開記。
- 簡單的通過率加變異示意如下(示意,不是 GDPx 的實作):
from statistics import mean, pstdev
def summarize(runs_per_task):
"""runs_per_task: {task_id: [0/1, 0/1, 0/1]}"""
per_task = {t: mean(r) for t, r in runs_per_task.items()}
return mean(per_task.values()), pstdev(per_task.values())🔗 延伸學習
- GDPx: measuring frontier model capabilities(SemiAnalysis):主要來源,讀到前 10 萬字元,圖表未讀。
- SemiAnalysis Launches GDPx; Best Frontier Model Hits 12%(AI Weekly):二手摘要,只讀到搜尋結果摘要,未開啟全文。
- Opus 5.5 Leads SemiAnalysis’s GDPx Agent Benchmark at 12%(FourWeekMBA):二手報導,只讀到搜尋結果摘要。
💬 問 AI
我要為團隊設計一套「代理在真實環境下完成專家任務」的內部評測。參考資料:SemiAnalysis 的 GDPx(newsletter.semianalysis.com/p/gdpx-measuring-frontier-model-capabilities):11 個領域、合作夥伴出題、pass@1(三次嘗試)、領域等權、預設 8 小時、財務與法務二元評分近乎全零所以改報部分分數、合作夥伴須第一次就通過品管。請你:
1. 幫我設計任務、環境與驗證器,並指出每個驗證器可能被鑽的漏洞。
2. 建議每題要跑幾次、如何報告變異,以及何時可以改用部分分數。
3. 設計品管流程,把「做不出來」「被安全機制擋」「驗證器誤判」三種失敗分開記錄。
4. 分開標示「GDPx 原文有說的」與「你的推論」,不要編造分數。