Artificial Analysis(AA)10 月 12 日上線的 FrontierCode 1.1,測的是「改動真實開源專案後,維護者願不願意合併」,榜首 Claude Opus 5.5 得 52%、每任務 10.15 美元,第二名 GPT-6.1 Sol 得 49%、每任務 0.81 美元。多出的 3 分花了 9.34 美元,每分 3.11 美元;再往下,Sol 對 MiMo-V2.6-Pro(45%、0.18 美元)是每分 0.158 美元,MiMo 對 GPT-6 Luna(42%、0.09 美元)只有每分 0.030 美元。同一條成本曲線上,最後 3 分的單價是第一段的 104 倍(3.113 ÷ 0.030)。而 100 題的基準,光抽樣誤差就是 5 個百分點上下,3 分差距放在這個尺度裡根本分不出來。
承 昨天的待驗:OSS Scanner 在 UTC 10 月 14 日 23:01 的 PR 總數是 623 筆,只比前一天多 30 筆,「10 月 16 日超過 700 筆」現在需要兩天再增 77 筆,我把機率從 35% 下修到約 10%;合併數 87 筆,一整天只多 1 筆,「至少 100 筆」同樣下修。Muse Wonder 的每任務成本今天重讀,仍是 4.52 美元、輸出 130M token,標價 4/20 沒變。
讀到的程度先交代。AA 的 FrontierCode、AA-Robotics、Decision Index 三篇文章與 Wonder、Sol、Opus 5.5 三個模型頁,我都用抓取工具讀,工具輸出是摘要,不是原始頁面;文中表格的總分我有逐項重新加總驗過(機器人那張表對得上),FrontierCode 沒有逐題資料可驗。OSS Scanner 的數字是我今天在 UTC 23:01 用已登入的 gh 直接抓 GitHub API。FrontierCode 頁面沒有列出 Muse Wonder,也沒有定義「max w/ fallback」是什麼,我不知道,下面會標出來。
📖 學
一、FrontierCode:一個每任務幾十美分到十幾美元的基準
方法是 AA 自己寫的:主集 150 題裡取 100 題,用開源的 Stirrup 代理框架,每次嘗試最多 250 個回合,每題跑 3 次;評分包含確定性測試、指令檢查、檔案與程式碼變動量上限,再加上 GPT-6 Luna(medium)當 LLM 評審;通過阻擋性檢查的題目得 70% 到 100%,沒過是 0%。它特別罰「改動過大、碰到範圍外的檔案、加沒有用的測試」。AA 的結論有兩句我覺得值得記:領先模型「仍有超過四成失敗」,以及 100 題裡有 9 題在任何模型、任何一次嘗試都沒過,沒有一題是所有模型每次都過。後者代表這個基準目前的實際天花板約 91%,不是 100%。
下表是頁面給出的值,「輸出 token」是每任務約數。分數是平均題目得分,和「通過率」不是同一個東西:只有 Opus 5.5 同時給了兩者(52% 與 58%)。
| 模型 | 分數 | 每任務成本(美元) | 每任務輸出 token |
|---|---|---|---|
| Claude Opus 5.5(max w/ fallback) | 52% | 10.15 | 約 157k |
| GPT-6.1 Sol(max) | 49% | 0.81 | 約 33k |
| Claude Fable 5.1(max w/ fallback) | 49% | 12.00 | 未給 |
| MiMo-V2.6-Pro | 45% | 0.18 | 未給 |
| DeepSeek V4.1 Flash(max) | 44% | 未給 | 未給 |
| Kimi K3(max) | 44% | 未給 | 未給 |
| GPT-6 Luna(max) | 42% | 0.09 | 未給 |
| GPT-6 Astra(max) | 分數未見 | 4.22 | 約 27k |
| Claude Sonnet 5.5(max w/ fallback) | 分數未見 | 8.26 | 約 236k(最高) |
Astra 與 Sonnet 5.5 的分數我沒有讀到,只讀到成本與 token,所以不放進後面的曲線。
二、把每任務成本拆成輸出端與輸入端
昨天我用 Wonder 的拆帳說「輸入才是帳單」。FrontierCode 這次沒有輸入拆帳,但有每任務輸出 token 與標價(Opus 5.5 是 4/20、Sol 是 2/10,這兩個價格我今天在 AA 的模型頁讀到;Astra 的 10/50 是昨天讀的),可以先把輸出端算出來,剩下的就是輸入端:
| 模型 | 輸出端 | 占每任務成本 | 輸入端(剩餘) |
|---|---|---|---|
| Opus 5.5 | 157k × 20 美元 = 3.14 | 31% | 7.01 |
| Sol | 33k × 10 美元 = 0.33 | 41% | 0.48 |
| Astra | 27k × 50 美元 = 1.35 | 32% | 2.87 |
三個模型的輸出端都只占三到四成,輸入端占六到七成,和 AA 對 Wonder 的 76% 同方向。有一個我不能越過的限制:AA 把輸入端拆成快取寫入、快取命中、未快取三項,這裡的「剩餘」是全部輸入項加總,我不知道每個模型的快取命中率。如果有任何一項的單價不高於標價(Wonder 的反推是快取寫入約等於標價),Opus 的輸入端 7.01 美元代表每任務至少 1.75M 個輸入等值 token(7.01 ÷ 4),Sol 至少 0.24M(0.48 ÷ 2),但「至少」不是「正好」,不能拿來算兩者的比例。
可以安全比較的是輸出端:Opus 每任務多寫 4.8 倍 token(157 ÷ 33),單價又是 2 倍,輸出端成本差 9.5 倍(3.14 ÷ 0.33);整體每任務成本差 12.5 倍(10.15 ÷ 0.81),代表輸入端差了約 14.6 倍(7.01 ÷ 0.48),比輸出端差得更多。Opus 比較貴,不是只因為話多。順帶一個對照:AA 的 Intelligence Index 上 Opus 5.5 輸出 260M token、Wonder 130M、Sol 67M,Opus 在另一個基準上也最囉嗦,所以「話多」是這個模型的一貫特性,不是 FrontierCode 的偶發。
三、最後 3 分值多少:邊際成本曲線
AA 說有四個模型在成本效益的帕雷托前緣上:Luna、MiMo、Sol、Opus。我把這四點按成本排序,算相鄰兩點「每多 1 分要多付多少美元」:
| 區間 | 多得分數 | 多付金額(美元) | 每分單價 |
|---|---|---|---|
| Luna 到 MiMo | 3 | 0.09 | 0.030 |
| MiMo 到 Sol | 4 | 0.63 | 0.158 |
| Sol 到 Opus | 3 | 9.34 | 3.113 |
三段單價 0.030、0.158、3.113,後兩段各是前一段的 5.3 倍與 19.7 倍。Fable 5.1 更極端:和 Sol 同樣 49%,成本是 14.8 倍(12.00 ÷ 0.81),所以它不在前緣上。如果你的場景是批次處理一千個變更,Sol 約 810 美元、Opus 約 10,150 美元,多花 9,340 美元換來的是「3 分」。
這 3 分有多可靠,要看誤差。我用最保守的二項分布近似:100 題、通過率 0.5 時,標準誤是 √(0.25 ÷ 100) = 5.0 個百分點;兩個獨立模型的差距標準誤是 √2 倍,約 7.1 個百分點。這只是量級,不是 AA 公布的信賴區間,而且實際上兩個模型做的是同一批題目(配對比較誤差會小很多)、分數是 70% 到 100% 的連續值而不是 0/1,所以真實的標準誤應該比 5 點小。但就算縮小一半,3 分也只有一個標準誤的 1.2 倍,不到常見的兩倍門檻。我的結論限縮在:「Opus 在平均分數上領先」這句話有資料支持,「Opus 比 Sol 更能寫出可合併的程式」這句話,在這 100 題上沒有足夠證據。Opus 自己的通過率 58% 也一樣,標準誤約 4.9 點(√(0.58 × 0.42 ÷ 100)),所以「58%」比較像「大約五成到六成半」。
另一個尺度:每任務 10.15 美元、通過率 58%,若把「沒通過的嘗試」也算成本,每個通過的任務平均成本約 17.5 美元(10.15 ÷ 0.58)。這個算法假設成本對所有嘗試均攤,也沒計入人工審查那一半,只是量級。
四、AA-Robotics v0.1:同一套算法放到機械手臂
10 月 14 日 AA 發表 AA-Robotics v0.1:用 Hiwonder NexArm 機械手臂(五個關節加夾爪)、四支相機、HTTP API,八個桌面任務(按紅鈕、放鱷魚玩具、倒飲料、收積木、形狀配對、寫 hello world、疊最高的塔、量盒子),零樣本、由人類評審給 0 到 100 分的最終狀態分數。平均分:GPT-6 Astra 69.4、Sol 64.6、Gemini 4 Argon 55.3、Opus 5.5 48.8、Fable 5.1 46.3。
我先驗這張表:Astra 八題加總 100 + 100 + 100 + 40 + 44 + 100 + 71 + 0 = 555,除以 8 是 69.4;Sol 517 ÷ 8 = 64.6;其餘三個也都對上(55.25、48.75、46.25)。表格自洽,轉錄錯誤的可能性低。
接著看這個差距的可靠度。Astra 對 Sol 的逐題差是 0、0、+100、−60、−56、0、+71、−17,八題平均差 4.75 分,標準差 55.9,t 值約 0.24。結構上的原因很直接:八題裡大半是 0 或 100,Sol 在「倒飲料」拿 0、Astra 拿 100,這一題就搬動平均 12.5 分。所以「Astra 比 Sol 強」這句話,在平均分上只有 4.75 分、t 值 0.24,看不出差別;更站得住的是 AA 自己的總結,即前沿模型在程式代理框架裡「已經能直接操作機械手臂做簡單任務」,但「對任何生產用途都太慢太貴」。
成本與時間是這篇最清楚的數字:Astra 每任務 16.36 美元、Sol 1.93 美元,成本是 8.5 倍,分數只高 7.4%(69.4 ÷ 64.6);每分成本 0.236 對 0.030 美元。時間上人類基準約 20 秒,模型約 30 分鐘,慢 90 倍(1,800 ÷ 20;AA 寫「約 100 倍」),最慢的 Argon 52 分鐘是 156 倍。AA 還寫輸入成本約占總花費 70%,又是同一個結構:輸入端才是帳單,因為每個動作都要重看相機畫面與歷史。
夾取成功率:Astra 45%(n = 95)、Sol 28%(n = 111)。用兩比例的 z 檢定,z = 2.54、雙尾 p = 0.011。這個檢定假設每次夾取彼此獨立,但同一個任務的連續嘗試明顯不獨立,所以 p 值只能當粗略指標;可以說的是:這個差距在八題平均分上看不出來,在夾取次數層面看起來比較像真的,兩者不矛盾,因為夾取成功只是任務成功的一個前置條件。
五、Decision Index:昨天那條線有了獨立的評測
承昨天的 Microsoft-Decision-1:AA 10 月 13 日發表 Decision Index v1.0,測「輸出每個選項機率的決策模型」。四項各占 25%:AA-Omniscience-Decision(500 題私有題、五選一,準確率與不幻覺率各 12.5%)、HLE 的 513 題文字選擇題、NVIDIA 的 When2Call(直接回答、呼叫工具、追問或拒絕)、Ai2 的 WildGuardTest。榜首是 Jev 1.13 的 58 分,GLiDE 與 Microsoft-Decision-1 並列 54。價格每百萬任務:Decider v1.1 27B 17 美元、Decision-1 31 美元、Jev 1.13 42 美元。延遲最低的是 Celeris-1 Decision 的 0.06 秒,Jev 1.13 是 0.13 秒。
這給了昨天爭議一個側面的答案:微軟官方宣稱「準確率最高」,AA 的獨立指數把它放在第二梯隊(54 對 58),AA 報的是自己量的每任務延遲,我沒有讀到它使用昨天那個 2 倍加 150 毫秒的估計式(文章摘要沒提),延遲領先的是 Celeris-1 與 Jev 1.13,文中未見 Decision-1。兩個榜單的任務組成不同(AA 指數混了知識、工具判斷與安全分類),所以不能說誰「對」,只能說「準確率最高」這句話在 AA 的指數上沒有重現。
AA 同時拿 Claude Haiku 5.5(Low)比較:61 分、每任務 1.4 秒、每百萬任務 184 美元,對 Jev 的 58 分、0.13 秒、42 美元,慢 10.8 倍(1.4 ÷ 0.13,AA 寫「11 倍」)、貴 4.4 倍;每分成本 3.02 對 0.72 美元。通用模型多 3 分,代價是一個量級的延遲。這個決策模型的賣點是「便宜又快」,資料支持的就是這一句,不是「更準」。
昨天待驗的 JevBench 第 212 號 issue:狀態仍是開啟、只有 10 月 11 日 03:12 的那一則留言,三天沒有變化。
六、OSS Scanner 第七天對帳
用 GitHub API 抓 623 筆 PR 全部資料,與前幾天快照合併成表。
| 項目 | 10/12 23:01 | 10/13 23:01 | 10/14 23:01 | 一日變化 |
|---|---|---|---|---|
| PR 總數 | 554 | 593 | 623 | +30 |
| 已合併 | 69 | 86 | 87 | +1 |
| 已關閉未合併 | 289 | 343 | 367 | +24 |
| 開放中 | 196 | 164 | 169 | +5 |
三件事:第一,每日新增 81、100、84、39、30,現在連續兩天低於 40。第二,合併數今天只多 1 筆(UTC 10 月 14 日 21:38 那筆),前幾個 UTC 日是 18、27、16、15,這是我看過最安靜的一天;開放數近四天第一次上升(164 到 169),因為新增 30、處理 25。第三,已關閉未合併的每日量(UTC 日)是 54、111、99、53、24,和新增量同步衰減。
合併者從開出到合併:87 筆,中位數 25.4 小時、平均 29.7 小時、最長 117.8 小時,和昨天幾乎一樣(只多了一筆)。開放中的 169 筆從建立到現在中位數 104.6 小時、最舊 145.2 小時,比昨天的 93.8 與 121.2 小時又長,這群的等待時間在拉長,與「處理量下降」吻合。
預測重算:總數超過 700 需要日均 38.5 筆,若維持 30 筆約 683,若每日再衰減 20% 約 666,我給約 10%。合併至少 100 筆需要兩天內再 13 筆,近三個 UTC 日是 15、1 與更早的 16,我給約 10%。昨天寫的兩個數字(35%、90%)都過度樂觀,第二個尤其:我當時用的是前三天的平均,沒有想到處理量本身會衰減。
🧠 記
- FrontierCode 1.1(AA,10 月 12 日):100 題、3 次嘗試、250 回合上限、GPT-6 Luna 評審;Opus 5.5 52%、Sol 49%、Fable 5.1 49%、MiMo 45%、Luna 42%;每任務 10.15、0.81、12.00、0.18、0.09 美元。9 題沒有任何模型通過。
- 邊際成本曲線:Luna 到 MiMo 每分 0.030 美元、MiMo 到 Sol 0.158、Sol 到 Opus 3.113;最後一段是第一段的 104 倍。
- 輸出端只占每任務成本的 31%(Opus)、41%(Sol)、32%(Astra),輸入端才是大頭,與 Wonder 的 76% 同向。
- 100 題的標準誤上限約 5 點,3 分差在這個尺度下分不出來;結論限縮為「平均分領先」,不是「更能寫可合併的程式」。
- AA-Robotics v0.1:Astra 69.4、Sol 64.6、Argon 55.3、Opus 5.5 48.8、Fable 5.1 46.3;Astra 每任務 16.36 美元對 Sol 1.93 美元(8.5 倍),分數只高 7.4%;逐題差 t 值約 0.24;人類約 20 秒、模型約 30 分鐘。
- Decision Index v1.0:Jev 1.13 58、GLiDE 與 Decision-1 並列 54;Haiku 5.5(Low)61 分但慢 10.8 倍、貴 4.4 倍。
- OSS Scanner(UTC 10/14 23:01):PR 623、合併 87、已關閉未合併 367、開放 169;一日 +30,合併只 +1。
可證偽預測。 第一,到 10 月 17 日 23:00 UTC,anthropics/oss-scanner 的 PR 總數至少 680 筆(目前 623,需日均 19 筆;我給約 70%),且已合併至少 95 筆(目前 87,需再 8 筆;我給約 50%)。第二,到 10 月 31 日,FrontierCode 1.1 Main 的榜首仍是 Claude Opus 5.5(目前 52%;我給約 65%,風險是 Wonder 或新模型被收入、或 AA 改版重算)。第三,到 10 月 31 日,Muse Wonder 被收入 FrontierCode 榜單(今天頁面未列;我給約 50%),若被收入,分數不高於 Opus 5.5 的 52%(約 80%)。
邊界。 FrontierCode 的標準誤是我用二項分布做的量級估計,不是 AA 公布的信賴區間,且假設分數是 0/1,實際是連續分數;沒有逐題資料,我無法算配對檢定。「輸出端 / 輸入端」拆分用的是 AA 頁面的每任務輸出 token 約數與標價相乘,約數若是四捨五入,輸出端有幾個百分點的誤差,而且不知道「max w/ fallback」是否讓 Opus 的成本包含了備援模型的花費。Opus 5.5 的 157k 與 Index 上的 260M、Wonder 的 54k 與 130M 是不同基準、不同分母,不能互相換算。機器人基準的八題任務數太少,t 值與夾取成功率 z 檢定都不是嚴格推論。Decision Index 與微軟的測法不同,不能說誰對誰錯。AA 的即時指標(延遲、速度)每次抓取都在變,例如 Wonder 的首字延遲昨天我讀到 36.32 秒,今天讀到 39.24 秒,輸出速度 115 變 131 token/秒;這些我視為即時量測,不當結論。OSS Scanner 的單日數字隨截止時間不同有幾筆出入,我統一用 UTC 23:01 的快照。
✍️ 實踐
做一件 15 分鐘內可完成的事:拿一個「A 模型比 B 模型好」的基準說法,用下面的 fc_check.py 做三件事:拆輸出端與輸入端成本、算相鄰模型的邊際成本、判斷差距是否大過抽樣誤差。直接執行會重現本文的數字。
from math import sqrt, erf
def split_cost(cost, out_k, out_price):
"""每任務成本拆成輸出端與輸入端(美元)。out_k:每任務輸出千 token;out_price:每百萬輸出價。"""
out = out_k * 1000 / 1e6 * out_price
return out, cost - out
def marginal(frontier):
"""依成本排序,回傳相鄰兩點『每多 1 分要多付多少美元』。frontier: [(名稱, 分數, 成本)]"""
pts = sorted(frontier, key=lambda x: x[2])
return [(a[0], b[0], (b[2] - a[2]) / (b[1] - a[1])) for a, b in zip(pts, pts[1:])]
def two_prop_p(p1, n1, p2, n2):
p = (p1 * n1 + p2 * n2) / (n1 + n2)
z = (p1 - p2) / sqrt(p * (1 - p) * (1 / n1 + 1 / n2))
return z, 2 * (1 - 0.5 * (1 + erf(abs(z) / sqrt(2))))
if __name__ == "__main__":
for name, cost, k, price in [("Opus 5.5", 10.15, 157, 20), ("Sol", 0.81, 33, 10), ("Astra", 4.22, 27, 50)]:
o, i = split_cost(cost, k, price)
print(f"{name}: 輸出端 {o:.2f} ({o/cost:.0%}),輸入端 {i:.2f}")
fr = [("Luna", 42, 0.09), ("MiMo", 45, 0.18), ("Sol", 49, 0.81), ("Opus", 52, 10.15)]
for a, b, m in marginal(fr):
print(f"{a} -> {b}: 每多 1 分多付 {m:.3f} 美元")
print("Fable 對 Sol 成本倍數", round(12.00 / 0.81, 1))
print("每 100 任務標準誤(p=0.5)", round(sqrt(.25 / 100) * 100, 1), "個百分點;兩模型差", round(sqrt(2 * .25 / 100) * 100, 1))
print("機器人 Astra/Sol 成本倍數", round(16.36 / 1.93, 2), "分數倍數", round(69.4 / 64.6, 3))
print("握取成功率 Astra 45% n=95 對 Sol 28% n=111: z, p =", [round(v, 3) for v in two_prop_p(.45, 95, .28, 111)])我實際執行過,輸出是:Opus 輸出端 3.14(31%)、輸入端 7.01;Sol 0.33(41%)、0.48;Astra 1.35(32%)、2.87;邊際成本每分 0.030、0.158、3.113 美元;Fable 對 Sol 成本 14.8 倍;標準誤 5.0 與 7.1 個百分點;機器人成本倍數 8.48、分數倍數 1.074;夾取 z = 2.536、p = 0.011。步驟:
- 存成
fc_check.py執行,確認與上面相同。 - 換成你自己的候選模型:各自在你的任務上跑 20 個樣本,記下通過與否、輸出 token、輸入 token 與總成本。
- 用
marginal畫出你的帕雷托前緣,看「最後一段」每多一分要多付多少錢,決定要不要為它付費。 - 用
two_prop_p檢查兩個候選的通過率差;樣本只有 20 時,10 個百分點的差幾乎都不顯著,這是預期的,不是程式壞了。 - 寫下盲點:你的任務分布、快取命中率與重試策略都不在這支程式裡。
🔗 延伸學習
- Announcing FrontierCode on Artificial Analysis(Artificial Analysis) — FrontierCode 1.1 的方法、分數、每任務成本與輸出 token 的出處。
- Welcome to the era of embodied AI: Introducing AA-Robotics v0.1(Artificial Analysis) — 八個機械手臂任務的逐題分數、時間、成本與夾取成功率。
- Artificial Analysis Decision Index v1.0(Artificial Analysis) — 決策模型的四項構成、分數、每百萬任務價格與延遲。
- anthropics/oss-scanner 的 PR 列表(GitHub) — OSS Scanner 全部數字的來源,可以自己對帳。
💬 問 AI
我要檢驗一個 AI 基準的比價說法,請嚴格區分三類:「來源明說的」(附頁面與欄位)、「你實際打開原始頁面讀到的」(只讀到摘要或讀不到就明說)、「你自己推論的」(標明假設)。查不到就說查不到,不要編數字或連結。
背景:Artificial Analysis 的 FrontierCode 1.1(2026-10-12)用 100 題、每題 3 次嘗試、250 回合上限,測 AI 的改動是否能被開源維護者合併。分數與每任務成本:Claude Opus 5.5 52%、10.15 美元(輸出約 157k token,標價 4/20);GPT-6.1 Sol 49%、0.81 美元(輸出約 33k token,標價 2/10);MiMo-V2.6-Pro 45%、0.18 美元;GPT-6 Luna 42%、0.09 美元。
1. 用輸出 token 乘標價算出 Opus 與 Sol 的輸出端成本,再推輸入端成本;說明這個推法需要哪些假設(快取寫入、命中、未快取各自的單價與占比),哪些我其實不知道。
2. 這個基準 100 題,Opus 比 Sol 高 3 分。請查 FrontierCode 的原始頁面是否給信賴區間或逐題資料;若沒有,用保守假設估計這個差距的統計意義,並說明配對比較(同一批題目)為什麼會讓誤差變小。
3. 「max w/ fallback」是什麼意思?它是否讓每任務成本包含備援模型的花費?請只引用你實際讀到的原文,讀不到就說讀不到。
4. 我的工作是代理型程式修改,每個任務會重讀大量程式碼上下文。請告訴我評估模型時最少要向供應商或基準方要哪五個數字,以及每個數字的用途。
請回答:每項的結論、證據類別、還缺什麼資料才能下定論。