我的知識庫

AI · 2026-10-19

閱讀時間約 41 分鐘

Reflection AI 的 Beam(5010 億參數混合專家、每個 token 啟用 230 億、Apache 2.0)是今天最適合拿來對帳的模型:廠商自報「推論算力比 GLM 5.2 少 3 到 4 倍」,而 Artificial Analysis(AA)10 月 16 日前後給出了第一個外部量測,Intelligence Index 30 分、排 120 個模型中的第 19 名,跑完整個指數用了 7,900 萬個輸出 token,比同級開放權重模型的中位數 1.3 億少 39.2%。39.2% 與「3 到 4 倍」(相當於少 66.7% 到 75%)不是同一件事,基準、對手與算法都不同,不能說誰推翻誰,但「自報的最大值」與「外部量到的實際值」差一大截,正好延續昨天的主線。第二件是 StepFun 的 Step 5 Preview(6000 億參數、啟用 270 億、10 月 15 日開放權重),自報表把自己的「高」模式放在對手的「最大」模式旁邊,而且同一個 Terminal-Bench 4.0,不同模型的分數從 12.6 到 57.9 散開 45 分。第三件是政策與金融端:加州州長紐森的 AI 行政命令(要求獨立驗證與「關閉開關」)在 10 月 17、18 日又被當成新聞轉載,簽署日其實是 9 月 18 日;Schwab 與摩根大通則公開說每週封鎖數十次未經授權的 AI 代理。對帳放在開頭這一段與第五節。

承 昨天的待驗,我在 UTC 10 月 18 日 23:01 重抓了 OSS Scanner:PR 總數 746、已合併 128、已關閉未合併 406、開放 212。昨天登記的 10 月 18 日 23:00 UTC 三條全部成立:總數至少 730(實得 746)、合併至少 120(128)、開放至少 200(212,我給的約 55% 這次命中)。10 月 20 日那三條(總數至少 790、合併至少 140、開放至少 205)還沒到期,但開放數已經是 212,所以第三條目前處於「已達標、未結算」。Vals Index 今天重讀,更新日仍是 10 月 16 日、版本 2.1,前十二名與昨天逐項相同,榜首 Gemini 4 Argon 68.90%;FrontierCode 仍標「最後更新 10 月 12 日」、榜首 Opus 5.5 的 52%,仍沒有 Argon 與 Muse Wonder。SPACE 的星數是 1,539(昨天 1,367),一天加 172 顆,第五節算它能不能在 10 月 31 日前到 2,500。JevBench 的第 212 號 issue 這次我沒能對帳,原因與一個小陷阱放在第五節。

讀到的程度先交代。Beam 的 Hugging Face 部落格、AA 的 Beam 頁面、orcarouter 與 DataCamp 與 ossbeat 的 Beam 文章、cellcog 的 Step 5 Preview 整理、AI Weekly 與 Rio Rundown 的當日摘要、StateScoop 的紐森命令報導、benchlm 的 AutomationBench 頁、Vals 與 FrontierCode 頁,我都用抓取工具讀,輸出是摘要不是原始頁面,所以下面每個數字的口徑,是「那個摘要說頁面寫了什麼」。MarkTechPost 的 Beam 與 Step 5 文章、Bloomberg 的 Schwab 報導、Al Jazeera 的紐森報導、OpenAI aurora 的各篇報導只看到搜尋結果的標題與摘要,沒有打開。OSS Scanner、SPACE 與 JevBench 的數字是我在 UTC 10 月 18 日 23:01 前後用已登入的 gh 直接抓的 GitHub API,口徑與前幾天相同。

📖 學

一、Beam:自報、第三方量測與兩個「效率」

規格各來源一致:Reflection AI 的 Beam 是 5010 億參數的稀疏混合專家,每個 token 啟用 230 億(23 ÷ 501 = 4.59%),上下文 100 萬 token,Apache 2.0,提供 BF16、FP8、NVFP4 三種精度。時間線各來源不一致:DataCamp 與 ossbeat 寫 10 月 5 日宣布、權重「本月稍後」釋出;Hugging Face 部落格的釋出日是 10 月 16 日;orcarouter 則寫權重在 10 月 7 到 13 日間釋出、API 10 月 16 日公開。我無法裁決哪個對,只能寫「10 月中旬已開放,確切日期各報導不同」。

廠商自報的基準,從 Hugging Face 部落格摘要與 ossbeat 的轉述拼起來是這樣:

項目Beam 自報對照(也都是各家自報)
SWE-bench Verified80.9ossbeat 稱「具競爭力」,未列對手
DeepSWE v1.144.4對手 68.0 到 74.2;DeepSeek V4.1 Flash(前一版)74.2
Terminal-Bench 2.180.1DeepSeek V4.1 Flash 90.6、Kimi K3 88.3、GLM 5.3 88.2、GLM 5.2 81.0
HLE(無工具)36.2Kimi K3 46.9
AIME 202697.5 到 98.0(依精度)近乎持平
GPQA Diamond89.3 到 90.6未列

自算:同一個模型在 SWE-bench Verified 是 80.9、在 DeepSWE v1.1 是 44.4,差 36.5 點;Terminal-Bench 2.1 比 DeepSeek 前一版低 10.5 點,DeepSWE 比 1017 版的 77.0 低 32.6 點。這是一個「傳統程式基準好看、較新的代理基準落後很多」的輪廓,ossbeat 也這樣寫。要提醒的是,哪個基準代表「真的好用」我不知道,這張表只能說:挑哪一列放在標題,決定了讀者的第一印象。

效率主張是核心。DataCamp 的轉述:Beam 在推理上「追平 GLM 5.2,而推論算力少 3 到 4 倍」,算法是「2 × 啟用參數 × 每次嘗試的平均 token 數」,HLE 35.3% 時每次嘗試 0.82 PFLOP。我用這個公式反推:0.82e15 ÷ (2 × 23e9) = 17,826 個 token 每次。AI Weekly 另寫了「約 25,000 token 每次、GLM 5.2 約 80,000」,基準不明,和 17,826 不是同一個量。若 GLM 5.2 的啟用參數與 Beam 相同,倍數就是 token 比,80,000 ÷ 25,000 = 3.2、80,000 ÷ 17,826 = 4.5,恰好落在「3 到 4 倍」附近;但我沒查到 GLM 5.2 的啟用參數,所以這個「若」我驗證不了,3 到 4 倍是兩個未知數的函數。DataCamp 也指出這個算式漏掉提示詞處理、長上下文注意力與服務開銷,而且強化學習階段只用了 256K 上下文,是 100 萬標題數字的四分之一。

外部量測的版本在 AA 的頁面:Intelligence Index v4.3.2(十項基準),Beam 30 分、排名 19 比 120,同級開放權重模型中位數 19;跑完指數的輸出 token 7,900 萬,中位數 1.3 億;價格每百萬輸入 0.70 美元、輸出 2.10 美元;輸出速度每秒 302.6 個 token(78 個中排第 4)、首 token 0.90 秒。搜尋摘要另寫「美國開放權重模型中的第 2 名」,這句我沒有在頁面摘要裡看到,只當搜尋結果。頁面上還有一個標為「每任務 0.57 美元」的數字,摘要沒說單位與口徑,我不採用。把 7,900 萬個輸出 token 乘 2.10 美元,僅輸出就是 165.9 美元,與「每任務 0.57」的關係我不知道,不能亂湊。

怎麼讀這兩組數字:AA 的 39.2% 是「相對同級開放權重模型的中位數」,而且是跑十項基準的全部輸出;廠商的 3 到 4 倍是「對一個指定對手、在推理題上、只算解碼」。它們都可能為真。AA 在 Beam 發布初期曾說「早期跡象顯示 Beam 會是同智慧水準下最省 token 的開放模型之一」,這和 39.2% 同向但幅度小。要判斷「少 3 到 4 倍」,需要 GLM 5.2 在 AA 的輸出 token 量,今天我沒讀到,所以只能放進待驗:如果 GLM 5.2 的 AA 輸出 token 量約是 Beam 的 3 倍以上,廠商說法的方向就得到支持;若只有 1.3 到 1.5 倍,那 3 到 4 倍多半來自算式選擇。

價格上,Beam 輸出 2.10 美元是 DeepSeek V4.1-Flash-1017(0.60 美元,昨天的資料)的 3.5 倍、Step 5 Preview(2.70 美元)的 0.78 倍、Gemini 4 Argon(10 美元)的 0.21 倍。每個 token 的解碼算力(2 × 啟用參數,忽略注意力):Beam 46 GFLOP、Step 5 54、DeepSeek 解碼階段 32,Beam 比 DeepSeek 高 1.44 倍。價格差與算力差不成比例,這是定價策略,不是技術結論。

二、Step 5 Preview 與 DeepSeek 1017:同一個基準名稱,不是同一把尺

StepFun 9 月 20 日宣布 Step 5 Preview,10 月 15 日釋出權重:6000 億參數、啟用 270 億(4.5%)、上下文 100 萬、最大輸出 6.4 萬、授權為「StepFun Model License 1.0」(類 Apache,但月用戶超過 1 億或月營收超過 2,000 萬美元的產品要標示「Powered by StepFun AI」,裝置製造商與年收超過 2,000 萬美元的服務要另簽商用授權),API 輸入 1.00 美元(快取命中 0.05)、輸出 2.70 美元。這些規格與價格來自 cellcog 的整理,我沒讀 StepFun 官方頁。

自報表(同樣來自 cellcog 的整理,StepFun 的「高」模式對上對手的「最大」模式):

基準Step 5 PreviewKimi K3GPT-6 AstraClaude Opus 5
DeepSWE v1.167.767.574.174.0
Terminal-Bench v433.312.657.952.3
GPQA Diamond93.593.596.193.2
FrontierFinance66.462.655.069.7

自算:Terminal-Bench v4 上 Step 5 比 Kimi K3 高 20.7 分、比 Astra 低 24.6 分、比 Opus 5 低 19.0 分。同一個基準,Kimi K3 與 Astra 差 45.3 分,幅度大到我會先懷疑「執行環境、重試次數、時間限制」的差異,而不是模型能力的差異;這是推測,表裡沒有執行設定。AI Weekly 報 DeepSeek V4.1-Flash-1017 的 Terminal-Bench 4.0 是 42.3(前一版 31.2),比 Step 5 的 33.3 高 9.0 分,但兩個數字分別來自各自的自報,我不知道設定是否相同。DeepSWE 這邊,1017 版 77.0 比 Step 5 的 67.7 高 9.3 分,同樣是兩份自報。

cellcog 還列了表的限制:StepFun 自己承認在最長的程式任務上「與前沿有明顯差距」,比 Opus 5 與 Astra 在最難的程式基準低 6 到 7 分;六列是 StepFun 自訂基準;HLE 帶工具那列對 Step 5 與 GLM 5.3 用「純文字子集」、對其他模型用完整資料集,StepFun 自己註明「不能直接比較」;文件分析的 GDP.pdf 為 14.8%,對 Astra 的 31.0%。我讀到的說法是沒有技術報告(Pandaily 的標題寫「公布技術部落格」,所以可能是有部落格、無報告)。AA-LCR 長上下文推理 88.3% 這個數字來自 AI Weekly 引 MarkTechPost,我沒讀原文。

DeepSeek 1017 這邊今天多了兩個外部相關的資料點,但都要打折。其一,benchlm 的 AutomationBench 頁(600 題公開任務、24 個模型)把 DeepSeek V4.1 Flash 1017 列為第一,60.5%,第二名 Atria Dawn Preview 53.8%、MiMo-V2.6-Pro 53.1%,Opus 5.5 排第 13 名,40.0%。自算:60.5 對 53.8 的差 6.7 點,在 600 題、兩者獨立的假設下 z = 2.35(單一分數標準誤 2.0 點);對 Opus 5.5 的差 20.5 點,z = 7.26。但摘要裡有一句「Moonshot 依官方 GitHub 設定評測 600 題公開子集」,同時說自報與獨立量測是分開追蹤的,我讀不出這個 60.5% 是哪一種,所以不能把它當成獨立量測。其二,Vals Index 頁的摘要說 DeepSeek 系列排在第 26 到 37 名,其中「DeepSeek V4.1 Flash」51.32%、每測試 0.33 美元。昨天我寫「前十二名沒有 DeepSeek」是對的,但說頁面只籠統提到 DeepSeek 是我當時讀摘要時的不完整,今天這個數字更具體。自算:對榜首 Argon 的 68.90% 低 17.58 點、成本是 15.68 ÷ 0.33 = 47.5 分之一;離第 12 名的 58.01% 差 6.69 點。這個列很可能是 1017 更新之前的版本(推測),Vals 還沒量 1017,而昨天提到的「API 名稱靜默換內容」若屬實,同一個名稱下的分數會隨日期漂移。

三、紐森行政命令與銀行擋代理:同一個問題的兩端

先釐清日期:StateScoop 的報導寫行政命令簽於 9 月 18 日(週五),州長辦公室 9 月 23 日公布專家名單。AI Weekly 與 Rio Rundown 在 10 月 18 日把它當頭條、引 Al Jazeera 10 月 17 日的報導,所以「新簽署」是轉載造成的錯覺,實際上是一個月前的命令加上新的報導。內容據 StateScoop 摘要:要求加速建立獨立 AI 安全稽核的制度;前沿開發者須接受「安全框架、透明度報告與風險評估」的定期獨立稽核;提議要求前沿開發者建立緊急關閉機制,並由獨立機構「定期測試機制是否有效」;擴大「須通報的重大安全事件」定義,納入「AI 系統失去對其運作的控制」。期限:州政府作業局在 2027 年 5 月前訂出獨立驗證機構的申請要求與程序,相關要求在 2027 年底前開始實施,州官員與外部專家在 2026 年 11 月 16 日前提出修改現行 AI 安全法的建議。自算:從簽署日到 11 月 16 日是 59 天、從今天算是 28 天。Al Jazeera 與 Gizmodo 把它連到紐森的總統選舉野心與 2024 年否決類似法案,那是評論,不是命令本身;專家名單的具體人名,StateScoop 摘要沒給,我也沒查到。

金融端:Charles Schwab 執行長 Wurster 對 Bloomberg 電視說,Schwab 在擋未經授權、想動客戶資金的 AI 代理,包括 Meta 的 Muse,大型代理「每週數十次」被擋,他每週收到報告;摩根大通也在擋。根據 TheNextWeb 與 Briefs 等的搜尋摘要,問題出在客戶把密碼交給代理再由代理代為操作,法律責任歸屬沒有定論,國會的 AI 代理責任立法卡在委員會;Schwab 的替代做法是用 Model Context Protocol 伺服器提供唯讀存取(看餘額、做研究、不能轉帳),並引導客戶用自家只做行政與資訊的助理 Charley。AI Weekly 另寫亞馬遜自 9 月 20 日起擋 Meta Muse。「tens and twenties」我解讀成每週 10 到 29 次,折算每日 1.4 到 4.1 次,這是我對口語的解讀,不是 Schwab 的數字;也沒有分母(總共多少次代理嘗試)。

把這兩件事接在昨天的 SPACE 與 OpenCode 之後,共同的結構是「憑證在誰手上」。SPACE 把憑證與出口移到 VM 外的閘道;OpenCode 外洩的是使用者存放的第三方金鑰;Schwab 面對的是客戶自己把密碼交給代理。三者的防線都落在同一層:代理能不能拿到一個可以動錢或動資料的憑證。唯讀的 MCP 伺服器是權限切割的做法,與加州命令裡要求的「獨立測試關閉機制」是兩種不同的層次:前者在使用端限縮能做什麼,後者在模型端要求能被停下來。搜尋摘要還提到印度 CERT-In 通報多家供應商的 AI 代理觸及線上系統、根因包括程式碼與設定檔中暴露的憑證與金鑰;這則我只有摘要,放在這裡只當旁證。

四、OpenAI 的 aurora:有名字,沒有任何其他事實

10 月 18 日有人(Andrew Curran 在 X 上的貼文被多篇轉載)發現 OpenAI 的 API 列出三個沒有文件的模型 ID:aurora-red-alpha、aurora-green-alpha、aurora-blue-alpha。一則報導稱模型建立時間在 10 月 17 日 UTC 01:13 到 01:15,比被發現早約 26 小時;紅色呼叫回 503 容量錯誤(暗示後端已接上),綠與藍回 404;競技場測試中疑似出現影像生成,紅較快但品質低、綠較慢但較好,有人猜是 GPT-Image-3,也有人猜是 Codex 或快速推論模型。狀態上各來源互相矛盾:一則寫「現在仍列在 API 裡」,另一則寫「已從公開 API 移除、疑似誤推出」。我只能記下:名稱、被發現的時間、兩種互相矛盾的狀態,以及「影像」與「程式」兩種猜測都沒有 OpenAI 的說明。這一節沒有任何可驗證的能力數字,所以只留一條「是否有官方發表」的預測。

五、對帳:OSS Scanner 第十一天、SPACE 星數、JevBench 的 404

項目10/15 23:0110/16 23:0110/17 23:0110/18 23:01
PR 總數654681719746
已合併92111125128
已關閉未合併373377397406
開放中189193197212

三個一日變化分別是總數 +27、+38、+27;合併 +19、+14、+3;關閉 +4、+20、+9;開放 +4、+4、+15。依建立日(UTC)10 月 13 到 18 日的新增是 33、36、26、26、41、24。昨天我記的 10 月 17 日是 38,今天重算變成 41,差的 3 筆是快照之後(23:01 到 23:59)才開出來的,所以「依建立日」的日數會在事後上調,快照差與建立日不能直接互比。日均 31.0、標準差 6.8,沒有週末效應的跡象(週六 41、週日 24,樣本太小)。

合併這邊今天最有資訊量:10 月 18 日合併只有 3 筆(前一天 13、再前一天 20),而且 3 筆裡有兩筆是 Anthropic 一方的維護 PR,「Update CODEOWNERS」(建立後 2.4 分鐘合併)與「Say how to tick the checklist and how to sign the CLA in the PR template」(約 53 分鐘合併),兩個作者與合併者帳號都帶 -ant 後綴,我推測是 Anthropic 員工,未證實;另一筆是 OpenSSH 的登記設定(開出到合併約 35.8 小時)。我把全部 128 筆已合併 PR 的標題手分類:約 115 筆是專案登記或登記設定,約 13 筆是工具、模板、修正與回退(包括一筆「Revert Enrol Bitcoin Core」,也算合併)。這是依標題的粗分類,不是官方分類,但它提醒一件事:「已合併」不等於「新增一個被掃描的專案」,把合併數當成專案數會高估。已合併 128 筆的開出到合併中位數 33.8 小時(昨天 34.2)、平均 46.2 小時(47.0)、最長 178.8 小時(不變);10 月 18 日的 3 筆中位數只有 0.9 小時,是被極短的維護 PR 拉低的。關閉未合併 9 筆,中位數 10.5 小時、最長 18.8 小時。開放中的 212 筆從建立到快照的中位數 156.7 小時(昨天 139.5)、最舊 241.2 小時(217.2),開放這群繼續變老,今天沒有人清它。

我用 claim_check.py 對剩下的 OSS Scanner 預測重新估:以過去六天的日增(新增日均 31.0、標準差 6.8;合併日均 9.5、標準差 7.6),假設逐日獨立、常態,10 月 20 日 23:00 UTC 總數至少 790(需再 +44,期望 +62.0、標準差 9.5)約 97%、合併至少 140(需 +12,期望 +19.0、標準差 10.7)約 74%;10 月 21 日總數至少 830(需 +84,期望 +93.0、標準差 11.7)約 78%、合併至少 150(需 +22,期望 +28.5、標準差 13.1)約 69%。常態與獨立的假設都只是近似(合併是批次發生的,13、20 與 1、3 的差距說明了這點),所以這些機率我會當成上限。昨天給 10 月 20 日總數至少 790 約 80%,今天看是低估了;給合併至少 140 約 65%,今天略上調到 74%。

SPACE 的星數從昨天的 1,367 到今天的 1,539,一天 +172(+12.6%)、fork 從 111 到 124,最後一次 push 在 10 月 18 日 15:13 UTC。昨天我給 10 月 31 日至少 2,500 約 55%。把每日增量以固定比例 r 衰減(從 172 開始),13 天後的星數是:r = 0.80 約 2,189、r = 0.85 約 2,396、r = 0.90 約 2,694;剛好達 2,500 的臨界衰減率是 0.87。也就是說,要到 2,500,每天的新增只能比前一天少約 13% 以內,否則到不了。發布後的關注度通常衰減得更快(這是我的一般性印象,沒有資料),所以我把這條下修到約 40%,同時新增一條較低的門檻:至少 2,000(需再 +461,連 r = 0.80 也有 +650,約 85%)。

JevBench 的第 212 號 issue 今天無法對帳。我對 JevBench/jevbench 呼叫 issues 第 212 號回 404,該 repo 顯示開放 issue 為 0、11 顆星、1 個 fork、更新時間 10 月 9 日;我昨天的稿子沒有記 issue 所在的 repo,所以可能在別的儲存庫,也可能我記錯。更要提醒的是:我第一次用錯 repo(anthropics/oss-scanner)查第 212 號,居然回了一筆有效資料,那是一個完全無關的登記 PR,如果我沒注意標題,就會誤當成「已關閉」。編號撞號是對帳時最容易犯的錯,所以這條的狀態記為「無法驗證」,不判命中也不判落空。

沒重查的項目:歐盟 AI 辦公室兩批資訊請求的關係與回覆、OpenAI misalignment 頁新增筆數、OpenCode 受影響人數(搜尋摘要仍是 1.4%,沒有絕對人數)、Muse Wonder Full 的 token 計價 API。這些今天沒有新資料,機率沿用昨天,除非下面另行調整。

🧠 記

  • Beam(Reflection AI,5010 億、啟用 230 億,Apache 2.0):自報 SWE-bench Verified 80.9、DeepSWE v1.1 44.4(差 36.5 點)、Terminal-Bench 2.1 80.1(比 DeepSeek 前版低 10.5);自報「推論算力比 GLM 5.2 少 3 到 4 倍」(算式 2 × 啟用參數 × 平均 token,反推 17,826 token 每次;漏算提示詞與服務,RL 只用 256K 上下文)。
  • AA 外部量測:Intelligence Index v4.3.2 為 30(第 19 比 120)、輸出 7,900 萬 token 對中位數 1.3 億(少 39.2%)、價格 0.70/2.10 美元、每秒 302.6 token;與「3 到 4 倍」(66.7% 到 75%)不同口徑,不能互相推翻;需要 GLM 5.2 的 AA token 量才能驗。
  • Step 5 Preview(6000 億、啟用 270 億,10/15 權重,自訂授權):自報表用「高」對對手「最大」模式;Terminal-Bench v4 為 33.3,對 Kimi K3 12.6 與 Astra 57.9,同基準散 45 分;六列自訂基準;API 輸入 1.00、輸出 2.70 美元。
  • DeepSeek 1017:AutomationBench 60.5%(24 個模型第一;對第二名 z = 2.35、對 Opus 5.5 z = 7.26,但自報或獨立不明);Vals 上 V4.1 Flash 為 51.32%、0.33 美元,比榜首低 17.58 點、便宜 47.5 倍,疑為更新前版本。
  • 加州行政命令簽於 9/18(非新聞當日);獨立稽核、關閉機制測試、擴大重大事件通報;11/16 前提修法建議(今天起 28 天)。
  • Schwab 與摩根大通擋未授權代理(每週「數十次」,折算每日 1.4 到 4.1 次是我的解讀);Schwab 改用唯讀 MCP 伺服器。
  • OpenAI aurora 三個未公告 ID:只有名稱與矛盾的狀態報導。
  • OSS Scanner(UTC 10/18 23:01):746、合併 128、關閉未合併 406、開放 212;昨天三條全中;10/18 合併僅 3 筆,其中 2 筆是帶 -ant 帳號的維護 PR;合併 128 筆中約 115 筆為登記、約 13 筆為維護。SPACE 星數 1,539(+172),臨界衰減率 0.87。

可證偽預測。 第一,到 10 月 20 日 23:00 UTC,anthropics/oss-scanner 的 PR 總數至少 790(目前 746,約 97%)、已合併至少 140(目前 128,約 74%)、開放中至少 205(目前 212,約 80%);到 10 月 21 日 23:00 UTC,總數至少 830(約 78%)、已合併至少 150(約 69%)。第二,到 10 月 31 日,perplexityai/SPACE 的 GitHub 星數至少 2,000(目前 1,539,約 85%)、至少 2,500(約 40%,下修自 55%)。第三,到 10 月 31 日,Vals Index 榜首仍是 Gemini 4 Argon(目前 68.90%,約 65%,與昨天相同);DeepSeek V4.1 Flash 任一版本出現在 Vals 前十二名(分數至少 58.01%,目前列的版本 51.32%,約 20%,下修自 30%)。第四,到 10 月 31 日,FrontierCode 收入 Gemini 4 Argon(約 30%,頁面已 7 天沒更新,下修自 35%)、收入 Muse Wonder 或 Wonder Full 任一(約 25%,下修自 30%)。第五,到 10 月 31 日,AA 頁面上 Beam 1.0 的 Intelligence Index 分數仍落在 27 到 33(不含)之間(約 85%,指數版本改動是主要風險);我能在 AA 或其他第三方頁面讀到 GLM 5.2 的輸出 token 量至少是 Beam 7,900 萬的 3 倍(約 25%,這條同時檢驗廠商「3 到 4 倍」的說法)。第六,到 10 月 31 日,OpenAI 官方公開發表含 aurora 名稱的模型或產品(約 35%)。第七,到 10 月 31 日,除 Schwab 與摩根大通之外,另有一家美國大型銀行或券商公開說明封鎖或限制未授權 AI 代理(約 45%);到 11 月 16 日,加州州政府或專家小組公開提出修改 AI 安全法的建議(約 60%,到期日是命令本身的期限,延誤很常見)。第八,沿用昨天、今天未重查:到 10 月 31 日 Muse Wonder Full 沒有公開 token 計價 API(約 80%);OpenCode 公開受影響人數或帳單總額(約 25%,下修自 30%);OpenAI misalignment 頁新增至少 1 筆(約 60%);OpenAI 或 Anthropic 公開說明已回覆歐盟資訊請求(約 35%)。

邊界。 Beam 的規格、基準與算力算式來自 Hugging Face 部落格、DataCamp 與 ossbeat 的摘要,各來源的釋出日期互相矛盾;AA 的頁面是摘要,「每任務 0.57 美元」的口徑未知、「美國開放權重第 2 名」只在搜尋結果。Step 5 Preview 的表與授權來自 cellcog 單一整理,我沒讀 StepFun 官方頁。AI Weekly 的 25,000 與 80,000 token 數字基準不明,GLM 5.2 的啟用參數沒查到。AutomationBench 的 60.5% 無法判斷是自報還是獨立量測,z 值假設兩者獨立、題目獨立。Vals 的 DeepSeek 列與名次範圍來自頁面摘要,不確定版本。紐森命令的內容只讀 StateScoop 的摘要,Al Jazeera 與 Gizmodo 沒打開;Schwab 與摩根大通只有搜尋結果,Bloomberg 沒讀。aurora 各篇報導互相矛盾。OSS Scanner 的合併分類是我依標題手分的,-ant 帳號是否為員工是推測;常態與獨立假設只是近似;JevBench 的 issue 位置沒找到。

✍️ 實踐

做一件 15 分鐘內可完成的事:挑一則「廠商自報的效率或倍數」,找同一個模型的第三方量測,先把兩邊的分子、分母、對手與任務寫成四欄,再算它們是不是同一種比較。同一支腳本也能用歷史日增對「到某日至少多少」的預測給出機率,並把星數預測的假設(每日衰減率)攤開來看哪個假設在撐結論。

from datetime import date
from math import sqrt, erf
from statistics import mean, stdev
 
def phi(z):
    return 0.5 * (1 + erf(z / sqrt(2)))
 
def two_prop_z(p1, p2, n):
    """兩個比例(各 n 題,假設獨立)的差距 z 值。"""
    se = sqrt(p1 * (1 - p1) / n + p2 * (1 - p2) / n)
    return (p1 - p2) / se
 
def p_at_least(daily, days, need):
    """每日新增服從常態(用歷史日數的平均與標準差),n 天總和至少 need 的機率。"""
    m, s = mean(daily), stdev(daily)
    mu, sd = m * days, s * sqrt(days)
    return phi((mu - need) / sd), mu, sd
 
def star_forecast(now, per_day, days, target, decays=(0.80, 0.85, 0.90)):
    """星數每日增量以固定比例 r 衰減,days 天後是否達 target。"""
    out = {}
    for r in decays:
        add = sum(per_day * r**k for k in range(1, days + 1))
        out[r] = round(now + add)
    return out
 
if __name__ == "__main__":
    # 一、OSS Scanner:四個 UTC 23:01 快照 (總數, 合併, 已關閉未合併, 開放)
    snaps = {"10/15": (654, 92, 373, 189), "10/16": (681, 111, 377, 193),
             "10/17": (719, 125, 397, 197), "10/18": (746, 128, 406, 212)}
    keys = list(snaps)
    for a, b in zip(keys, keys[1:]):
        d = [y - x for x, y in zip(snaps[a], snaps[b])]
        print(f"{a}->{b} 總數{d[0]:+d} 合併{d[1]:+d} 關閉{d[2]:+d} 開放{d[3]:+d}")
    new_by_created = [33, 36, 26, 26, 41, 24]   # 10/13-10/18 依建立日(UTC)
    merged_by_day = [15, 1, 5, 20, 13, 3]       # 10/13-10/18 依合併日(UTC)
    print("新增日均", round(mean(new_by_created), 1), "標準差", round(stdev(new_by_created), 1))
    print("合併日均", round(mean(merged_by_day), 1), "標準差", round(stdev(merged_by_day), 1))
    for label, daily, days, need in [
        ("10/20 總數>=790 (需+44)", new_by_created, 2, 44),
        ("10/21 總數>=830 (需+84)", new_by_created, 3, 84),
        ("10/20 合併>=140 (需+12)", merged_by_day, 2, 12),
        ("10/21 合併>=150 (需+22)", merged_by_day, 3, 22)]:
        p, mu, sd = p_at_least(daily, days, need)
        print(f"{label}: 期望 {mu:.1f} 標準差 {sd:.1f} 機率 {p*100:.0f}%")
 
    # 二、SPACE 星數
    print("SPACE 24h:", 1539 - 1367, "顆星", round((1539 / 1367 - 1) * 100, 1), "%;fork", 124 - 111)
    for r, v in star_forecast(1539, 172, 13, 2500).items():
        print(f"每日衰減 {r}: 10/31 約 {v} 顆")
    # 達 2,500 所需的最大衰減率
    lo, hi = 0.5, 0.99
    for _ in range(60):
        mid = (lo + hi) / 2
        if 1539 + sum(172 * mid**k for k in range(1, 14)) < 2500: lo = mid
        else: hi = mid
    print("剛好達 2500 的衰減率", round(hi, 3))
 
    # 三、同一模型換一個基準,名次與差距都變
    print("Beam: SWE-bench Verified 80.9 對 DeepSWE 44.4,差", round(80.9 - 44.4, 1), "點")
    print("DeepSWE:1017 版 77.0 對 Beam 44.4 差", round(77.0 - 44.4, 1), ";對 Step 5 Preview 67.7 差", round(77.0 - 67.7, 1))
    print("Terminal-Bench 2.1:DeepSeek 90.6 對 Beam 80.1 差", round(90.6 - 80.1, 1))
    print("Terminal-Bench 4.0:DeepSeek 1017 42.3 對 Step 5 33.3 差", round(42.3 - 33.3, 1),
          ";Step 5 對 Kimi K3 12.6 +", round(33.3 - 12.6, 1), ";對 Astra 57.9 ", round(33.3 - 57.9, 1))
 
    # 四、Beam 效率:自報算式 vs AA 量測
    tok = 0.82e15 / (2 * 23e9)
    print("Beam 0.82 PFLOP/次 反推每次 token 數", round(tok))
    print("若 GLM 5.2 為 80,000 token、啟用參數相同,倍數", round(80000 / tok, 1), "(以 25,000 算:", round(80000 / 25000, 1), ")")
    print("AA:79M 對中位數 130M,少", round((1 - 79 / 130) * 100, 1), "%;廠商說 3-4 倍=少", round((1 - 1 / 3) * 100, 1), "-", round((1 - 1 / 4) * 100, 1), "%")
    print("Beam 輸出價 2.10 對 DeepSeek 0.60:", round(2.10 / 0.60, 2), "倍;Step 5 2.70 對 0.60:", round(2.70 / 0.60, 2), "倍;Argon 10 對 Beam:", round(10 / 2.10, 2), "倍")
    print("79M 輸出 token 按 2.10 美元計,僅輸出成本", round(79 * 2.10, 1), "美元")
    print("每 token 解碼算力(2x啟用):Beam", 2 * 23, "Step5", 2 * 27, "DeepSeek 解碼", 2 * 16, "GFLOP;Beam/DeepSeek", round(23 / 16, 2))
 
    # 五、AutomationBench 600 題
    print("AutomationBench 60.5 對 53.8 z =", round(two_prop_z(.605, .538, 600), 2),
          ";對 Opus 5.5 40.0 z =", round(two_prop_z(.605, .40, 600), 2))
    print("單一分數標準誤(60.5%,600 題)", round(sqrt(.605 * .395 / 600) * 100, 2), "點")
 
    # 六、Vals:DeepSeek V4.1 Flash 對榜首
    print("Vals:Argon 68.90 對 DeepSeek 51.32 差", round(68.90 - 51.32, 2), "點;成本 15.68/0.33 =", round(15.68 / 0.33, 1), "倍;對第 12 名 58.01 差", round(58.01 - 51.32, 2))
 
    # 七、日期
    print("加州行政命令簽署 9/18 到建議期限 11/16:", (date(2026, 11, 16) - date(2026, 9, 18)).days, "天;今天起", (date(2026, 11, 16) - date(2026, 10, 19)).days, "天")
    print("Schwab『數十』每週:以 10 到 29 次算,每日", round(10 / 7, 1), "到", round(29 / 7, 1))

我實際執行過,輸出是:OSS Scanner 三段日變化(總數 +27、+38、+27;合併 +19、+14、+3;關閉 +4、+20、+9;開放 +4、+4、+15);新增日均 31.0、標準差 6.8,合併日均 9.5、標準差 7.6;10 月 20 日總數至少 790 為 97%、合併至少 140 為 74%,10 月 21 日總數至少 830 為 78%、合併至少 150 為 69%;SPACE 一天 +172 顆(12.6%)、fork +13,13 天後依衰減 0.80、0.85、0.90 約 2,189、2,396、2,694 顆,臨界衰減率 0.87;Beam 的 SWE-bench Verified 對 DeepSWE 差 36.5 點;DeepSeek 對 Beam 在 DeepSWE 差 32.6、對 Step 5 差 9.3;Terminal-Bench 2.1 差 10.5;Terminal-Bench 4.0 上 DeepSeek 對 Step 5 差 9.0、Step 5 對 Kimi K3 多 20.7、對 Astra 少 24.6;Beam 反推每次 17,826 個 token,若 GLM 5.2 為 80,000 個則倍數 4.5(以 25,000 算為 3.2);AA 的 7,900 萬對 1.3 億少 39.2%、廠商說法等於少 66.7% 到 75.0%;價格倍數 3.5、4.5、4.76;7,900 萬輸出 token 僅輸出成本 165.9 美元;每 token 解碼算力 Beam 46、Step 5 54、DeepSeek 解碼 32 GFLOP;AutomationBench z 為 2.35 與 7.26,標準誤 2.0 點;Vals 差 17.58 點、成本 47.5 倍、對第 12 名差 6.69 點;加州命令 59 天與 28 天;Schwab 每日 1.4 到 4.1 次。步驟:

  1. 存成 claim_check.py 執行,確認與上面相同。
  2. 換成你在乎的宣稱,抄下「分子、分母、對手、任務、誰測的」五件事,自報與第三方各一行。
  3. 用 two_prop_z 或標準誤算差距在「題數有限」下顯不顯著,再看兩邊的設定(模式、重試、題目子集)是否一致。
  4. 若是「到某日至少多少」的預測,用 p_at_least 並換掉日數與門檻,同時寫下獨立與常態這兩個假設在你的資料裡哪裡不成立。
  5. 若是成長預測(星數、下載量),先算臨界衰減率,再問自己「這個衰減率在歷史上合理嗎」。

🔗 延伸學習

💬 問 AI

我要檢驗 AI 新聞裡「廠商自報的效率倍數」與「外部量測」是不是同一種比較,請嚴格區分三類:「來源明說的」(附頁面與欄位)、「你實際打開原始頁面讀到的」(只讀到摘要或讀不到就明說)、「你自己推論的」(標明假設)。查不到就說查不到,不要編數字或連結。不要給任何投資或下注建議。
 
背景:Reflection AI 的 Beam(5010 億參數、啟用 230 億、Apache 2.0)自報推論算力比 GLM 5.2 少 3 到 4 倍,算式是 2 × 啟用參數 × 每次嘗試平均 token 數,HLE 35.3% 時每次 0.82 PFLOP。Artificial Analysis 的 Intelligence Index v4.3.2 給 Beam 30 分、第 19 比 120,輸出 7,900 萬 token 對同級中位數 1.3 億。StepFun 的 Step 5 Preview 自報表把自己的「高」模式對上對手的「最大」模式,Terminal-Bench v4 為 33.3 對 Kimi K3 的 12.6 與 Astra 的 57.9。加州行政命令簽於 2026-09-18,要求獨立稽核與關閉機制測試,11 月 16 日前提修法建議。
 
1. 39.2% 與「3 到 4 倍」的口徑差在哪裡?要驗證廠商說法,還需要哪些資料(GLM 5.2 的啟用參數、AA 上的輸出 token 量)?請去查,查不到就說查不到。
2. 同一個基準(Terminal-Bench v4)上不同模型的分數散開 45 分,最可能的原因有哪些?請列出可以從評測設定頁確認的欄位。
3. 把 Beam 在 SWE-bench Verified 的 80.9 與 DeepSWE v1.1 的 44.4 放在一起,應該怎麼讀「基準選擇」對結論的影響?
4. 我的任務以程式修改為主、預算有限。評估一個新開放權重模型時,我該要哪三個數字、各自的用途與來源類別?
 
請回答:每項的結論、證據類別、還缺什麼資料才能下定論。

反向連結