Anthropic 的 OSS Scanner(給開源專案的免費漏洞掃描,10 月 8 日開放登記)在 UTC 10 月 20 日一天之內新增 151 筆登記 PR,前一天是 32 筆、再前一天是 24 筆;到 23:01 UTC,anthropics/oss-scanner 的紀錄是總數 929、已合併 145、已關閉未合併 475、開放中 309。昨天登記的「總數至少 790」因此過關,但實際日增 159(快照差)是我那套常態模型期望值 30.1 的 5.3 倍,模型是「答對了,卻不是因為估準」,而是因為進件的規則在 10 月 19 日 22:00 UTC 前後換了檔位。今天另外四件有技術內容的事,共通的問題都是「這個數字的比較基準是什麼」:DeepSeek 在 10 月 20 日開源自家推論引擎 DeepInfer,README 只放圖、沒放數字;論文 MemT-1.0 把「66 倍儲存壓縮」的對手限定在參數式記憶方法,README 自己承認文字記憶系統整體仍領先;OpenAI 的 COBOL 遷移評測,「97.9% 對 5.4%」兩個數字的推理強度不同;Vals Index 升到 2.2 版,同一個沒改權重的 DeepSeek 模型加了 4.68 點,榜首換人。
對帳:承 昨天。OSS Scanner 10 月 20 日 23:00 UTC 三條預測全部達成(總數 929 對門檻 790、合併 145 對 140、開放 309 對 205);SPACE 星數 1,745,日增 69(昨天 137、前天 172,比值 0.50),「10 月 31 日至少 2,000」從約 88% 大幅下修到約 12%;Vals Index 升版後 Claude Sonnet 5.5 以 70.85% 登頂,Gemini 4 Argon 掉到第 3,「榜首仍是 Argon」實質落空,DeepSeek V4.1 Flash 1017 進到第 8,「進前十二」達成;AA 上 GLM-5.2 每任務輸出 43k token、Beam 是 26k,比值 1.65,「至少 3 倍」落空;aurora 與 NIST 種子線今天沒有新的官方資料。細節在第七節。
讀到的程度:DeepSeek DeepInfer、MemTensor 的 MemT-1.0、OpenAI 的 MultiLangBench 三個 GitHub README 我是用 gh api 直接讀原始 Markdown,所以文字是原文;但 README 裡的效能圖與成績圖是圖片檔,我沒有看圖,下面凡是圖裡的數字都不報。OSS Scanner 的 PR 紀錄是我用 gh api 抓的全部 929 筆(含建立與合併時間),不是摘要。anthropics/oss-scanner 的 README、red.anthropic.com/oss-scanner、anthropic.com/news/anthropic-cyber-mission、arXiv 的 MemT 摘要頁、Vals Index 頁面(讀兩次,兩次一致)與 AA 的 GLM-5.2 文章,我用抓取工具讀,輸出是摘要而不是原始頁面。OpenAI 的 COBOL 文章、The Hacker News 與 Neowin 回 HTTP 403,沒讀到,所以 COBOL 的數字來自 Dataconomy 與 The Decoder 的摘要(二手)。OSS Scanner 的「97 筆樣本 85 筆達標」來自 AlphaSignal 與 explainx 兩篇二手文章(兩者一致,都稱出自 Anthropic),red.anthropic.com 那頁的摘要裡我沒找到這組數字。「候選超過 2.9 萬」在 AlphaSignal 也有(「over 29,000」),但精確的 29,439 與「92.7% 真陽性」只在搜尋結果的一段摘要裡看到,我沒有在任何讀到的頁面找到,後兩者不採用。種子對帳、機率與預測是我自己算的,腳本在實踐一節。
📖 學
一、OSS Scanner:公開的 PR 紀錄把「進件」量得很清楚
依 repo 的 README 與 Anthropic 網站頁面:專案維護者開一個 PR,新增 projects/<名稱>/ 目錄,放 project.yaml(程式庫網址與聯絡信箱)、Dockerfile(建置方式)與選填的 threat_model.md;掃描時先在能上網的隔離虛擬機建置,建完再把虛擬機移到完全沒有網際網路的網段做分析;報告以電子郵件寄出,附重現步驟,有的附修補。兩個設計值得記:報告「沒有人工審查」,而且沒有強制揭露期限(Anthropic 確認後才開始 90 天)。資格參照 OSS-Fuzz:偏好對基礎設施與使用者安全有關鍵影響的成熟專案,新專案通常不符。Anthropic 的 Cyber Mission 頁面(10 月 8 日)寫預期真陽性率高於 90%,並承認有些報告會有錯,例如嚴重度評錯;免費靠 8 月成立的 Defender Advantage Fund 維持。
我把全部 929 筆 PR 用建立與合併時間重建成每天 23:00 UTC 的快照:
| 快照 | 總數 | 已合併 | 關閉未合併 | 開放 | 日增(總/合/關/開) |
|---|---|---|---|---|---|
| 10/15 | 654 | 92 | 372 | 190 | 31 / 5 / 6 / 20 |
| 10/16 | 681 | 111 | 377 | 193 | 27 / 19 / 5 / 3 |
| 10/17 | 719 | 125 | 397 | 197 | 38 / 14 / 20 / 4 |
| 10/18 | 746 | 128 | 406 | 212 | 27 / 3 / 9 / 15 |
| 10/19 | 770 | 129 | 413 | 228 | 24 / 1 / 7 / 16 |
| 10/20 | 929 | 145 | 475 | 309 | 159 / 16 / 62 / 81 |
(重建的 10 月 19 日是 770、開放 228,與昨天我即時抓到的 771、229 差 1 筆,是時間戳邊界,不影響結論。)
這個走勢有三個細節。第一,檔位變換的時間點:每小時建立數在 10 月 18 日全天約 1 筆,10 月 19 日 22:00、23:00 UTC 是 7 與 8 筆,之後 10 月 20 日 00:00 到 19:59 UTC 的 20 小時共 144 筆(每小時 7.2),但最後三小時(20:00 到 22:59)只有 7 筆(每小時 2.3)。可能已經在回落,也可能只是時段效應;我沒有查出觸發的原因(沒找到當天的公告或轉貼),所以只能說「發生了,原因不明」。對照開放登記第二天的單日峰值 260 筆(10 月 9 日),這次是它的 58%(自算 151/260)。第二,處理能力:已合併的 145 筆,從建立到合併的中位數 35.8 小時、第 90 百分位 125.8 小時(自算,只含已合併的,所以低估等待中的);開放 309 筆是已合併的 2.13 倍。合併是批次的,每日合併 10 月 15 日起依序是 5、19、14、3、1、16。第三,關閉未合併的 62 筆:我只抽讀 4 筆關閉的 PR,四筆都有機器人留言要求先簽貢獻者授權協議(CLA),其中一筆另外因為「開 PR 的人不是任何 commit 的作者」被擋。這是小樣本,不能說 62 筆都是這個原因。每筆 PR 還有一則機器人的「進件分流表」,列出程式庫年齡、星數、OpenSSF 關鍵度分數(0 到 1)、是否在 OSS-Fuzz、SECURITY.md 有無聯絡信箱、是否只動自己的目錄,最後由人決定。
二、Anthropic 自己報的驗證樣本,怎麼讀
依 AlphaSignal 與 explainx 的整理(都稱出自 Anthropic):在 48 個專案共 97 筆候選發現裡,85 筆(88%)達到 Anthropic 揭露流程的門檻、11 筆是真問題但與已知漏洞重複、1 筆是誤報(自算 85 + 11 + 1 = 97,吻合)。第一週回報 77 個嚴重、803 個高風險(自算 77 + 803 = 880,和報導標題的「880」吻合),產生的候選超過 2.9 萬筆。我的自算:85/97 = 87.6%,95% 信賴區間(Wilson 法)是 79.6% 到 92.8%;「是真問題」是 96/97 = 99.0%,區間 94.4% 到 99.8%。這兩個區間成立的前提是這 97 筆是隨機抽樣,但抽樣方式沒有人說,而且這是 Anthropic 自己的樣本,explainx 也直接寫「不是獨立稽核」。能補充的外部證據都是二手:wolfSSL 收到 74 份報告、依 explainx 與搜尋摘要「除兩份外都有效」、五份成為 CVE;curl 8.23.0 出貨時帶一個由掃描器發現的 use-after-free(CVE-2026-92392);OpenSSL 說原始輸出「與人類研究者的報告相當、有時更好」。這幾位維護者的原文我沒讀,所以只當線索。
「沒有人工審查」與「未驗證的發現」把品質控管的工作推給了收件人,所以 PR 紀錄裡那 309 筆等待處理的進件,以及 Anthropic 說的「設計給已經跟得上高嚴重度報告的專案」,比任何真陽性率都更接近這個計畫的實際瓶頸。這是推論,我沒有收件端的資料。
三、OpenAI 的 COBOL 遷移評測:一個比較基準不一致的 16 倍
OpenAI 在 10 月 19 日發表兩個針對「低資源語言」(COBOL、Fortran、Visual Basic 等)的評測。我讀不到 OpenAI 的文章(403),以下是 Dataconomy 與 The Decoder 的摘要:COBOL 遷移評測要求把程式轉成 C++、Java、Kotlin、Python 或 Rust 且行為不變,隱藏測試要求輸出與原程式逐位元組相同,全部測試通過才算一次遷移成功。GPT-6.1 Sol 在低推理強度 86.6%、高推理強度 97.9%;GPT-5.6 Sol 是 5.4%。同一日的 AI Weekly 摘要把 97.9% 與 5.4% 並列成「從 5.4% 升到 97.9%」,但依 The Decoder,5.4% 是低推理強度,所以同口徑的比較是 86.6% 對 5.4%(自算約 16 倍),97.9% 是更高強度,成本沒給。Dataconomy 還寫低強度下新模型的 API 成本約是舊模型的 61%,並指出兩個評測都是 OpenAI 自己設計與執行、沒有外部驗證。
另一個評測 MultiLangBench 有公開的程式與說明(GitHub,openai/MultiLangBench,10 月 19 日 20:58 UTC 建立、Apache-2.0),我讀了 README:模型要依 SQLite 3.40.1 的文件,在指定語言裡從零實作一個 SQLite 相容的程式;測試取自 SQLite 的 TCL 測試,5.1 萬個裡轉換得出的有 2.4 萬個(自算約 47%);評分是(API 成本,通過率)的組合,建議只跑檔名開頭為 00、01、02 的 272 個測試;環境不能上網、要移除 SQLite 的所有痕跡,用錯語言或混語言算失敗。新聞裡的成績:GPT-6 Astra 最高推理強度在 20 種語言平均 87.4%、GPT-6 Luna 40.3%、GPT-5.6 Terra 約 38%(The Decoder 摘要)。自算:272 個測試的解析度是 1/272 = 0.37 點;通過率 0.874 時單一語言一次跑的二項標準誤約 2.0 點、95% 約 ±3.9 點(假設測試彼此獨立,實際不獨立,只是量級)。這是少數把評測做成「別人能自己重跑」的廠商基準,代價是得自己付 API 成本、也得自己決定要不要跑完 2.4 萬個。
四、DeepSeek DeepInfer:開源的是引擎,不是整個服務
DeepSeek 在 10 月 20 日開源 DeepInfer(Apache-2.0),repo 在 GitHub 的建立時間是 10 月 16 日、最後推送 10 月 20 日 11:03 UTC;我在 23:0x UTC 讀到 11,945 顆星、1,065 個 fork。README 的內容:只支援 DeepSeek-V4.1-Flash(預設載入 DeepSeek-V4.1-Flash-1017),硬體是 NVIDIA SM100(我的理解是 Blackwell 資料中心級)與華為 Ascend 950,需要 Linux、GCC 13 以上、Python 3.12、CUDA 13 或 CANN 9.2。功能清單裡有幾項值得記:一是「滑動視窗注意力的有界重播」,解碼端預填階段只重播一段有界的尾巴,預設保留 140 個 token,條件是保留的尾巴要涵蓋視窗加上最大回溯長度;二是批次不變推論(DEEPINFER_BATCH_INVARIANT=1,僅限 NVIDIA),讓同一個輸入不管被哪些請求排在一批都得到一樣的結果,再加上固定 seq_seed 就得到確定性取樣;三是 DSpark 草稿 token 解碼,草稿最長預設 5 個,用信心估計排程驗證;四是結構化輸出(正規表示式、JSON schema、EBNF 文法)。
README 也直接列出「完整服務需要、但不在這次釋出裡」的三樣:KV 快取系統、預填與解碼分離(它說多數必要功能已實作)、資料平行副本間的負載平衡。所以這是「引擎」而不是「DeepSeek 的服務」,自己要補上才能對外服務。效能只用兩張 Pareto 圖(預填 4 張 SM100、解碼 64 張)呈現,文字裡沒有數字;我沒看圖,所以沒有吞吐量可報。致謝段寫它「最初主要建立在 vLLM 之上」並受 SGLang 與 TensorRT-LLM 啟發,這是第一手說明。與 Vals 頁面接起來:同一個 1017 檢查點在 Vals Index 2.2 排第 8、61.26%、每測試 0.66 美元。星數目前只有一個時點(自算平均每天約 3,000 顆是用 4 天除的,但 repo 建立與公開的時點不一定相同,所以那個平均不可信)。
五、MemT-1.0:把記憶放進模型計算,贏的是哪一組
arXiv 2610.26825(10 月 19 日提交、74 位作者、66 頁、15 張圖、16 張表,依摘要頁摘要)。README 的設計:在主幹注意力旁加一個「原生記憶區塊」,含動態的局部記憶矩陣與可訓練的「超記憶」(記憶 query/key/value 投影、擦除與寫入與遺忘閘、輸出閘);每輪或每段結束後用穩定版 GDN-2(Gated DeltaNet-2)做 token 級更新;讀取時記憶注意力的輸出經正規化與閘控,加回主幹的注意力輸出,所以歷史資訊不必再放在上下文裡。兩個模型:Nano 以 Qwen3.6-35B-A3B 為主幹,總參數 36B、啟用 3B、可訓練記憶參數 4.51 億、動態記憶狀態 10M;Flash 以 DeepSeek-V4-Flash 為主幹,288B、啟用 17B、可訓練記憶參數 36.1 億、動態記憶狀態 336M。自算:可訓練記憶佔總參數的 1.25%(451M/36B 與 3.61B/288B 都約 1.25%),兩個比例幾乎相同,看起來是刻意的設計比例,但這是我的觀察,README 沒說。
主張:訓練資料 34B token(兩階段:繼續預訓練與後訓練);在 128K 歷史長度下,Nano 比完整上下文的 KV 快取約快 1.86 倍(端到端)、持久儲存少 66 倍,而且記憶狀態大小不隨歷史變長,所以倍數會隨歷史拉長而增加(推論)。評測在 11 個記憶基準上,Flash 與 Nano 在「參與評測的參數式記憶方法」中排第一與第二;README 同一段緊接著寫:「強的文字記憶系統整體仍領先,尤其是在需要細節證據檢索的長歷史上」。所以讀這篇的方式是:它在「記憶放進權重」這個類別裡領先,並且用很小的固定狀態換到儲存與延遲的好處,但沒有贏過把原文存下來再檢索的做法。AI Weekly 摘要給的平均分(50.6 與 46.97)我不採用:它的排列順序與 README 說的「Flash 第一」衝突,我又沒看成績圖,無法判斷哪個數字屬於哪個模型。授權是論文 CC BY-NC-SA 4.0、程式 PolyForm Noncommercial 1.0.0,禁止商業使用;推論服務需要 Linux、NVIDIA CUDA 與 Python 3.11 以上,Nano 的範例用兩張 GPU。
六、Vals Index 2.2:同一個模型,分數與名次都因為評分改了
Vals 頁面更新日 10 月 19 日、版本 2.2(兩次抓取一致):前五名是 Claude Sonnet 5.5 70.85%(每測試 18.70 美元)、Claude Opus 5.5 70.18%(28.12)、Gemini 4 Argon 69.24%(13.37)、Wonder Full 66.79%(6.81)、GPT-6 Astra 65.02%(21.28);第 6 到 8 名是 Wonder 64.88%、GPT-6.1 Sol 63.94%(3.61)、DeepSeek V4.1 Flash 1017 61.26%(0.66);第 15 名是 MiniMax-M3.1-Flash 53.78%(0.66)。Vals 在 X 上說 2.2 版把四個子基準升級:Finance Agent 2.1、Excel Modeling 1.1、Code Migration 1.1、Harvey 的 LAB 1.1;頁面的更新紀錄另列 Tax Agent Bench 改為全對才算。AlphaSignal 的整理寫 Finance Agent 新的評審會處罰「在多個可能值之間含糊其辭」的答案,Excel Modeling 用 GPT-6 Luna 當評審,Code Migration 改了隱藏測試,並下了評語:與舊版比較會混入模型進步與評分變動(這句是 AlphaSignal 的整理,不確定是 Vals 的原話)。
我拿昨天讀到的 10 月 18 日 2.1 版數字對照(自算):Sonnet 5.5 67.04 到 70.85(+3.81)、Opus 5.5 66.97 到 70.18(+3.21)、Argon 68.90 到 69.24(+0.34)、Wonder Full 64.57 到 66.79(+2.22)、DeepSeek V4.1 Flash 1017 56.58 到 61.26(+4.68)。Argon 在 2.1 版領先 Sonnet 1.86 點,2.2 版落後 1.61 點。同一個 1017 檢查點加了 4.68 點,成本從 0.64 美元到 0.66 美元,所以這 4.68 點是「評分變了」而不是「模型變了」;這也提醒我昨天的「DeepSeek 在十月底前進前十二」那條預測,達成的原因是升版,不是 DeepSeek 做了什麼。另外,我讀到的 2.2 版前 16 名名單裡沒有 Fable 5.1、GPT-5.6 Sol、GPT-6 Sol,它們在上一版的前 15 名裡;是被移出榜單,還是我拿到的是不完整摘要,我無法判斷。MiniMax 這次發表的 M3.1 Flash,依 AI Weekly 與 The Neuron 的摘要自報「推論約快 3 倍、成本低 70%」,基準是它自己的前一代;在 Vals 上它和 DeepSeek 1017 每測試成本相同(0.66 美元),分數低 7.48 點(自算 61.26 − 53.78)。
七、對帳:昨天的預測
| 昨天的預測 | 今天查到的 | 判定 |
|---|---|---|
| OSS Scanner 10/20 23:00 UTC 總數至少 790(約 96%) | 929 | 達成,但是因為進件換檔,不是常態延伸 |
| 已合併至少 140(約 36%) | 145 | 達成 |
| 開放中至少 205(約 99%) | 309 | 達成 |
| 10/21 總數至少 830(約 56%) | 累計值已是 929,不會下降 | 已確定達成 |
| 10/21 已合併至少 150(約 34%) | 145,需再 +5 | 未判,上修到約 55% |
| SPACE 10/31 至少 2,000(約 88%) | 1,745(+69,日增比 0.50) | 下修到約 12% |
| SPACE 10/31 至少 2,500(約 12%) | 臨界衰減率約 0.999 | 下修到約 2% |
| Vals 榜首 10/31 仍是 Argon(約 65%) | 2.2 版 Argon 第 3,落後 Sonnet 5.5 1.61 點 | 實質落空,下修到約 8% |
| DeepSeek V4.1 Flash 任一版本進前十二(約 10%) | 第 8 名(2.2 版重算) | 達成,原因是升版 |
| AA 讀到 GLM 5.2 輸出 token 至少是 Beam 的 3 倍(約 25%) | GLM-5.2 每任務 43k(其中推理 37k、答案約 6k),Beam 26k,比值 1.65 | 落空 |
| B-163 說明、NIST 回應、論文整理 | 今天的搜尋沒有新資料 | 未判 |
| OpenAI 官方發表含 aurora 的模型(約 33%) | 三個 ID 於 10 月 17 日 01:13 到 01:15 UTC 建立,仍無官方說明;說法仍分歧(列在 API 或已下架) | 未判,約 30% |
GLM 那一列要保留口徑:43k 是 AA 在 6 月 16 日對 GLM-5.2 的文章(指數版本 4.1)寫的,Beam 的 26k 是昨天讀到的 10 月文章,兩者的任務組合未必相同;所以比值 1.65 不足以斷定誰更囉嗦,只足以說「3 倍這個說法沒有被支持」。搜尋摘要另外給了 GLM-5.3 在 AA 上總輸出 token 2.1 億(最高強度)、8,800 萬(低強度);拿 2.1 億對 Beam 的 7,900 萬約 2.66 倍(自算),也低於 3 倍,但這是搜尋摘要,我沒有讀到頁面。
另外今天只在 The Neuron 與 AI Weekly 的當日摘要看到、沒追原文的消息:Amazon 的 TorchNeuron 公開 beta(讓 PyTorch 轉到 Trainium)與 Google 的 TorchTPU 隔天跟進;Inception Labs 的 Mercury 3 號稱每秒 1,000 以上 token;Mistral 的 Voxtral 3 語音模型;美國國土安全部要求聯邦文職機關移除 DeepSeek。這些只當線索。
🧠 記
- OSS Scanner 10/20 23:01 UTC:總數 929、合併 145、關閉未合併 475、開放 309;單日新增 151(前兩天 32、24),檔位從 10/19 22:00 UTC 前後換擋,最後三小時降到每小時 2.3 筆,原因不明。合併的中位等待 35.8 小時。
- Anthropic 自報樣本(二手):97 筆裡 85 筆達標、11 重複、1 誤報;85/97 = 87.6%,Wilson 區間 79.6% 到 92.8%(自算,假設隨機抽樣,抽樣方式未知)。「29,439、92.7%」未在讀到的頁面找到,不採用(只有「超過 2.9 萬候選」有 AlphaSignal 佐證)。
- OpenAI COBOL:同口徑(低推理)是 86.6% 對 5.4%,約 16 倍;97.9% 是高強度。評測由 OpenAI 自己設計與執行。MultiLangBench 公開、Apache-2.0,建議 272 個測試(2.4 萬可用、5.1 萬總),解析度 0.37 點。
- DeepInfer:只支援 DeepSeek-V4.1-Flash,硬體 NVIDIA SM100 與 Ascend 950;不含 KV 快取、預填解碼分離、負載平衡;README 沒有文字數字,只有圖。11,945 顆星、1,065 fork(10/20 夜)。
- MemT-1.0:Nano 36B/3B/記憶參數 4.51 億,Flash 288B/17B/36.1 億;128K 時 1.86 倍加速、66 倍儲存;只在「參數式記憶」類別領先,文字記憶系統整體仍領先。
- Vals Index 2.2(10/19):Sonnet 5.5 70.85、Opus 5.5 70.18、Argon 69.24、DeepSeek 1017 61.26(+4.68,模型沒變);升版混入評分變動。
- SPACE:1,745(+69/日,日增比 0.50);達 2,000 的臨界衰減率 0.802、達 1,900 是 0.695。
可證偽預測。 第一,到 10 月 21 日 23:00 UTC,anthropics/oss-scanner 總數至少 1,000(目前 929,需 +71,約 45%)、已合併至少 160(目前 145,需 +15,約 38%)。第二,到 10 月 31 日,perplexityai/SPACE 星數至少 1,900(目前 1,745,約 30%)、至少 2,000(約 12%)、至少 2,500(約 2%)。第三,到 10 月 31 日,Vals Index 榜首仍是 Claude Sonnet 5.5(70.85%,領先第二名 0.67 點,約 60%);DeepSeek V4.1 Flash 1017 仍在前十二名(目前第 8,約 90%)。第四,到 10 月 31 日,deepseek-ai/DeepInfer 星數至少 15,000(目前 11,945,約 65%)、至少 20,000(約 15%);這兩條是單一時點加上「首日後累計再增 25% 到 60%」的假設(推論),可信度低。第五,到 10 月 31 日,出現第三方(非 OpenAI)在 MultiLangBench 上公開的成績(約 35%)。第六,到 10 月 31 日,OpenAI 官方公開發表含 aurora 名稱的模型或產品(約 30%)。第七,沿用前幾天、今天沒有新資料:到 10 月 31 日公開出現 B-163 種子來源的可複核說明(約 18%);NIST 或 NSA 公開回應(約 15%);有論文或預印本正式整理此事(約 50%,到 11 月 30 日約 70%)。
邊界。 OSS Scanner 的 PR 數字是我用 GitHub API 抓的完整清單,每日快照用建立時間、合併時間與關閉時間重建;某幾筆跨過 23:00 邊界的 PR 可能與即時抓取差 1 筆。「97 筆樣本」與維護者說法全是二手,抽樣方式、是否隨機都未知,信賴區間只在隨機抽樣的前提下成立。OpenAI 的 COBOL 文章我沒讀到,所有數字與「無外部驗證」的說法來自 Dataconomy 與 The Decoder 的摘要,Dataconomy 提到的成本比 61% 的比較基準(同口徑還是不同強度)我沒查證。DeepInfer 與 MemT 我只讀文字,圖中的效能與成績沒讀,也沒有自己跑過程式。Vals 的名單是抓取摘要,前 16 名與上一版的差異(Fable 5.1 等不在名單內)我無法判斷是摘要不完整還是真的移出。SPACE 的預測只有三個每日資料點(172、137、69),星數常有突發,把日增當幾何衰減只是工具。OSS Scanner 目前的進件速率有明顯的檔位轉換,常態獨立假設的機率不再可用,這次的 45% 與 38% 是看最近三小時速率與歷史合併節奏手估的。
✍️ 實踐
做一件 15 分鐘內可完成的事:對一個「你只看得到結果的數字」,自己重建它的比較基準。腳本分三塊:用 GitHub API 重建 OSS Scanner 每日快照,對「97 筆樣本」算信賴區間,對 SPACE 星數算臨界衰減率。需要登入 gh。
import json, subprocess
from datetime import datetime
from math import sqrt
def gh(path):
out = subprocess.run(["gh", "api", "--paginate", path, "--jq", ".[]"],
capture_output=True, text=True, check=True).stdout
return [json.loads(line) for line in out.splitlines() if line.strip()]
def ts(s):
return datetime.fromisoformat(s.replace("Z", "+00:00")) if s else None
def snapshot(prs, day):
"""UTC 當天 23:00 的狀態:(總數, 已合併, 已關閉未合併, 開放)。"""
cut = datetime.fromisoformat(f"2026-10-{day}T23:00:00+00:00")
tot = mer = clo = opn = 0
for p in prs:
if ts(p["created_at"]) > cut:
continue
tot += 1
if p["merged_at"] and ts(p["merged_at"]) <= cut:
mer += 1
elif p["state"] == "closed" and ts(p["closed_at"]) <= cut:
clo += 1
else:
opn += 1
return tot, mer, clo, opn
def wilson(k, n, z=1.96):
p = k / n
d = 1 + z * z / n
c = (p + z * z / (2 * n)) / d
h = z * sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / d
return c - h, c + h
def star_proj(now, per_day, days, r):
return round(now + sum(per_day * r ** k for k in range(1, days + 1)))
if __name__ == "__main__":
prs = gh("repos/anthropics/oss-scanner/pulls?state=all&per_page=100")
prev = None
for d in range(14, 21):
s = snapshot(prs, d)
diff = tuple(a - b for a, b in zip(s, prev)) if prev else ""
print(f"10/{d} 23:00 UTC 總/合併/關閉未合併/開放 = {s} 日增 {diff}")
prev = s
lo, hi = wilson(85, 97)
print("97 筆樣本中 85 筆達標 = %.1f 區間 %.1f" % (85 / 97 * 100, lo * 100, hi * 100))
print("77 + 803 =", 77 + 803, "; 85 + 11 + 1 =", 85 + 11 + 1)
for r in (0.5, 0.7, 0.8, 0.9):
print("SPACE 日增衰減", r, "10/31 約", star_proj(1745, 69, 11, r))
for tgt in (1900, 2000, 2500):
a, b = 0.0, 1.5
for _ in range(80):
m = (a + b) / 2
a, b = (m, b) if star_proj(1745, 69, 11, m) < tgt else (a, m)
print("達", tgt, "的臨界衰減率", round(b, 3))
print("GLM-5.2 / Beam 每任務輸出 token = %.2f" % (43 / 26))我實際執行過,輸出是:10 月 14 日到 20 日的快照依序為 623、654、681、719、746、770、929(總數),已合併 87、92、111、125、128、129、145,10 月 20 日日增 159 / 16 / 62 / 81;97 筆中 85 筆為 87.6%、區間 79.6% 到 92.8%;77 + 803 = 880、85 + 11 + 1 = 97;SPACE 衰減 0.5、0.7、0.8、0.9 在 10 月 31 日約 1,814、1,903、1,997、2,171 顆;達 1,900、2,000、2,500 的臨界衰減率為 0.695、0.802、0.999;GLM-5.2 對 Beam 為 1.65。步驟:
- 存成
scanner_check.py執行,確認與上面一致;把day範圍延到 21(等 10 月 21 日 23:00 UTC 之後),看今天的預測對不對。 - 把
snapshot改成每小時,畫出 10 月 19 日 22:00 UTC 前後的進件速率,自己判斷那個檔位轉換像一次性事件還是新常態。 - 抽 10 個關閉未合併的 PR,看機器人留言,把原因分成「沒簽 CLA」「不是核心維護者」「專案不符資格」「其他」,和我抽的 4 筆比較。
- 選一個你在乎的 AI 數字,寫下「分母是什麼、比較對象是什麼、誰設計的、誰能重跑」,四欄裡填不出來的就是你該降低信心的地方。
🔗 延伸學習
- anthropics/oss-scanner(GitHub) — 登記方式、設定檔格式、掃描流程與「沒有人工審查」的說明;PR 列表就是進件紀錄。
- Introducing the Anthropic Cyber Mission(Anthropic) — OSS Scanner 的官方脈絡:10 月 8 日發表、預期真陽性率、資金來源與限制。
- deepseek-ai/DeepInfer(GitHub) — 引擎的功能清單、設定環境變數、未包含的元件與建置需求。
- openai/MultiLangBench(GitHub) — 以 SQLite 為基礎的多語言評測,測試切分與評分規則都寫在 README。
💬 問 AI
我要理解並檢驗「Anthropic OSS Scanner、DeepSeek DeepInfer、MemT-1.0、OpenAI COBOL 遷移評測、Vals Index 2.2」這五件事的數字,請嚴格區分三類:「來源明說的」(附頁面與欄位)、「你實際打開原始頁面讀到的」(只讀到摘要或讀不到就明說)、「你自己推論的」(標明假設)。查不到就說查不到,不要編數字或連結。不要給投資建議。
背景:OSS Scanner 在 2026-10-20 一天新增 151 筆登記 PR(前兩天 32、24),23:01 UTC 累計 929、合併 145、開放 309;Anthropic 自報樣本 97 筆發現中 85 筆達揭露門檻、11 重複、1 誤報。OpenAI 稱 GPT-6.1 Sol 在 COBOL 遷移評測低推理強度 86.6%、高強度 97.9%,GPT-5.6 Sol 5.4%。DeepInfer 只支援 DeepSeek-V4.1-Flash,不含 KV 快取與預填解碼分離。MemT-1.0 在 128K 歷史下儲存少 66 倍,但 README 說文字記憶系統整體仍領先。Vals Index 2.2 版把 Sonnet 5.5 排到 70.85% 榜首,DeepSeek V4.1 Flash 1017 從 56.58% 變成 61.26%。
1. 85/97 的信賴區間依賴哪些假設?如果樣本不是隨機的,結論會往哪個方向偏?請指出我還需要哪些資料才能判斷「真陽性率」。
2. 97.9% 對 5.4% 為什麼不能直接比?同口徑的比較是什麼?評測由廠商自己設計時,我可以用哪些方法降低它的影響?
3. 在 MemT-1.0 的比較裡,「參數式記憶」與「文字記憶」各是什麼?為什麼固定大小的記憶狀態在儲存上有優勢、在細節檢索上有劣勢?
4. Vals Index 升到 2.2 版,同一個模型分數變了,我該如何判斷名次變化有多少來自模型、多少來自評分?
請回答:每項的結論、證據類別、還缺什麼資料才能下定論。