Moonshot AI 在 11 月 4 日前後把 Kimi K3.1 Pro 的權重放上 Hugging Face,這是一個 2.8 兆參數(啟用 104B)、百萬 token 上下文的開放權重模型,且發布前刻意拿掉資安攻擊相關的訓練資料。昨日(LLMjacking)談模型存取被盜用,今天換成「開放權重要不要、能不能管能力上限」的另一端。
讀到的程度:我讀到 Hugging Face 模型卡(經網頁摘要工具讀取,非逐字全文)與 VKTR 的報導摘要,另有 aiweekly 的當日彙整頁;所有基準分數都是 Moonshot 自報,我沒有找到獨立複測。兩個來源對幻覺指標的數字不同(見下),我如實並列。
📖 學
一、規格:很大,但每個 token 只動一小部分
依模型卡,K3.1 Pro 是 MoE 架構,總參數 2.8T、每 token 啟用 104B;93 層(其中 1 層為稠密層),896 個專家每 token 選 16 個,另有 2 個共享專家;注意力層混用 69 層 KDA 與 24 層 Gated DSA;上下文長度 1,048,576 token,詞表約 160K。它是原生多模態,圖像由 401M 參數的 MoonViT-V2 編碼器處理。權重以 MXFP4、啟用值以 MXFP8 發布,並做過量化感知訓練。依 VKTR,它是七月推出的 Kimi K3 的後訓練版本,API 在 10 月 23 日先上線,權重則預告 11 月 4 日前釋出。
二、授權:不是標準開源授權
模型卡寫的是自訂的「Kimi K3.1 Pro License」,不是 MIT 或 Apache。我只讀到授權名稱,沒有讀到條款內容,所以商用限制、再散布規則我無法判斷。VKTR 與多篇發布前的報導都沒提授權,這也是為何「開放權重」不等於「可以隨意商用」,使用前必須讀條款原文。
三、基準:接近第一梯隊,但強弱分明
以下皆為 Moonshot 自報(最大推理強度,各基準的測試框架不一,部分為內部基準)。
| 基準 | K3.1 Pro | 對照 |
|---|---|---|
| Terminal-Bench 4.0 | 65.7 | Opus 5.5 為 66.4、GPT-6 Astra 為 58.2 |
| SWE Marathon v1.1 | 51.7 | Opus 5.5 為 46.3、Astra 為 42.5 |
| OfficeQA Pro v2 | 64.4 | Opus 5.5 為 62.2、Astra 為 54.4 |
| Program Bench | 31.5 | Opus 5.5 為 65.0、Astra 為 50.0 |
| Terminal-Bench-Science 0.1 | 38.1 | Opus 5.5 為 63.3、Astra 為 68.1 |
| HLE-Diamond | 39.4 | Astra 為 65.8 |
領先的集中在長程軟體工程與辦公問答,落後的在程式產出(Program Bench)、科學任務與高難度推理題。所以「逼近閉源前緣」這種說法只在部分基準成立。模型卡另列 BrowseComp 92.1、GPQA-Diamond 94.2。
四、發布前拿掉的資安能力
這是今天最值得細看的設計選擇。依 VKTR,Moonshot 從通用的 mid-training 語料移除資安相關內容,並從強化學習環境移除資安任務。它在內部漏洞利用基準 xdev-bench-hard 上的數字是:未做緩解的檢查點解出 90.5%,釋出版本 81%,而 K3 為 33.3%。也就是說,「拿掉」並未讓它退回 K3 的水準,仍比 K3 高出一大截;Moonshot 的說法是不想讓開放權重推進資安攻擊能力的前緣,並計畫逐步提高開放版本的上限。我的判讀:這是資料層面的緩解,不是能力清零,而且開放權重一旦下載,使用者可以再微調,這類限制本質上只能提高門檻、無法執行。另外模型卡本身沒有列出資安用途的使用限制,只報告了 ExploitBench、ExploitGym 等結果。
五、幻覺指標:兩個來源對不上
模型卡稱 Kimi Hallucination Bench 為 5.4(越低越好),是比較組中最低;VKTR 則寫內部的 Kimi Hallu Bench Hard 從 K3 的 23.4% 降到 8.3%,GPT-6 Astra 為 5.5%,且 Moonshot 自己說這是對抗性測試,不代表日常錯誤率。兩者可能是不同子集或版本,我無法確認,所以不要把任一數字當成「日常幻覺率」。
六、實際使用要點
API 型號為 kimi-k3.1-pro,提供與 OpenAI、Anthropic 相容的端點;推薦以 vLLM、SGLang 或 TokenSpeed 自行部署。推理強度用 reasoning_effort 設為 low、high 或 max(預設 max)。多輪與工具呼叫時,必須把完整的助理訊息(含 reasoning_content 與 tool_calls)傳回,不能只回 content。另有較快的 Highspeed 版本,Moonshot 稱快兩到三倍。以 2.8T 的規模,即使 MXFP4 也需要多卡叢集,個人電腦跑不動,這點是我依參數量的估計,不是模型卡的說法。
🧠 記
- K3.1 Pro:2.8T 總參數、104B 啟用、1M 上下文、MXFP4 權重;授權為自訂的 Kimi K3.1 Pro License,條款我沒讀到。
- 基準全是自報:Terminal-Bench 4.0 為 65.7,對 Opus 5.5 的 66.4 差 0.7;但 Program Bench 與科學任務明顯落後。
- 資安資料被移除,內部漏洞利用基準仍有 81%(K3 為 33.3%),是緩解而非清零。
- 幻覺指標兩來源數字不同(5.4 對 8.3%),不可混用。
✍️ 實踐
- 想實際採用前,先到模型卡讀完授權全文,確認商用、再散布與使用情境限制。
- 用自己的任務(而非廣告基準)做 20 題小型對照:同樣的提示分別丟給 K3.1 Pro 與目前使用的模型,記錄正確率與成本。
- 若計畫自架,先估記憶體:2.8T 參數以 4 位元約需 1.4 TB 級權重空間(粗估),再決定是用 API 還是自架。
- 串接時照模型卡把
reasoning_content與tool_calls完整回傳,否則多輪工具呼叫品質可能下降。
🔗 延伸學習
- Hugging Face:moonshotai/Kimi-K3.1-Pro 模型卡:主要來源,以網頁摘要工具讀取,非逐字全文。
- VKTR:Kimi K3.1 Pro nears top proprietary models as Moonshot limits its cyber skills:二手報導,資安資料移除與基準對照來源,以網頁摘要工具讀取。
- AI Weekly:AI News Today, November 4:當日彙整頁,同日還列 Tencent Hy4 與 Ricursive Ripple-65B,僅讀摘要。
💬 問 AI
我讀到 Moonshot 的 Kimi K3.1 Pro 開放權重(2.8T 總參數、104B 啟用、1M 上下文、MXFP4,自訂授權),Moonshot 自報 Terminal-Bench 4.0 為 65.7、Opus 5.5 為 66.4,且發布前移除了資安相關訓練資料,內部漏洞利用基準釋出版 81%、K3 為 33.3%。
請幫我:
1. 說明 MoE「總參數 2.8T、啟用 104B」對推論成本與記憶體需求各有什麼影響。
2. 分析「從訓練資料移除資安內容」對開放權重的限制效果與侷限(例如後續微調)。
3. 設計一個 20 題的自建評測流程,讓我能比較它與現用模型在我自己任務上的表現。
回答時請標示哪些是模型卡或報導原文說的、哪些可查證、哪些是你的推論。