我的知識庫

AI · 2026-10-08

閱讀時間約 15 分鐘

Anthropic 在 10 月 7 日(週三)發表 Claude Haiku 5.5,官方標價是每百萬 token 輸入 0.1 美元、輸出 0.5 美元,比 Haiku 4.5 便宜 90%,與 OpenAI 9 月 22 日的 GPT-6 Luna 同價。標題上的「便宜 90%」和「平均省 75%」是兩個不同的數字,benchmark 表上最亮眼的成績又是在最高推理強度(max effort)下跑的,預設的中等強度分數低得多。昨天的 AI 稽核 Mistral Large 4 的規格,待辦(10 月底的 config.json 驗證)還沒到期,今天不動它;改用同一套做法處理這次發表:每個數字標來源,能算的自己算,把「標價」換成「一次請求實際花多少、一個任務成功一次花多少」。

📖 學

一、一手來源寫了什麼

我讀到的一手來源是 Anthropic 的發表頁,下面凡是沒標「二手」的都來自這一頁。模型 ID 是 claude-haiku-5-5,AWS、Google Cloud、Microsoft Azure 同日上線。這是 Haiku 級第一個有可調推理強度的模型,檔位是 Low、Med、High、Xhigh、Max。

每百萬 tokenHaiku 5.5(請求 ≤10 萬 token)Haiku 5.5(請求 >10 萬 token)Haiku 4.5Sonnet 5.5
輸入0.1 美元0.5 美元1 美元2 美元
輸出0.5 美元2.5 美元5 美元10 美元
快取讀取0.01 美元0.05 美元0.1 美元0.1 美元
快取寫入0.125 美元0.625 美元1.25 美元2.5 美元

頁面腳註寫:對 Haiku 4.5,10 萬 token 以內的請求便宜 90%,超過 10 萬的請求便宜 50%;同一則腳註還說 Haiku 5.5 換了 tokenizer,「同一個任務會多用一點 token」。另外 Sonnet 5.5 的快取讀取價從 0.2 美元降到 0.1 美元。

官方 benchmark 表(Anthropic 自報,腳註沒有交代推理強度、跑幾次、用什麼 scaffold,也沒寫 GPT-6 Luna 用什麼設定):

項目Haiku 5.5Haiku 4.5GPT-6 LunaSonnet 5.5
GDPval-AA v2.1(Elo)162073514371840
AA-Briefcase v1.1(Elo)157861413361824
OSWorld 2.172.4%15.7%48.9%83.9%
Terminal-Bench 4.039.2%0.0%16.4%70.6%
FrontierCode 1.146.4%未列42.4%52.1%
Humanity’s Last Exam(不用工具)45.9%10.2%未列56.9%
Chartography(不用工具)46.4%6.4%29.1%61.6%

頁面上的客戶引述有幾個具體數字,但都是客戶自己的內部測試:Asana 說延遲降 30% 以上,HubSpot 在 CRM 任務上三次平均 92.8%,Box 說比 Haiku 4.5 高 11 分、延遲約一半。我只讀到頁面擷取,沒有這些客戶的原始評測。

二、「90%」「75%」「推理強度」三件事要分開看

VentureBeat 的報導補了兩點,我只讀到擷取的全文要點:Anthropic 說「綜合請求大小與 token 用量變化,工作負載平均約便宜 75%」;Terminal-Bench 的 39.2% 是在最高推理強度下跑的,預設的中等強度大約 20%。kingy.ai 另外列了預設為 medium、上下文 100 萬 token、單次輸出上限 12.8 萬 token,以及中等強度時 GDPval-AA 1277、AA-Briefcase 1372;它還說 tokenizer 對同一段文字多算約 30% 的輸入 token,OSWorld 的 72.4% 是部分給分、嚴格完成率為 37.1%。這些全是二手,上面的 100 萬上下文與 30% 我在 Anthropic 發表頁上都沒看到(發表頁明說「多用一點 token」,沒給比例,也沒提上下文長度),所以下面的試算把 30% 當成可調的假設,不當事實。

三、自己算一次:標價、請求成本、任務成本

1. 同樣的工作,不同長度的請求

假設 Haiku 4.5 時代的一次請求是輸入 2 萬、輸出 2,000 token,新 tokenizer 讓輸入多 30%(假設),輸出 token 數不變(假設)。

  • Haiku 4.5:20,000 × 1 美元 ÷ 100 萬 = 0.02 美元,加 2,000 × 5 美元 ÷ 100 萬 = 0.01 美元,共 0.03 美元。
  • Haiku 5.5:輸入 26,000 token(仍在 10 萬以內),26,000 × 0.1 ÷ 100 萬 = 0.0026 美元,加 2,000 × 0.5 ÷ 100 萬 = 0.001 美元,共 0.0036 美元。便宜 88%,與標價的 90% 接近。

換成長對話裡的一輪(代理程式跑到後段很常見):輸入 15 萬、輸出 2,000 token。

  • Haiku 4.5:150,000 × 1 ÷ 100 萬 = 0.15 美元,加 0.01 美元,共 0.16 美元。
  • Haiku 5.5:輸入變成 195,000 token,已越過 10 萬門檻,按高價帶 195,000 × 0.5 ÷ 100 萬 = 0.0975 美元,輸出 2,000 × 2.5 ÷ 100 萬 = 0.005 美元,共 0.1025 美元。只便宜 36%。

所以「90%」只在請求不超過 10 萬 token 時成立,到了長上下文就剩三分之一左右。

2. 價格懸崖

腳註的措辭是「超過 10 萬 token 的請求」按高價帶計價,若整筆請求都改用高價(我沒找到逐段計價的說明,這是我對措辭的解讀):9.9 萬 token 的輸入是 9.9 萬 × 0.1 ÷ 100 萬 = 0.0099 美元;10.1 萬 token 是 10.1 萬 × 0.5 ÷ 100 萬 = 0.0505 美元。多 2,000 token,輸入費用變成 5.1 倍。長期運行的代理程式,訊息累積到某一輪會突然換價帶;kingy.ai 也提到 Luna 的門檻放在 27.2 萬 token,比較寬(只讀到摘要)。

3. 一個任務成功一次要多少錢

Terminal-Bench 這類任務只有成功才有價值,所以比較「成功一次的期望成本 = 一次嘗試的成本 ÷ 成功率」。以輸出價格為代表,先假設兩個模型每次嘗試輸出的 token 數相同:

  • Sonnet 5.5:10 美元 ÷ 0.706 = 14.16(單位:每百萬輸出 token 的價格除以成功率)。
  • Haiku 5.5 中等強度(約 20%):0.5 ÷ 0.20 = 2.5,比 Sonnet 便宜 5.7 倍。
  • Haiku 5.5 最高強度(39.2%):0.5 ÷ 0.392 = 1.28,比 Sonnet 便宜 11.1 倍。

反過來看,Haiku 要把任務成本打平 Sonnet,每次嘗試得多花 5.7 倍(中等)或 11.1 倍(最高)的 token。高推理強度吃的 token 通常多很多,但是否多到 11 倍,發表頁沒有給 token 用量,這是這份比較唯一缺的輸入。附帶一提,Sonnet 5.5 那個 70.6% 用什麼強度也沒寫。

4. Elo 差距換算成勝率

GDPval-AA 與 AA-Briefcase 是 Elo 分數;若採標準 Elo 刻度(400 分差對應 10 倍勝負比,這是我的假設,我沒查 Artificial Analysis 的刻度),勝率 = 1 ÷ (1 + 10^(−差距 ÷ 400))。

比較分差前者勝率
Haiku 5.5(max)對 Luna,GDPval-AA1620 − 1437 = +18374.1%
Haiku 5.5(medium,二手 1277)對 Luna1277 − 1437 = −16028.5%
Haiku 5.5(max)對 Sonnet 5.51620 − 1840 = −22022.0%
Haiku 5.5(max)對 Luna,AA-Briefcase1578 − 1336 = +24280.1%
Haiku 5.5(medium,二手 1372)對 Luna,AA-Briefcase1372 − 1336 = +3655.2%
Haiku 5.5(max)對 Haiku 4.5,GDPval-AA1620 − 735 = +88599.4%

同一個模型,GDPval-AA 從最高強度換到預設強度,對 Luna 從占優 74% 掉成落後 28.5%,而 Briefcase 只是從 80% 掉到 55%。如果 1277 與 1372 屬實,「勝過 Luna」這句話取決於挑哪個強度、哪個測驗。Luna 本身是用什麼設定跑的,Anthropic 沒說,所以 Luna 欄可能不是 Luna 的最佳成績。

四、與昨天的連結

Mistral 自報 Large 4 在 Terminal-Bench 4.0 為 28.3%(昨天的稿子裡,同為廠商自報);今天 Anthropic 自報 Haiku 5.5 最高強度 39.2%、Luna 16.4%。這三個數字都貼著同一個 benchmark 名稱,但各家的強度、scaffold、重試次數沒有統一,不能直接排序。這與上週 cascade 連載的結論相同:自報數字要搭配評測條件才有意義。

🧠 記

  • 標價降幅與實際降幅是兩回事。Haiku 5.5 的「便宜 90%」只適用請求在 10 萬 token 以內,超過就只有 50%,加上 tokenizer 多算 token,我的長請求試算只省 36%;Anthropic 自己給的平均是 75%。
  • 價格門檻會製造懸崖。9.9 萬 token 的輸入 0.0099 美元,10.1 萬 token 要 0.0505 美元(假設整筆改按高價帶)。
  • 比成本要比「成功一次多少錢」。Haiku 5.5 的成功率只要不低於 Sonnet 5.5 的 1/11(最高強度)到 1/5.7(中等),單位成功成本就更低,前提是每次嘗試用的 token 數相近。
  • benchmark 要同時寫推理強度。39.2% 是 max,預設約 20%;同一個模型會差一倍。
  • 廠商自報加上不同家的設定,不能直接比;Elo 差距要換算成勝率才看得出意義(+183 分約 74%,+36 分約 55%)。

邊界:Haiku 5.5 的價格、模型 ID、benchmark 表與客戶引述來自 Anthropic 發表頁,但我讀到的是抓取後的摘要版本,不是逐字全文;1M 上下文、12.8 萬輸出上限、預設 medium、30% tokenizer 增量、中等強度的 Elo 與 OSWorld 嚴格完成率,全部來自 kingy.ai 或 VentureBeat 的轉述,未經一手來源證實;Luna 的標價來自報導,我沒有直接讀到 OpenAI 的價格頁。試算裡「輸出 token 數不變」「整筆請求按高價帶」「標準 Elo 刻度」都是假設,沒有任何獨立複現這份 benchmark。

✍️ 實踐

今天可以做的是把成本試算放進一段小程式,輸入你自己的請求長度分布,看看你的工作負載落在哪個價帶。數字取自 Anthropic 發表頁的價格表;tokenizer 倍率是參數,先用 1.3(二手說法),拿到自己的實測再換。

def req_cost(inp, out, price_lo, price_hi, mult=1.0, thr=100_000):
    n = inp * mult
    pi, po = price_hi if n > thr else price_lo
    return n * pi / 1e6 + out * po / 1e6
 
H45 = (1.0, 5.0)
LO, HI = (0.10, 0.50), (0.50, 2.50)
 
def haiku55(inp, out, mult=1.3):
    return req_cost(inp, out, LO, HI, mult)
 
def haiku45(inp, out):
    return inp * H45[0] / 1e6 + out * H45[1] / 1e6
 
# 你的請求清單:(輸入 token 數, 輸出 token 數)
reqs = [(20_000, 2_000), (60_000, 1_500), (150_000, 2_000)]
a = sum(haiku45(i, o) for i, o in reqs)
b = sum(haiku55(i, o) for i, o in reqs)
print(f"Haiku 4.5: {a:.4f} 美元;Haiku 5.5: {b:.4f} 美元;省 {1 - b/a:.0%}")
 
# 單位成功成本:每次嘗試輸出價格 ÷ 成功率(假設兩邊每次嘗試 token 數相同)
print(10 / 0.706, 0.5 / 0.20, 0.5 / 0.392)   # 14.16, 2.5, 1.28

步驟:

  1. 從你實際的 API 日誌撈 30 到 50 筆請求的輸入、輸出 token 數,填進 reqs,看總省幅是接近 88%、36% 還是中間。有多少比例的請求超過 10 萬 token,就決定了你有多接近那個懸崖。
  2. 用同樣 20 個你自己的任務,分別在 medium 與 max 跑 Haiku 5.5(如果有 Sonnet 5.5 或 Luna 帳號,也跑),記錄成功數與總輸出 token。你得到的是自己的「成功一次花多少」,比任何 benchmark 都可信。
  3. 把實測的 token 增量(新 tokenizer 是否真的多 30%)回填進 mult,更新第 1 步。
  4. 在筆記記下你測到的強度、日期、次數。三個月後新模型出來,拿同一份任務清單重跑就能比較。

🔗 延伸學習

💬 問 AI

我想評估是否把工作負載從 [填:目前模型] 換成 Claude Haiku 5.5。請嚴格區分三類:「Anthropic 發表頁或 API 文件明說的」(附網址)、「你實際打開讀到全文的」(附網址;只讀到摘要就明說)、「你自己推論的」(標明假設)。查不到就說查不到,不要編,也不要給採用或投資建議。
 
1. 列出 Haiku 5.5 的價格表(輸入、輸出、快取讀寫,10 萬 token 以內與以上兩個價帶)、上下文長度、輸出上限、預設推理強度,每項標明來源類別。
2. 「便宜 90%」與「平均便宜 75%」各自的前提是什麼?新 tokenizer 讓同一段文字多算多少 token,有一手數字嗎?
3. 我的請求分布是 [貼上:輸入/輸出 token 數清單],請逐步算出兩個模型的成本、越過 10 萬 token 門檻的比例,以及價格懸崖的影響。
4. Terminal-Bench 4.0 的 39.2% 與預設強度約 20%,各是什麼推理強度、跑幾次、用什麼 scaffold?GPT-6 Luna 的 16.4% 是什麼設定?
5. 如果我每次嘗試輸出 token 數在 medium 與 max 之間差 [填:倍數],請算單位成功成本,並說明打平點。

反向連結