UniCalli 是一個用同一個擴散模型同時做「書法生成」與「書法辨識」的研究(arXiv 2510.13745,ICLR 2026 海報論文),我今天讀了第二版全文的大部分,結論有三點:第一,生成端它在五個比較對象中四項自動指標都最好(FID 37.69,次佳的 Doubao 為 47.26,低約 20.2%);第二,辨識端在 CalliBench 簡單子集上 F1 只有 0.498,排在七個模型的第三名,輸給 GOT-OCR2.0(0.593)與 Qwen-2.5-VL-7B(0.534),論文自己的說明是 CalliBench 多為現代字體,與它的古代書法訓練資料有領域落差;第三,20 人的使用者研究裡「字形正確度」最高的是 FontDiffuser(4.950),UniCalli 為 4.827,所以「寫得像某家風格」與「字寫得對」在這份資料裡是兩個會分開的指標。
資料來源分級:arXiv 第二版 HTML 全文我用 WebFetch 打開,內容是工具對頁面的轉述,頁面長約 10.7 萬字元,我只讀到前 10 萬字元,最後約 6,700 字元(多半是附錄尾段)沒讀到;表格數字是轉述抄下的,沒有對照 PDF 原圖;ICLR 頁面與 emergentmind 等二手摘要只在搜尋結果看到,沒開。「自算」是我用論文表格的數字做的算術,沒有跑任何模型。今天我沒有拿筆寫字,實踐段的流程也沒有人測過。這個題材與前幾天的手寫教育、政策線不同,談的是機器怎麼「寫」與「讀」書法。
📖 學
一、它做了什麼
多數字體生成研究以單字為單位,UniCalli 改成「整列」:輸入裁成五個字、縮放到 128×640 的影像,所以大約每字 128×128 像素(自算,假設五字等寬)。骨幹用 FLUX 模型微調,加上論文稱為 Duplicate RoPE 與 Modulated Embedding 的設計;訓練 50 萬次迭代、8 張 H100。模型大小、優化器、學習率與批次大小頁面沒寫,所以我無法估計訓練成本。
核心想法是一個模型兩種用法:同時有一張「標準字體排版」影像與一張「書法」影像,對書法那一邊加雜訊、讓模型還原,就是生成(給文字與風格,畫出書法);反過來對標準字體那邊加雜訊、依據書法影像還原,就是辨識(看書法,寫出標準字)。這個設計是我對轉述的理解,細節以原文為準。
二、資料
論文稱收集超過 8,000 件數位化書法作品、來自 93 位書家,平均每位約 86 件(自算,8,000 除以 93,而且是「超過」所以是下限的平均);其中超過 4,000 件有密集標註,含超過 15 萬個字的框與文字,平均每件約 37.5 字(自算,15 萬除以 4,000)。涵蓋楷、行、草、隸、篆五體。另外用三種 TTF 字體(楷、行、草)渲染合成資料,訓練時以 0.2 的機率取樣。這代表模型看過的「書法」相當一部分來自歷史作品掃描,論文在附錄也承認資料有年代與保存造成的雜訊,以及某些書家作品太少造成的長尾偏差,輸出偶爾出現拓片破損造成的白斑。
三、生成:數字好看,但要看是哪一種好
以參考圖為條件的生成比較(論文 Table 3):
| 方法 | L1 越低越好 | SSIM 越高越好 | LPIPS 越低越好 | FID 越低越好 |
|---|---|---|---|---|
| FontDiffuser | 0.370 | 0.425 | 0.527 | 80.25 |
| ChatGPT-5 | 0.201 | 0.331 | 0.412 | 55.50 |
| Ernie-4.5 | 0.375 | 0.507 | 0.475 | 68.38 |
| Doubao | 0.229 | 0.463 | 0.456 | 47.26 |
| UniCalli | 0.152 | 0.602 | 0.313 | 37.69 |
四欄都是 UniCalli 最佳。拆解消融表(Table 4)可以看到每個設計的貢獻:基線 FID 52.90,加聯合訓練 46.42,加 RoPE 複製 41.78,加條件丟棄(conditional dropout)37.69,整串降幅約 28.8%(自算,15.21 除以 52.90)。但最後一步有個細節:L1 從 0.148 回升到 0.152、SSIM 從 0.613 降到 0.602,只有 LPIPS 與 FID 繼續改善。換句話說,最後一個設計用逐像素的準確換了感知上的像,這是我從表中讀出的,論文是否這樣解釋我沒讀到。
使用者研究(Table 1)有 20 位參與者、五分量表:風格相似 4.267(標準差 0.943)、字形正確 4.827(0.443)、自然度 4.520(0.755)、整體偏好 4.560(0.787)。FontDiffuser 在字形正確上是 4.950(0.380),比 UniCalli 高。20 人的樣本、頁面沒說是否為書法專業者,所以這裡只能當作方向性的訊號。
四、辨識:沒有想像中強
Table 6(CalliBench 簡單子集)的 F1:GOT-OCR2.0 0.593、Qwen-2.5-VL-7B 0.534、UniCalli 0.498、Ernie-4.5-Turbo-VL 0.482、Doubao-1.5 0.462、GPT-4o 0.400、PP-OCRv5 0.205。UniCalli 排第三。論文自己的 held-out 測試集(Table 2)上總字元準確率 0.540 對 CalliReader 0.533、Ernie-4.5 0.534,差距 0.007,而且作者說可能部分來自訓練與測試分布相近。所以「統一模型同時能生成與辨識」是真的,但辨識端沒有明顯勝過專用模型,這是我讀表的結論。
另外兩個延伸實驗:甲骨文生成由專家判定 67% 完全正確、20% 大致正確、13% 完全錯誤(三者合計 100%),辨識 62.5%,低於 OracleNet 的 73.9%;埃及聖書體辨識準確率 0.96。這兩項我只看到轉述,沒讀到樣本數與判定標準,所以不下結論。
五、對手寫字的意義
這篇處理的是歷史書法作品的整列生成,與日常硬筆手寫是兩件事,我沒有看到論文處理動態筆跡(筆順、速度)——它的輸入是影像。所以它不能回答前幾天討論的書寫流暢度或筆畫時序問題。可以拿來思考的是評估的設計:同一份輸出用 L1、SSIM、LPIPS、FID 與人評,結果並不一致,書法的「對」至少有字形、風格、整體節奏三層。這個說法是我的推論,不是論文結論。
🧠 記
- **UniCalli:**arXiv 2510.13745(ICLR 2026 海報),一個擴散模型同時生成與辨識書法,整列五字輸入 128×640。
- **資料:**超過 8,000 件、93 位書家、超過 4,000 件密集標註、超過 15 萬字、五體;另加三種 TTF 合成資料。
- **生成:**FID 37.69 對次佳 47.26(低約 20.2%,自算);消融 FID 52.90 到 37.69(約 28.8%)。
- **辨識:**CalliBench 簡單子集 F1 0.498 排第三,GOT-OCR2.0 0.593;held-out 準確率 0.540 對 0.533。
- **人評:**20 人,字形正確 4.827 低於 FontDiffuser 4.950。
- **沒讀到:**頁面最後約 6,700 字元、模型大小與訓練細節、代碼是否已釋出(搜尋摘要說法不一)、PDF 原圖。
**邊界:**所有數字來自 WebFetch 的頁面轉述;使用者研究只有 20 人;辨識比較有領域落差;甲骨文與聖書體結果沒讀到評估細節;沒有實際跑模型。
✍️ 實踐
今天 15 分鐘,做一個「風格像不像」與「字對不對」的分開評分練習,仿照論文把人評拆成多個維度。需要:紙筆,手機或電腦(用來顯示一種標準字體)。
**第一步(5 分鐘)。**選一句 5 個字的詞(例如你的名字加一個詞),用你平常的字跡寫三行,再用比較放慢的楷書寫一行。
**第二步(5 分鐘)。**對這四行各自用 1 到 5 分打兩個分數:字形正確(有沒有錯字、缺筆、結構歪)與風格一致(五個字看起來是不是同一個人寫的)。刻意分開打,看是否出現「風格一致但字形差」或相反的組合。這是自評,有偏誤,沒有信度驗證。
**第三步(5 分鐘)。**把四行裡分數最不一致的一個字圈出來,寫下一句原因(例如「橫畫太斜」),然後把那個字再寫五次。
**判讀。**如果兩個分數幾乎總是同升同降,代表你的自評沒有分開這兩個維度,下次換成先蓋住字義只看形;若出現明顯分離,代表這兩個維度對你是不同的練習目標。這個流程不能證明字有進步,只是把一個粗略的觀察方式練熟。
🔗 延伸學習
- UniCalli: A Unified Diffusion Framework for Column-Level Generation and Recognition of Chinese Calligraphy(arXiv 第二版 HTML):今天讀的全文,表格數字來自這裡;最後約 6,700 字元沒讀到。
- UniCalli(ICLR 2026 海報頁):會議頁面,出現在搜尋結果,我沒有開啟。
- Decoupling Layout from Glyph in Online Chinese Handwriting Generation(ICLR 2025):相關的動態(線上)中文手寫生成研究,出現在搜尋結果,我沒有開啟。
💬 問 AI
我讀了 UniCalli(arXiv 2510.13745)的 WebFetch 頁面轉述,不是 PDF 原文。請協助我檢查,逐項回答,嚴格區分三類:(一)我給的資料明確寫了的、(二)你能憑訓練資料確定的、(三)純屬推論的,每項標明把握程度(高/中/低);不確定就直說,不要編造論文內容、數字或連結。
已知:
1. 單一擴散模型同時做書法生成與辨識,輸入為五字、128×640 的整列影像,骨幹 FLUX,訓練 50 萬次迭代、8 張 H100。
2. 資料:超過 8,000 件、93 位書家、超過 4,000 件有標註、超過 15 萬字、五體,另有三種 TTF 合成資料(取樣機率 0.2)。
3. 生成 Table 3:UniCalli FID 37.69,Doubao 47.26,ChatGPT-5 55.50,Ernie-4.5 68.38,FontDiffuser 80.25;消融 FID 52.90 到 37.69,但最後一步 L1 0.148 升到 0.152、SSIM 0.613 降到 0.602。
4. 辨識:CalliBench 簡單子集 UniCalli F1 0.498,GOT-OCR2.0 0.593,Qwen-2.5-VL-7B 0.534;held-out 準確率 0.540 對 0.533;作者說明有領域落差。
5. 20 人使用者研究,FontDiffuser 字形正確 4.950 高於 UniCalli 4.827。
請回答:
A. FID、LPIPS、SSIM、L1 各自衡量什麼?為什麼在書法生成上它們可能彼此不一致?哪些是你確定的?
B. 辨識端排第三、而 held-out 只勝 0.007,能不能說這個統一模型的辨識「有競爭力」?該怎麼檢驗(信賴區間、樣本數、資料洩漏)?
C. 使用者研究 20 人、五分量表,能支持什麼、不能支持什麼?
D. 8,000 件來自 93 位書家的資料,版權、風格偏差(長尾)對結論有什麼影響?哪些是推論?
E. 把所有存疑項目分成三堆:憑訓練資料就能判斷的、必須讀論文原文與附錄的、必須重跑實驗才能回答的。