Transformers 是這張圖上唯一一個放在 S 級、但金融領域的實證證據不支持該位置的模型。同一張圖把一層線性模型就能擊敗的架構放 S 級、把大規模實證研究中表現最好的樹模型放 D 級，這個組合最合理的解釋不是作者判斷錯誤，而是這一格反映的是 2023–2026 年通用 AI 的聲量，不是金融實證。
這篇先把機制講清楚，再分三類任務分別給出證據，最後說明它在哪些地方確實值得 S 級。
📖 注意力機制
每個位置對所有其他位置計算相容性分數，再以此加權取值。 是縮放項，防止高維下內積過大把 softmax 推進飽和區。多頭注意力把這件事平行做若干次再串接，讓不同的頭學不同的關係類型。
關鍵結構性質：自注意力本身是置換不變的。 把序列順序打亂，注意力的輸出集合不變。時間順序完全靠位置編碼這個外加項傳遞。
這個性質在自然語言上是優點——它讓模型能直接連結相距很遠的詞，不必像 RNN 那樣逐步傳遞。在時間序列上，它是 Zeng 等人批評的核心：他們主張 Transformer 擅長的是在長序列中萃取元素間的語意關聯，而時間序列建模要萃取的是有序連續點之間的時序關係，置換不變的自注意力不可避免地造成時序資訊損失。
計算複雜度為序列長度的平方 ，這在長序列上是實質限制，也是 Informer、Autoformer 等變體的主要改進方向。
📖 證據一：長期時間序列預測——線性模型全面勝出
Zeng、Chen、Zhang、Xu，Are Transformers Effective for Time Series Forecasting?（arXiv 2022-05，AAAI 2023）。
他們構造了一組一層線性模型 LTSF-Linear（其中 DLinear 先把序列分解為趨勢與殘差，再各用一層線性網路建模），在九個真實資料集上與當時的 Transformer 類長期預測模型比較。
結果：LTSF-Linear 在全部案例中勝出，而且往往幅度很大。
他們對「那之前的論文為何顯示 Transformer 有效」給了一個具體的解釋：那些增益主要來自這些方法採用的非自迴歸直接多步（DMS）預測策略，而不是 Transformer 萃取時序關係的能力。更早的非 Transformer 基準多半是自迴歸的，因誤差累積而長期預測能力差——被比下去的是自迴歸，不是非 Transformer。
這是一個方法論上的重要教訓：兩個模型的比較，差異可能來自你沒在比的那個維度。
📖 證據二：股價與報酬預測——結論不一致
| 研究 | 結果 |
|---|---|
NVIDIA 單股（1999–2025），比較 XGBoost／LSTM／Transformer | Transformer 準確率、召回率、F1 最佳；LSTM 中長期趨勢捕捉較好 |
A 股 5,000 餘家（2013–2024） | LSTM 與 Transformer 在準確度與尾部風險控制上優於傳統基準，但Transformer 有系統性高估偏誤 |
標普 500 | Transformer 整體最佳，方向準確率約 69% |
| 特斯拉單股，比較 LSTM／GRU／Transformer | Transformer 表現最差 |
| TSX，含預訓練 Transformer | XGBoost 選出的股票在部分比較中報酬更高；報酬最高的模型並非準確率最高的模型 |
滬深 300 波動率（混頻資料） | XGBoost 具競爭力；Transformer 僅在部分損失指標上最佳 |
讀這張表的方式，不是數誰贏的次數。 三個模式比勝負重要：
- 結果隨資料集、期間與指標翻轉，這是典型的「效果不存在或很小」的特徵——真實的大效果不會這樣。
- 多數研究是單股或短期間，樣本外的統計效力不足以區分模型。
- 準確率高不等於報酬高（TSX 研究直接報告了這一點）。分類準確率與交易損益之間隔著部位大小、交易成本與尾部不對稱，這個落差在金融機器學習論文中被系統性地忽略。
📖 為什麼金融與自然語言不同：資料不會長大
Transformer 在語言上的成功建立在規模法則上——參數、資料、算力同步放大，損失可預測地下降。金融資料無法參與這個交易。
美股日頻資料從 1962 年 CRSP 算起約 16,000 個交易日。橫斷面加上五千檔股票看似把樣本放大了五千倍，但個股報酬高度相關（一個市場因子就解釋掉很大一塊），有效獨立樣本遠小於原始計數。而真正決定模型能否泛化的，是經歷過多少個不同的市場狀態——那個數字是個位數到數十。
語言模型可以靠多爬一些網頁把資料加倍；金融歷史以每年一年的速度增長。 這不是工程問題，沒有解法。
這條推論與 線性迴歸那篇的偏誤－變異分解是同一件事的兩種說法：在資料量固定且訊噪比極低時，增加模型容量帶來的變異上升，壓過偏誤下降。
📖 Transformers 在金融確實站得住的三個地方
第一，文本與另類資料。 法說會逐字稿、新聞、10-K、央行聲明、社群情緒——這些是純粹的自然語言任務，Transformer 在此無可爭議地是最先進的方法。這一點值得 S 級，但它是一個 NLP 的主張，不是量化建模的主張。 用 BERT 類模型從財報電話會議萃取情緒分數，再把分數餵給一個線性因子模型，是當前相當典型的工作流——而最後做決策的往往還是線性模型。
第二，高頻與限價單簿。 這裡「資料不夠」的反對意見顯著減弱：單一交易日就有數百萬筆事件。DeepLOB（Zhang、Zohren、Roberts，2018）是這個領域的基準，但它是卷積加 LSTM，不是 Transformer。LiT（Xiao 等，Frontiers in Artificial Intelligence，2025-10）以結構化 patch 加自注意力再接 LSTM，報告在多個預測視野上優於傳統機器學習與 CNN 基準，並稱經微調後在分布偏移下仍穩健。
第三，跨資產的注意力。 把注意力用在資產之間而非只在時間上，讓模型學習哪些資產在當下與目標資產相關——這是一個 Transformer 原生適合而線性模型難以表達的結構。這條路線目前證據仍少。
📖 我的評價
整體 B 級。 拆開看則是：
| 任務 | 級別 | 理由 |
|---|---|---|
| 金融文本處理 | S | 無爭議的最先進方法 |
| 限價單簿／高頻 | B | 資料量支持，但相對 CNN+LSTM 基準的優勢尚未確立 |
| 日頻以上的價格預測 | C | 一層線性模型是強勁對手；結果不跨資料集穩定 |
| 衍生品定價 | 不適用 | 無套利結構無法從資料學出來 |
S 級不成立的理由不是「Transformer 不好」，而是「這張圖沒有分任務」。 把一個在某類任務上最先進、在另一類任務上輸給一層線性網路的架構壓成單一等級，必然丟失全部有用的資訊。
🔍 待解問題
- 業界實際部署情形無公開資料。 金融業有效的方法不會發表，所以學術證據與機構實務的落差在此特別大。任何「大型基金都在用／都不用 Transformer」的斷言都無法證實。
- LiT 等 Transformer LOB 模型是否穩健優於 DeepLOB，目前只有作者自報結果，缺乏獨立複現。
- Zeng 等人的結論是對
2022年之前的架構；PatchTST、時序基礎模型等後續工作是否改變結論，本篇未系統檢視。 - 「有效獨立樣本遠小於原始計數」是機制推論，本篇未引用特定的有效樣本數估計研究。
🔗 參考連結
- Zeng 等, Are Transformers Effective for Time Series Forecasting?（arXiv 2205.13504）
- AAAI 2023 正式版本
- Zhang, Zohren, Roberts, DeepLOB（arXiv 1808.03668）
- Xiao 等, LiT: limit order book transformer（Frontiers in AI, 2025）
- A 股大樣本深度學習研究（Financial Innovation, s40854-026-00929-6）
🕒 更新紀錄
- 2026-11-09：建立。