回測是必要但充滿陷阱的工具
好的因子回測能讓你在花真錢前篩掉壞信號;壞的回測讓你對偽信號充滿信心。這兩種情況在業界都極為普遍。
陷阱一:前瞻偏差(Look-Ahead Bias)
使用了「那個時間點實際上還不知道」的資料。
常見案例:
- 用財報公佈當天的數字,但財報實際公佈是 2–3 個月後
- 用調整後的收盤價(adjusted for splits/dividends),但調整是事後的
- 用 Point-in-Time 資料庫中有錯誤或遺漏的歷史財務資料
如何防止:只用截至彼時點公開可得的資料(Point-in-Time 資料庫);在因子計算時加入足夠的資料延遲(reporting lag)。
quantskills 工具:skill-numerical-leak-check——專門檢查時間序列計算中的未來信息洩漏(lookahead/future-leakage detection)。
陷阱二:數據挖掘與多重測試(Data Mining / Multiple Testing)
在同一份數據上嘗試數百個參數或因子組合,任何顯著性結果都是 p-hacking 的產物。
量化描述:若測試 300 個因子,即使全部是隨機噪音,在 5% 顯著性水準下也預期有 15 個「顯著」因子。
Harvey, Liu & Zhu(2016) 建議:在因子研究中應把顯著性門檻提高到 t-stat > 3.0(而非傳統的 1.96),以抵消多重測試問題。(原文)
McLean & Pontiff(2016) 記錄:學術論文發表的因子異象,out-of-sample 表現平均下滑 26%,在論文發表後資金流入該策略後又再下滑 26%。
陷阱三:因子動物園(Factor Zoo)
Cochrane(2011 AFA 主席演講) 警告:學術界累積了 300+ 個「發表顯著」的因子,但其中有多少是真正獨立的信號?
Hou, Xue & Zhang(2020) 在 Review of Financial Studies 的研究:重新檢驗 452 個已發表的因子異象,發現其中 65% 在嚴格的 t-stat 門檻下無法複製。
「Factor Zoo」的成因:
- 發表偏誤(Publication Bias):顯著結果才能發表,不顯著的「抽屜裡的結果」永遠沒人知道
- 研究者自由度(Researcher Degrees of Freedom):在哪個時期、哪個市場、用什麼指標定義,每個選擇都增加一層自由度
- 相同底層信號的不同包裝(如動能有幾十種計算變體,本質都是同一件事)
主張(誠實評估):Factor Zoo 問題嚴重,但部分因子(市場、規模(有爭議)、價值(有爭議)、動能)的學術文獻時間跨越數十年、跨越多市場、有理論支撐,相對可信。
陷阱四:過擬合與樣本外失效(Overfitting & Out-of-Sample Decay)
過擬合的表現:
- 回測 Sharpe 比率遠超 3.0
- 策略在嚴格限制的超參數才有效(如只在某特定 window 期才跑贏)
- 在不同的市場或時期效果完全消失
如何檢測:
- Walk-Forward 測試:只用過去數據訓練,測試期使用未來數據
- Bailey, Borwein et al. (2014) 的「回測過擬合概率(Probability of Backtest Overfitting, PBO)」:根據測試策略數量和時間序列長度,計算「最優策略實際是偽發現的概率」
- Deflated Sharpe Ratio:對 Sharpe 比率做多重測試校正
quantskills 工具:skill-backtest-overfit——檢測回測過擬合和多重測試選擇偏誤(直接使用 PBO 框架)。
陷阱五:交易成本低估
學術論文中的因子溢酬多為理論溢酬(paper returns),現實中必須扣除:
- 交易成本:買賣價差(bid-ask spread)+ 傭金 + 市場衝擊(price impact)
- 稅務:短期資本利得稅(對動能因子影響尤大)
- 融券成本(Short-Selling Cost):做空小型股或低品質股成本可能高達年化 5–10%,嚴重壓縮多空組合的理論溢酬
Novy-Marx & Velikov(2016) 研究發現:在扣除實際交易成本後,絕大多數高換手率因子的超額回報接近零甚至為負。
陷阱六:因子擁擠(Factor Crowding)
隨著更多資金(如 Smart Beta ETF)配置到同一因子,:
- 因子信號的超額回報被壓縮(套利)
- 擁擠部位在市場壓力時可能同時被拋售,製造因子崩潰(factor crash)
學術可佐證:動能因子崩潰(2009 年 3–5 月)是最著名的案例,崩潰期間多空組合單月跌幅超過 40%。
AQR 定期發佈因子擁擠監測(aqr.com/Insights),但方法論並不完全公開。
陷阱七:因子擇時(Factor Timing)
是否能預測哪個因子將在接下來一段時間跑贏?
主張:有大量研究嘗試用估值(如 HML spread 的歷史百分位)、宏觀環境(利率、景氣循環)預測因子表現。
誠實評估:學術界普遍認為因子擇時非常困難,效果在 out-of-sample 中大幅衰退。多數證據支持「長期分散持有多個因子」優於「動態擇時」。AQR 的研究指出,投資人對因子擇時的信心往往高估了自身能力。
→ 下一篇:客觀檢視:可佐證 vs 爭議
來源:
- Harvey, Liu & Zhu (2016), ”… and the Cross-Section of Expected Returns”, Review of Financial Studies — 原文
- McLean & Pontiff (2016), “Does Publishing Research Destroy Stock Return Predictability?”, Journal of Finance
- Hou, Xue & Zhang (2020), “Replicating Anomalies”, Review of Financial Studies
- Novy-Marx & Velikov (2016), “A Taxonomy of Anomalies and Their Trading Costs”, Review of Financial Studies
- Bailey, Borwein et al. (2014), “The Probability of Backtest Overfitting”, Journal of Computational Finance
- quantskills:
skill-backtest-overfit、skill-numerical-leak-check