回測是必要但充滿陷阱的工具

好的因子回測能讓你在花真錢前篩掉壞信號;壞的回測讓你對偽信號充滿信心。這兩種情況在業界都極為普遍。


陷阱一:前瞻偏差(Look-Ahead Bias)

使用了「那個時間點實際上還不知道」的資料。

常見案例

  • 用財報公佈當天的數字,但財報實際公佈是 2–3 個月後
  • 用調整後的收盤價(adjusted for splits/dividends),但調整是事後的
  • 用 Point-in-Time 資料庫中有錯誤或遺漏的歷史財務資料

如何防止:只用截至彼時點公開可得的資料(Point-in-Time 資料庫);在因子計算時加入足夠的資料延遲(reporting lag)。

quantskills 工具skill-numerical-leak-check——專門檢查時間序列計算中的未來信息洩漏(lookahead/future-leakage detection)。


陷阱二:數據挖掘與多重測試(Data Mining / Multiple Testing)

在同一份數據上嘗試數百個參數或因子組合,任何顯著性結果都是 p-hacking 的產物。

量化描述:若測試 300 個因子,即使全部是隨機噪音,在 5% 顯著性水準下也預期有 15 個「顯著」因子。

Harvey, Liu & Zhu(2016) 建議:在因子研究中應把顯著性門檻提高到 t-stat > 3.0(而非傳統的 1.96),以抵消多重測試問題。(原文

McLean & Pontiff(2016) 記錄:學術論文發表的因子異象,out-of-sample 表現平均下滑 26%,在論文發表後資金流入該策略後又再下滑 26%。


陷阱三:因子動物園(Factor Zoo)

Cochrane(2011 AFA 主席演講) 警告:學術界累積了 300+ 個「發表顯著」的因子,但其中有多少是真正獨立的信號?

Hou, Xue & Zhang(2020)Review of Financial Studies 的研究:重新檢驗 452 個已發表的因子異象,發現其中 65% 在嚴格的 t-stat 門檻下無法複製

「Factor Zoo」的成因

  • 發表偏誤(Publication Bias):顯著結果才能發表,不顯著的「抽屜裡的結果」永遠沒人知道
  • 研究者自由度(Researcher Degrees of Freedom):在哪個時期、哪個市場、用什麼指標定義,每個選擇都增加一層自由度
  • 相同底層信號的不同包裝(如動能有幾十種計算變體,本質都是同一件事)

主張(誠實評估):Factor Zoo 問題嚴重,但部分因子(市場、規模(有爭議)、價值(有爭議)、動能)的學術文獻時間跨越數十年、跨越多市場、有理論支撐,相對可信。


陷阱四:過擬合與樣本外失效(Overfitting & Out-of-Sample Decay)

過擬合的表現

  • 回測 Sharpe 比率遠超 3.0
  • 策略在嚴格限制的超參數才有效(如只在某特定 window 期才跑贏)
  • 在不同的市場或時期效果完全消失

如何檢測

  • Walk-Forward 測試:只用過去數據訓練,測試期使用未來數據
  • Bailey, Borwein et al. (2014) 的「回測過擬合概率(Probability of Backtest Overfitting, PBO)」:根據測試策略數量和時間序列長度,計算「最優策略實際是偽發現的概率」
  • Deflated Sharpe Ratio:對 Sharpe 比率做多重測試校正

quantskills 工具skill-backtest-overfit——檢測回測過擬合和多重測試選擇偏誤(直接使用 PBO 框架)。


陷阱五:交易成本低估

學術論文中的因子溢酬多為理論溢酬(paper returns),現實中必須扣除:

  • 交易成本:買賣價差(bid-ask spread)+ 傭金 + 市場衝擊(price impact)
  • 稅務:短期資本利得稅(對動能因子影響尤大)
  • 融券成本(Short-Selling Cost):做空小型股或低品質股成本可能高達年化 5–10%,嚴重壓縮多空組合的理論溢酬

Novy-Marx & Velikov(2016) 研究發現:在扣除實際交易成本後,絕大多數高換手率因子的超額回報接近零甚至為負。


陷阱六:因子擁擠(Factor Crowding)

隨著更多資金(如 Smart Beta ETF)配置到同一因子,:

  • 因子信號的超額回報被壓縮(套利)
  • 擁擠部位在市場壓力時可能同時被拋售,製造因子崩潰(factor crash)

學術可佐證:動能因子崩潰(2009 年 3–5 月)是最著名的案例,崩潰期間多空組合單月跌幅超過 40%。

AQR 定期發佈因子擁擠監測(aqr.com/Insights),但方法論並不完全公開。


陷阱七:因子擇時(Factor Timing)

是否能預測哪個因子將在接下來一段時間跑贏?

主張:有大量研究嘗試用估值(如 HML spread 的歷史百分位)、宏觀環境(利率、景氣循環)預測因子表現。

誠實評估:學術界普遍認為因子擇時非常困難,效果在 out-of-sample 中大幅衰退。多數證據支持「長期分散持有多個因子」優於「動態擇時」。AQR 的研究指出,投資人對因子擇時的信心往往高估了自身能力。

→ 下一篇:客觀檢視:可佐證 vs 爭議


來源

  • Harvey, Liu & Zhu (2016), ”… and the Cross-Section of Expected Returns”, Review of Financial Studies原文
  • McLean & Pontiff (2016), “Does Publishing Research Destroy Stock Return Predictability?”, Journal of Finance
  • Hou, Xue & Zhang (2020), “Replicating Anomalies”, Review of Financial Studies
  • Novy-Marx & Velikov (2016), “A Taxonomy of Anomalies and Their Trading Costs”, Review of Financial Studies
  • Bailey, Borwein et al. (2014), “The Probability of Backtest Overfitting”, Journal of Computational Finance
  • quantskillsskill-backtest-overfitskill-numerical-leak-check