Kalman 濾波器與 HMM——連續狀態 vs 離散狀態

Kalman 濾波器與隱藏馬可夫模型是同一個數學物件的兩個版本：都假設有一個看不見的狀態在按馬可夫規則演化，我們只能看到被雜訊污染的觀測，目標是從觀測推回狀態。 差別只在狀態空間——Kalman 的狀態是連續的且分布為高斯，HMM 的狀態是有限離散的。兩者甚至用同一個遞迴結構（預測、更新、預測、更新），Kalman 的更新式與 HMM 的前向演算法是同一條貝氏更新在不同狀態空間上的實現。

圖把 Kalman 放 B、HMM 放 C。這個相對順序是對的，理由在最後一節。

---

📖 Kalman 濾波器

模型設定（線性高斯狀態空間）：

$${\mathbf{x}}_t=\mathbf{F}{\mathbf{x}}_{t-1}+{\mathbf{w}}_t,{\mathbf{w}}_t\sim N(0,\mathbf{Q})$$ $${\mathbf{z}}_t=\mathbf{H}{\mathbf{x}}_t+{\mathbf{v}}_t,{\mathbf{v}}_t\sim N(0,\mathbf{R})$$

預測步：

$${\hat{\mathbf{x}}}_{t|t-1}=\mathbf{F}{\hat{\mathbf{x}}}_{t-1},{\mathbf{P}}_{t|t-1}=\mathbf{F}{\mathbf{P}}_{t-1}{\mathbf{F}}^{\top }+\mathbf{Q}$$

更新步：

$${\mathbf{K}}_t={\mathbf{P}}_{t|t-1}{\mathbf{H}}^{\top }(\mathbf{H}{\mathbf{P}}_{t|t-1}{\mathbf{H}}^{\top }+\mathbf{R}{)}^{-1}$$ $${\hat{\mathbf{x}}}_t={\hat{\mathbf{x}}}_{t|t-1}+{\mathbf{K}}_t({\mathbf{z}}_t-\mathbf{H}{\hat{\mathbf{x}}}_{t|t-1}),{\mathbf{P}}_t=(\mathbf{I}-{\mathbf{K}}_t\mathbf{H}){\mathbf{P}}_{t|t-1}$$

在上述假設下，它是最小均方誤差估計量，而且只需要前一期的估計與共變異數，不必重跑整段歷史。

Kalman 增益就是訊噪比

括號裡那一項 ${\mathbf{K}}_t$ 是整個方法的全部內容。把它化到一維看得最清楚：

$$K_t=\frac{P_{t|t-1}}{P_{t|t-1}+R}$$

$K_t\in (0,1)$，就是新觀測的權重。$R$ 大（觀測很吵）時 $K$ 小，濾波器相信自己的先驗；$Q$ 大（狀態變動快）時 $P_{t|t-1}$ 大、$K$ 大，濾波器相信新資料。

自由參數沒有消失，只是換了名字

Kalman 常被宣傳為「取代滾動窗迴歸，不必選窗長」。這句話只對了一半：你不必選窗長，但你必須選 $Q/R$ 的比值，而這個比值直接決定了有效記憶長度。兩者是同一個自由度的不同參數化。宣稱「Kalman 比較客觀」是不成立的；真正的差別是 Kalman 讓這個選擇顯式化，並且允許用最大概似從資料估計（雖然在低訊噪比的金融資料上，這個概似函數通常很平坦）。

金融用途

用途	狀態是什麼
時變避險比率／時變 beta	${\beta }_t$ 本身作為狀態，取代滾動迴歸
配對交易價差	截距與斜率組成二維狀態，價差隨之動態調整
殖利率曲線因子萃取	Diebold-Rudebusch 把動態 Nelson-Siegel 寫成狀態空間，三個因子即狀態
從吵雜報價估公允價	真實價格是狀態，成交價是帶微結構雜訊的觀測
ARMA 的統一處理	任何 ARMA 都能寫成狀態空間，於是缺值與不規則採樣自然被處理

非線性情形有延伸：EKF（在當前估計處線性化）、UKF（用 sigma 點傳播）、粒子濾波（蒙地卡羅，可處理任意非線性與非高斯，代價是計算量與粒子退化）。

實證證據薄弱

配對交易的 Kalman 版本在業界廣泛使用，但公開的嚴謹證據不多。一篇 Economics Letters（2021）報告以 Kalman 估計共整合係數能提升績效並降低系統性風險；多數其他證據來自部落格回測，未經獨立驗證。有實務評論直言這類改善「不錯，但談不上突破」，並質疑增加的複雜度是否值得。

最重要的一個警告：動態迴歸不蘊含共整合。讓避險比率自由浮動，等於用參數去製造一個看起來均值回歸的價差——價差的定態性可能是濾波器造出來的，不是市場給的。 先做共整合檢定，再談動態估計。

---

📖 隱藏馬可夫模型

狀態 $S_t\in \{1,\dots ,K\}$ 是一條馬可夫鏈，轉移矩陣 $\mathbf{A}$；觀測由狀態相依的發射分布產生。在金融上最常見的設定是兩個或三個波動率狀態：

$$y_t\mid S_t=k\sim N({\mu }_k,{\sigma }_k^2)$$

三個標準問題與對應演算法：

問題	問什麼	演算法
評估	給定參數，這串觀測的概似是多少	前向演算法
解碼	最可能的狀態序列是什麼	Viterbi
學習	參數是多少	Baum-Welch（EM 的特例）

Hamilton（1989）的馬可夫轉換模型把這套東西帶進總體經濟與金融，用來描述擴張與衰退兩個狀態。

偵測一定是遲的——而回測看不出這件事

這是 HMM 用在交易上最重要的一件事，也是最常被忽略的一件事。

濾波機率 $\mathrm{Pr}(S_t=k\mid y_1,\dots ,y_t)$ 只用到當期之前的資訊。狀態真的改變時，這個機率必須等新狀態下的證據累積夠多才會翻轉。在兩狀態波動率模型中，這代表要先發生好幾天大波動，高波動狀態的機率才會越過 0.5——也就是說，HMM 告訴你「進入高波動狀態」的時候，大部分的跌幅已經發生了。

平滑機率 $\mathrm{Pr}(S_t=k\mid y_1,\dots ,y_T)$ 用到全樣本資訊，圖畫出來非常漂亮：狀態切換點乾淨俐落，幾乎與市場轉折對齊。

濾波與平滑的落差，就是回測幻覺的大小

用平滑機率做回測是一種前視偏誤，而且因為它的輸出實在太好看，特別容易被說服。任何 HMM 策略的回測，第一個要檢查的就是用的是濾波機率還是平滑機率。兩條曲線並排畫出來，落差就是你被高估的績效。

實證紀錄：有爭議

不利的證據：

• Boldin（1996）發現樣本期延長後，Hamilton 原始參數附近不再存在局部極大值，並主張三狀態的精簡模型更穩健。
• 一份 UConn 工作論文報告，改用實質 GDP（而非原文的實質 GNP）在同一樣本期無法複現 Hamilton 的結果，並認為該模型對不同樣本期不穩健。
• 同文引述 Hess 與 Iwata（1997）：馬可夫轉換模型在複製景氣循環特徵上並不優於簡單的 ARIMA(1,1,0)；Bry-Boschan 演算法在景氣循環定年上表現更好。

有利的證據：

• Ang 與 Bekaert（2002）在利率研究中發現，狀態轉換模型雖然在樣本內診斷上不一定勝過單一狀態模型，但樣本外預測很好，且推得的狀態分類與經濟景氣循環密切相關。

綜合判讀：HMM 作為描述工具（事後理解市場經歷了哪些狀態）有價值；作為即時決策工具則受限於偵測延遲，而這個延遲是結構性的，不是調參能解決的。

---

📖 B 與 C 的相對順序合不合理

合理。 兩者的數學地位相同，差別在落地的摩擦：

• Kalman 的輸出是一個連續估計（避險比率、公允價、beta），即使估得不完美仍然可用——一個稍微偏差的避險比率還是在避險。
• HMM 的輸出是一個離散判斷（現在是哪個狀態），判斷錯了就是錯了，而且因為偵測延遲，它最常在你最需要它正確的時候（轉折點）出錯。

連續輸出對誤差的容忍度高於離散輸出，這就是 B 與 C 的差距所在。不過我認為 HMM 被低估了一格：它在信用評等的時間非齊一建模（見 06）與波動率狀態描述上都有實質貢獻，B 級比 C 級更貼切。

---

🔍 待解問題

• Kalman 配對交易的獨立樣本外證據仍然稀少，本篇引用的 Economics Letters 論文未取得全文，僅憑摘要。
• Ang-Bekaert 的樣本外優勢在股票（而非利率）上是否成立，本篇沒有找到對應證據。
• 濾波與平滑機率的績效落差有多大，缺乏系統性的量化研究；本篇的陳述是機制推論。
• $Q/R$ 比值的最大概似估計在金融資料上的可識別性有多差，我沒有找到專門研究。

🔗 參考連結

• Watson, 對 Hamilton 模型樣本外檢驗的評論（St. Louis Fed Review）
• UConn 工作論文，Hamilton 模型的穩健性與複現問題
• Ang & Bekaert, 狀態轉換模型於利率的應用（Columbia GSB PDF）
• Hudson & Thames ArbitrageLab, Kalman filter 配對交易文件

🕒 更新紀錄

• 2026-11-09：建立。