文章頁面
投資必懂過度擬合是什麼?量化研究最常見的錯覺
理解量化研究中的過度擬合,避免把歷史雜訊誤認成可重複獲利的訊號。
在量化研究裡,最危險的事情之一,不是你完全找不到訊號,而是你以為自己找到了很強的訊號,結果那只是歷史資料中的巧合。
這個問題就叫做:過度擬合(Overfitting)。
過度擬合可以怎麼理解?
如果用一句話說,過度擬合就是:模型或策略太貼合過去資料,連雜訊都一起學進去了。
它在歷史回測裡看起來很漂亮,但一到新資料或真實市場上,就容易失效。
為什麼量化研究特別容易過度擬合?
因為量化研究很容易做很多次嘗試。
例如你可能會反覆調整:
- 回看期間
- 排名方式
- 門檻值
- 再平衡頻率
- 標的池條件
- 過濾規則
如果每次都根據回測結果來微調,最後很可能不是找到真正有效的規律,而是把歷史剛好發生的細節刻進策略裡。
過度擬合長什麼樣子?
常見的訊號包括:
- 回測績效好得不自然
- 小改一點參數,結果就差很多
- 只在某段期間特別有效
- 換個市場就不成立
- 沒有清楚經濟邏輯支持
如果一個策略看起來太完美,通常就值得特別懷疑。
為什麼這麼危險?
因為過度擬合最大的問題,不只是回測失真,而是它會讓研究者產生錯誤信心。
你可能會以為:
- 自己找到了 Alpha
- 策略風險可控
- 真實上線也能複製歷史報酬
但實際上,你只是把歷史雜訊包裝成了一個看起來很聰明的策略。
常見造成過度擬合的原因
1. 試太多參數
參數越多、搜尋空間越大,就越容易在歷史資料中撞到看起來很好的結果。
2. 沒有樣本外檢驗
如果你所有設計、調參與驗證都在同一段資料上進行,回測結果通常會被高估。
3. 缺乏經濟邏輯
如果一個訊號只是因為統計上看起來有效,但你說不出它為什麼可能存在,那它很可能只是巧合。
4. 不斷「修到漂亮為止」
每次看到不理想的結果就加一個條件、換一個門檻,最後很容易把策略修成只適合歷史的樣子。
怎麼降低過度擬合風險?
沒有任何方法能完全杜絕過度擬合,但可以大幅降低風險。
常見做法包括:
- 保持模型簡單
- 先有假設,再驗證資料
- 做樣本外測試
- 看不同期間是否穩定
- 看不同市場是否仍成立
- 做敏感度分析,檢查參數是否過於脆弱
真正值得信任的策略,通常不是最複雜的,而是即使在合理擾動下,結果仍然大致成立。
量化研究者該有的心態
做量化時,一個很重要的能力是:不要急著相信漂亮結果。
你要不斷問自己:
- 這是訊號,還是雜訊?
- 這是邏輯,還是巧合?
- 這是可重複的規律,還是歷史特例?
小結
過度擬合是量化研究中最常見、也最容易讓人掉進去的錯覺。
它提醒我們,回測的目的不是找最美的曲線,而是找最可能在未來仍然成立的邏輯。
對研究者來說,真正的專業不是把策略調到最好看,而是有能力辨認:哪一些結果只是資料剛好配合你而已。
文章延伸
前後文章
繼續閱讀