Overfitting ใน Backtest คืออะไร พร้อม 7 สัญญาณกลยุทธ์ดูดีเกินจริงก่อนเทรดจริง

หลังลองทำแบ็กเทสต์ (Backtest) กลยุทธ์บน TradingView แล้วเจอ Equity Curve ที่สวยเป๊ะ กำไรขึ้นต่อเนื่องแทบไม่มี Drawdown หลายคนอาจดีใจเกินไปเร็ว เพราะนั่นอาจไม่ใช่สัญญาณว่ากลยุทธ์ดี แต่เป็นสัญญาณของ Overfitting หรือการปรับพารามิเตอร์ให้เข้ากับข้อมูลในอดีตมากเกินไป จนกลยุทธ์ใช้ไม่ได้จริงกับตลาดที่เปลี่ยนไปทุกวัน บทความนี้พาเช็ก 7 สัญญาณเตือนที่พบบ่อย และวิธีลด Curve Fitting ก่อนเอาไปใช้กับเงินจริง

ประเด็นสำคัญ

• Overfitting เกิดจากการปรับพารามิเตอร์ให้เข้ากับข้อมูลในอดีตมากเกินไป จนกลยุทธ์ใช้ไม่ได้กับข้อมูลชุดใหม่

• สัญญาณเตือนที่พบบ่อยคือ Equity Curve เรียบเกินจริง มีพารามิเตอร์เยอะเกินความจำเป็น และผลต่างกันมากระหว่าง In-sample กับ Out-of-sample

• Walk-forward Test ช่วยจำลองสภาพการเทรดจริงได้ดีกว่าการทำ Backtest ครั้งเดียวจบ

• Data Snooping คือการทดสอบซ้ำหลายรอบจนบังเอิญเจอค่าที่ได้ผลดีในอดีต ไม่ได้แปลว่าจะได้ผลในอนาคต

• ก่อนใช้เงินจริง ควรทดสอบกลยุทธ์ในบัญชีทดลองเพื่อดูพฤติกรรมกับสภาวะตลาดปัจจุบัน

ทำไม Backtest ที่ “สวยเกินไป” ถึงน่าสงสัย

ตลาดจริงมีความผันผวนสูง มีข่าว มีสภาพคล่องที่เปลี่ยนไปตามช่วงเวลา และมีนักลงทุนอีกฝั่งที่พยายามเอาชนะกันตลอดเวลา ถ้ากลยุทธ์หนึ่งทำกำไรได้เกือบทุกเทรดในอดีตแบบไม่มีช่วงขาดทุนต่อเนื่องเลย นั่นมักไม่ใช่เพราะกลยุทธ์เก่งจริง แต่เป็นเพราะพารามิเตอร์ถูกปรับแต่งจนพอดีกับข้อมูลชุดนั้นแบบเฉพาะเจาะจงเกินไป เมื่อนำไปใช้กับข้อมูลใหม่หรือเทรดจริง ผลลัพธ์จึงมักต่างจากที่ทดสอบไว้อย่างสิ้นเชิง

7 สัญญาณ Overfitting ที่ควรเช็กก่อนเชื่อ Backtest

1. Equity Curve เรียบเป็นเส้นตรงเกินจริง หากกราฟกำไรสะสมขึ้นแบบไม่มี Drawdown ที่สมจริงเลย ควรตั้งคำถามก่อนว่าเป็นไปได้จริงหรือไม่ในตลาดที่ผันผวน

2. มีพารามิเตอร์เยอะเกินความจำเป็น กลยุทธ์ที่ต้องปรับตัวแปรหลายสิบตัวเพื่อให้ได้ผลดี มีความเสี่ยงสูงที่จะเป็นการ Curve Fitting มากกว่าการค้นพบ Edge ที่แท้จริง

3. ผลระหว่าง In-sample กับ Out-of-sample ต่างกันมาก หากทดสอบกับข้อมูลชุดที่ใช้ปรับแต่ง (In-sample) แล้วได้ผลดี แต่พอทดสอบกับข้อมูลใหม่ที่ไม่เคยใช้ปรับแต่ง (Out-of-sample) ผลลัพธ์แย่ลงมาก นี่คือสัญญาณ Overfitting ที่ชัดเจนที่สุด

4. กลยุทธ์ได้ผลดีเฉพาะช่วงเวลาหรือสินทรัพย์เดียว ถ้าเปลี่ยนกรอบเวลาหรือเปลี่ยนคู่เงินแล้วผลลัพธ์แย่ลงทันที อาจแปลว่ากลยุทธ์ถูกปรับให้เข้ากับสภาวะตลาดช่วงนั้นโดยเฉพาะ ไม่ใช่หลักการที่ใช้ได้ทั่วไป

5. Data Snooping หรือการทดสอบซ้ำจนกว่าจะเจอค่าที่ดูดี การรัน Backtest ซ้ำหลายร้อยรอบโดยเปลี่ยนตัวแปรไปเรื่อย ๆ จนกว่าจะเจอชุดที่ให้ผลกำไรสูงสุด มีความเสี่ยงสูงที่จะเจอผลลัพธ์ที่ดีเพราะบังเอิญ ไม่ใช่เพราะกลยุทธ์แข็งแรงจริง

6. ไม่นับรวมต้นทุนการเทรดจริง การละเลย Spread, Slippage และค่าคอมมิชชัน โดยเฉพาะช่วงข่าวแรงที่สเปรดถ่าง อาจทำให้ผล Backtest ดูดีกว่าความเป็นจริงมาก

7. จำนวนเทรดในการทดสอบน้อยเกินไป หากมีตัวอย่างการเทรดเพียงไม่กี่สิบครั้ง ผลลัพธ์อาจเกิดจากความบังเอิญมากกว่าความน่าเชื่อถือทางสถิติ

Walk-forward Test ช่วยลด Overfitting ได้อย่างไร

Walk-forward Test คือการแบ่งข้อมูลเป็นช่วง ๆ แล้วปรับพารามิเตอร์กับข้อมูลช่วงแรก (In-sample) จากนั้นนำไปทดสอบกับข้อมูลช่วงถัดไปที่ไม่เคยเห็นมาก่อน (Out-of-sample) แล้วเลื่อนหน้าต่างไปเรื่อย ๆ ตลอดประวัติข้อมูล วิธีนี้จำลองสภาพการเทรดจริงได้ใกล้เคียงกว่า เพราะกลยุทธ์ต้องพิสูจน์ตัวเองกับข้อมูลใหม่ซ้ำหลายรอบ ไม่ใช่แค่ปรับให้พอดีกับอดีตเพียงครั้งเดียว

วิธีลด Curve Fitting แบบปฏิบัติได้จริง

1. เก็บจำนวนพารามิเตอร์ให้น้อยที่สุดเท่าที่จำเป็น  เพราะยิ่งตัวแปรน้อย โอกาส Overfitting ยิ่งต่ำ

2. แบ่งข้อมูลเป็น In-sample และ Out-of-sample อย่างชัดเจนตั้งแต่ต้น ไม่นำข้อมูลชุดทดสอบมาใช้ปรับแต่งย้อนหลัง

3. ทดสอบกลยุทธ์ข้ามหลายสินทรัพย์และหลายกรอบเวลาเพื่อดูว่าหลักการยังใช้ได้อยู่หรือไม่

4. ควรนำผลลัพธ์ที่ผ่านการตรวจสอบแล้วไปทดลองเทรดจริงบนบัญชีทดลองก่อนใช้เงินจริง เพื่อดูพฤติกรรมของกลยุทธ์ในสภาวะตลาดปัจจุบันที่ Backtest ไม่สามารถจำลองได้ทั้งหมด เช่น ความหน่วงของการส่งคำสั่งหรือสภาพคล่องช่วงข่าว

สำหรับใครที่ยังไม่เคยลองแบ็กเทสต์กลยุทธ์บน TradingView มาก่อน สามารถอ่านวิธี Backtest TradingView ฟรีก่อน เพื่อให้เข้าใจขั้นตอนพื้นฐานก่อนมาเช็กสัญญาณ Overfitting ตามบทความนี้

คำถามที่พบบ่อยเกี่ยวกับ Overfitting และ Backtest

Overfitting กับ Curve Fitting ต่างกันไหม

ทั้งสองคำมักใช้แทนกัน แต่จริง ๆ แล้ว Curve Fitting เป็นวิธีการปรับเส้นหรือพารามิเตอร์ให้พอดีกับข้อมูลเก่า เพื่อใช้วิเคราะห์ข้อมูล ส่วน Overfitting คือผลลัพธ์ที่เกิดขึ้นจากการทำ Curve Fitting มากเกินไป จนส่งผลให้กลยุทธ์นั้นใช้กับข้อมูลใหม่ไม่ได้

Out-of-sample data คืออะไร

คือข้อมูลชุดที่ไม่เคยถูกใช้ในการปรับแต่งพารามิเตอร์มาก่อน ใช้สำหรับทดสอบว่ากลยุทธ์ยังทำงานได้จริงหรือไม่ เมื่อเจอข้อมูลที่ไม่คุ้นเคย

ต้อง Backtest กี่เทรดถึงจะเริ่มเชื่อถือได้

ไม่มีตัวเลขตายตัว แต่โดยทั่วไปนักเทรดสายระบบมักมองว่าจำนวนเทรดที่น้อยเกินไปเสี่ยงทำให้ผลสรุปทางสถิติไม่น่าเชื่อถือเท่าที่ควร จึงควรทดสอบให้ครอบคลุมหลายสภาวะตลาดทั้งขาขึ้น ขาลง และไซด์เวย์

ทำไม Walk-forward Test ถึงสำคัญกว่า Backtest ธรรมดา

เพราะ Walk-forward Test บังคับให้กลยุทธ์พิสูจน์ตัวเองกับข้อมูลใหม่ซ้ำหลายรอบ แทนที่จะปรับให้พอดีกับอดีตเพียงครั้งเดียว จึงสะท้อนความทนทานของกลยุทธ์ได้ดีกว่า

สรุป

ผล Backtest ที่สวยงามไม่ได้รับประกันว่ากลยุทธ์จะทำกำไรได้จริงในตลาดปัจจุบัน การเช็ก 7 สัญญาณ Overfitting ควบคู่กับการทำ Walk-forward Test และทดสอบข้าม Out-of-sample data ช่วยกรองกลยุทธ์ที่ดูดีเพราะบังเอิญออกไปได้มาก ก่อนนำไปใช้เทรดด้วยเงินจริง การเปิดบัญชีทดลองเพื่อ Forward Test กับสภาวะตลาดปัจจุบันยังเป็นขั้นตอนที่ไม่ควรข้าม เพราะช่วยให้เห็นพฤติกรรมจริงที่ Backtest เพียงอย่างเดียวจำลองไม่ได้ทั้งหมด

สำหรับนักเทรดที่ต้องการทดสอบกลยุทธ์ก่อนใช้เงินจริง EBC มีบัญชีทดลองให้ฝึกกลยุทธ์ในสภาพตลาดจริงแบบไม่มีความเสี่ยง พร้อมการเชื่อมต่อกับ TradingView สำหรับดูกราฟและทดสอบ Strategy ได้สะดวกในที่เดียว