Backtest คือการจำลองกฎกับข้อมูลย้อนหลังเพื่อศึกษาพฤติกรรม ไม่ใช่การทำนายผลตอบแทนในอนาคต คุณภาพของข้อสรุปขึ้นอยู่กับข้อมูล สมมติฐาน ต้นทุน และวินัยในการไม่ปรับระบบตามผลเดิมมากเกินไป
ตรวจข้อมูลและสมมติฐาน
ตรวจ timezone ช่องว่างข้อมูล corporate action หรือ contract specification ตามตลาดที่ใช้ ความละเอียดของ tick มีผลต่อระบบที่ stop แคบหรือเทรดถี่ ส่วน spread คงที่อาจไม่สะท้อนช่วงข่าวหรือสภาพคล่องต่ำ
รวม commission, swap, slippage และ latency ตามสมควร หากระบบเหลือความได้เปรียบเพียงเล็กน้อย ต้นทุนที่คลาดเคลื่อนอาจเปลี่ยนข้อสรุปทั้งหมด
แยกข้อมูลและลด Overfitting
ใช้ข้อมูล in-sample สำหรับพัฒนาและกัน out-of-sample ไว้ตรวจสอบ หลีกเลี่ยงการดูช่วงทดสอบซ้ำแล้วปรับจนผ่าน เพราะข้อมูลนั้นจะกลายเป็นส่วนหนึ่งของการฝึกโดยปริยาย
ทดสอบความไวของพารามิเตอร์ ระบบที่ใช้ได้เฉพาะค่าจุดเดียวอาจเปราะบางกว่าระบบที่ให้พฤติกรรมใกล้เคียงกันในช่วงค่า ตรวจหลายสินทรัพย์หรือหลาย regime เมื่อสมเหตุสมผล
อ่านมากกว่ากำไรสุทธิ
พิจารณา maximum drawdown ระยะเวลาฟื้นตัว จำนวนครั้งที่เทรด การกระจายผลลัพธ์ และช่วงขาดทุนต่อเนื่อง แยกดูว่าผลมาจากดีลไม่กี่ครั้งหรือมีความสม่ำเสมอ
บันทึกเวอร์ชันโค้ด ค่าตั้งต้น ชุดข้อมูลและเกณฑ์ตัดสินใจก่อนเห็นผล เพื่อลดการเลือกเฉพาะรายงานที่ดูดี