Cùng một tập train, ba bậc đa thức: bậc 1 → bậc 3 → bậc 20. Mỗi chế độ có chẩn đoán riêng.
Bậc 1 — underfit
Mô hình chỉ có 2 tham số (độ dốc và chặn). Không đủ linh hoạt để uốn theo đỉnh và đáy của dữ liệu. Cả train loss lẫn test loss đều cao, gần bằng nhau.
- Train loss: cao (~0,55)
- Test loss: cao (~0,58)
- Triệu chứng: cả hai đều cao, khoảng cách nhỏ
- Cách chữa: tăng độ phức tạp, thêm feature
Bậc 3 — đường cong mềm (good fit)
Mô hình đủ linh hoạt để ôm được hình chữ U trong dữ liệu — dip ở giữa, tăng ở hai đầu — nhưng không quá uốn éo. Loss hợp lý trên cả train và test.
- Train loss: thấp (~0,04)
- Test loss: thấp (~0,06)
- Triệu chứng: cả hai đều thấp, khoảng cách nhỏ
- Đây là mục tiêu cần nhắm tới
Bậc 20 — đường uốn éo cực đại (overfit)
Mô hình có 21 tham số — đủ tự do để uốn qua từng điểm train. Train loss gần 0. Nhưng giữa các điểm, đường cong dao động hỗn loạn → test loss cực cao.
- Train loss: rất thấp (~0,002)
- Test loss: rất cao (~10+)
- Triệu chứng: khoảng cách KHỔNG LỒ giữa train và test
- Cách chữa: giảm bậc, thêm dữ liệu, regularization
| Bậc 1 | Bậc 3 | Bậc 20 |
|---|
| Train loss | Cao | Thấp | Rất thấp (≈ 0) |
| Test loss | Cao | Thấp | Rất cao |
| Ẩn dụ | Chỉ học lý thuyết | Hiểu quy luật | Học vẹt đề cũ |
| Chữa bằng | Tăng phức tạp | — | Thêm data / regularize |
Quy tắc ngầm: mô hình tốt là mô hình đủ phức tạp để bắt quy luật, nhưng không phức tạp tới mức nhớ luôn nhiễu.