ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Học quá khớp vs học chưa đủ — Overfit & Underfit

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Hai thái cực ngược nhau khi luyện mô hình. Học thuộc đề cũ → chết khi đề mới (overfit). Học mỗi lý thuyết → nhớ nhưng không làm nổi (underfit).

lesson46 minML cơ bảnAI Foundation

Hook — học thuộc lòng và học lý thuyết

Kiểu họcKhi gặp đề mớiChẩn đoán ML
Học thuộc 10 đề cũ: nhớ rõ từng câuLạ từ câu 1, điểm rất thấpOverfit
Học mỗi lý thuyết, không làm bàiBí từ đầu, không áp dụng đượcUnderfit

Mô hình ML cũng có hai cách “trượt”: học ít quá (underfit) hoặc học nhiều quá đến mức thuộc cả nhiễu (overfit). Mục tiêu là ở giữa — đủ phức tạp để bắt được quy luật, đủ đơn giản để không nhớ rác.

Bạn tăng bậc đa thức (polynomial degree) từ 1 lên 20 để fit đường cong qua các điểm dữ liệu. Train loss sẽ thay đổi thế nào?

Khám phá — chọn bậc đa thức

Có 12 điểm dữ liệu train nằm gần một đường cong “thật”. Thử các bậc đa thức khác nhau để fit các điểm này, rồi đối chiếu với 8 điểm test mà mô hình chưa từng thấy.

Bậc đa thứcĐường congChẩn đoán
1Gần như thẳng, bỏ sót hầu hết điểmUnderfit
3–5Mượt, ôm đúng hình dạng quy luậtGood fit
20Uốn éo mạnh để đi qua từng điểm train — sai bét ngoài vùng trainOverfit

Khoảnh khắc Aha

Train loss thấp không có nghĩa là mô hình tốt. Mục tiêu thực sự là loss thấp trên dữ liệu mới, chưa hề thấy. Mô hình overfit thuộc lòng train data (loss ≈ 0) nhưng sai bét trên test — giống học sinh thuộc đáp án 10 đề cũ nhưng trượt vì đề mới.

Good fit không phải là train loss thấp nhất. Good fit = khoảng cách nhỏ giữa train loss và test loss, và cả hai đều ở mức hợp lý.

Ba chế độ — mổ xẻ từng chế độ

Cùng một tập train, ba bậc đa thức: bậc 1 → bậc 3 → bậc 20. Mỗi chế độ có chẩn đoán riêng.

Bậc 1 — underfit

Mô hình chỉ có 2 tham số (độ dốc và chặn). Không đủ linh hoạt để uốn theo đỉnh và đáy của dữ liệu. Cả train loss lẫn test loss đều cao, gần bằng nhau.

  • Train loss: cao (~0,55)
  • Test loss: cao (~0,58)
  • Triệu chứng: cả hai đều cao, khoảng cách nhỏ
  • Cách chữa: tăng độ phức tạp, thêm feature

Bậc 3 — đường cong mềm (good fit)

Mô hình đủ linh hoạt để ôm được hình chữ U trong dữ liệu — dip ở giữa, tăng ở hai đầu — nhưng không quá uốn éo. Loss hợp lý trên cả train và test.

  • Train loss: thấp (~0,04)
  • Test loss: thấp (~0,06)
  • Triệu chứng: cả hai đều thấp, khoảng cách nhỏ
  • Đây là mục tiêu cần nhắm tới

Bậc 20 — đường uốn éo cực đại (overfit)

Mô hình có 21 tham số — đủ tự do để uốn qua từng điểm train. Train loss gần 0. Nhưng giữa các điểm, đường cong dao động hỗn loạn → test loss cực cao.

  • Train loss: rất thấp (~0,002)
  • Test loss: rất cao (~10+)
  • Triệu chứng: khoảng cách KHỔNG LỒ giữa train và test
  • Cách chữa: giảm bậc, thêm dữ liệu, regularization
Bậc 1Bậc 3Bậc 20
Train lossCaoThấpRất thấp (≈ 0)
Test lossCaoThấpRất cao
Ẩn dụChỉ học lý thuyếtHiểu quy luậtHọc vẹt đề cũ
Chữa bằngTăng phức tạp—Thêm data / regularize

Quy tắc ngầm: mô hình tốt là mô hình đủ phức tạp để bắt quy luật, nhưng không phức tạp tới mức nhớ luôn nhiễu.

Thử thách

Early stopping là dừng huấn luyện khi validation loss bắt đầu TĂNG trở lại (không chờ train loss về 0). Vì sao kỹ thuật này chống overfit hiệu quả?

Train loss luôn giảm khi train lâu hơn. Val loss ban đầu cũng giảm, nhưng sau một điểm nó bắt đầu tăng. Early stopping lưu mô hình tại điểm val loss thấp nhất và bỏ qua phần sau. Đây là cách đơn giản, miễn phí và hiệu quả để chống overfit.

Biểu đồ kinh điển: đường train loss luôn giảm, đường val loss giảm rồi tăng. Điểm dừng sớm là điểm val loss thấp nhất.

Giải thích

Khi luyện một mô hình có hai lỗi khác nhau cần phân biệt: lỗi trên dữ liệu đã thấy (train error) và lỗi trên dữ liệu chưa thấy (test error). Mục tiêu cuối cùng luôn là thu nhỏ test error, vì chỉ khi đó mô hình mới thực sự hữu ích.

Test Error≈Train Error+Generalization Gap\text{Test Error} \approx \text{Train Error} + \text{Generalization Gap}

Generalization gap (khoảng cách tổng quát hoá) là khoảng cách giữa điểm bài tập về nhà và điểm thi. Mục tiêu là giữ khoảng cách này nhỏ — không phải bằng cách hạ train error về 0, mà bằng cách chọn mô hình đủ linh hoạt vừa phải.

So sánh hai cực trị

Underfit (bậc 1)Overfit (bậc 20)
Ẩn dụChỉ học lý thuyết, chưa luyện đềHọc thuộc đáp án 10 đề cũ, gặp đề mới trượt
Đặc điểmMô hình quá đơn giản (ít tham số)Mô hình quá phức tạp (quá nhiều tham số)
Train và test errorĐều caoTrain rất thấp, test rất cao
Giải phápTăng độ phức tạp, thêm feature, huấn luyện lâu hơnThêm dữ liệu, regularization, early stopping, giảm độ phức tạp

Bảng chẩn đoán nhanh

Triệu chứngUnderfitGood fitOverfit
Train errorCaoThấpRất thấp
Test errorCaoThấpCao
Khoảng cáchNhỏNhỏLớn
Độ phức tạpQuá thấpVừa phảiQuá cao

Mẹo nhận diện thêm — không chỉ xem loss

  • Đường cong học: train loss giảm, val loss tăng → overfit rõ.
  • Độ phức tạp so với dữ liệu: nếu số tham số > số mẫu × 10 → nguy cơ overfit rất cao, đặc biệt với dataset dưới 1000 mẫu.
  • Độ nhạy với seed: mô hình overfit thường cho kết quả rất khác nhau giữa các lần huấn luyện (cùng dữ liệu, khác random seed).
  • Kiểm tra bằng mắt (khi có thể): vẽ đường fit cùng dữ liệu. Nếu đường uốn éo bất thường quanh mỗi điểm → overfit.

Tóm tắt

  • Underfit = mô hình quá đơn giản; train và test loss đều cao. Overfit = mô hình quá phức tạp; train loss thấp, test loss cao.
  • Good fit không phải train loss thấp nhất — mà là khoảng cách nhỏ giữa train và test loss.
  • Early stopping: dừng khi val loss bắt đầu tăng. Cách đơn giản, miễn phí, cực kỳ hiệu quả.
  • Quy trình: ban đầu overfit nhẹ, rồi dùng regularization hoặc thêm dữ liệu để thu hẹp gap. Không bao giờ bắt đầu với mô hình quá nhỏ.

Continue the path

Lesson 56 of 106