Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Train = bài tập. Val = đề thi thử. Test = đề thi thật. Không được xem test trước — nếu không, điểm không có ý nghĩa.
lesson46 minML cơ bảnAI Foundation
Hook — ba vai trò, ba loại “đề”
Tập
Vai trò
Ẩn dụ
Quy tắc
Train
Mô hình học: cập nhật tham số qua nhiều lượt.
Bài tập về nhà
Dùng thoải mái để học.
Validation
Mô hình chỉnh: tune hyperparameter, chọn kiến trúc, quyết định early stopping.
Đề thi thử
Dùng để chọn, nhưng dùng nhiều thì cũng “hao” dần.
Test
Mô hình được đánh giá.
Đề thi thật
Mở đúng 1 LẦN ở cuối. Không được nhìn trước.
Quy tắc quan trọng nhất: không được nhìn test trước khi nộp. Một khi đã nhìn, dù chỉ một lần, điểm test không còn ý nghĩa — nó trở thành một phần của quá trình tuning, không phải một phép đo khách quan.
Khám phá — test bị nhìn trước thì điểm phồng lên
Với 1.000 điểm dữ liệu, chia thành train / val / test theo tỷ lệ. Test tự động bằng 100 trừ train và val, và luôn giữ tối thiểu 5%.
Tỷ lệ chia
Train
Val
Test
60 / 20 / 20
600
200
200
70 / 15 / 15
700
150
150
80 / 10 / 10
800
100
100
Nếu bạn “nhìn test trước” trong lúc tuning, test accuracy tăng lên một cách giả tạo. Kết quả này không phản ánh hiệu năng thật.
Khoảnh khắc Aha
Ba tập, ba vai trò không thay thế nhau: train để học, val để chỉnh, test để đánh giá. Nếu bạn dùng test để chỉnh (dù chỉ một lần), test đã trở thành val — và bạn không còn phép đo khách quan nào nữa.
Train loss thấp = mô hình nhớ bài tập. Val loss thấp = mô hình hợp với đề thi thử. Test loss thấp (đo đúng một lần) = mô hình thực sự tổng quát hoá.
Quy trình chuẩn
Trong một workflow ML chuẩn, test set xuất hiện rất muộn — chỉ ở bước cuối cùng.
Sáu bước
1 / 6
1. 1. Thu thập dữ liệu
Tổng hợp toàn bộ dữ liệu có được. Giả sử 10.000 mẫu.
Thử thách
Giải thích
Train / Val / Test split chia dữ liệu thành ba tập riêng biệt để đảm bảo đánh giá mô hình khách quan. Đây là nền tảng phương pháp luận của mọi dự án ML.
Generalization error là lỗi kỳ vọng trên dữ liệu chưa hề thấy. Không đo được trực tiếp (dữ liệu tương lai là vô hạn), nên dùng test error làm ước lượng tốt nhất — với điều kiện test set được giữ nguyên vẹn.
Tỷ lệ chia theo kích thước dataset
Kích thước dataset
Tỷ lệ đề xuất
Lý do
Dưới 1.000 mẫu
Nên dùng cross-validation
Hold-out quá nhiễu
1.000 – 10.000
60 / 20 / 20
Cần val và test đủ lớn (từ 200 mẫu)
10.000 – 100.000
70 / 15 / 15
Phổ biến, cân bằng
100.000 – 1.000.000
80 / 10 / 10
10% đã đủ tin cậy
Trên 1.000.000
90 / 5 / 5 hoặc 98 / 1 / 1
Thiếu dữ liệu train mới là vấn đề chính
Vì sao val set “hết thiêng” sau vài chục thử nghiệm?
Mỗi khi bạn chọn hyperparameter dựa trên val accuracy, bạn đang “nhét” một chút thông tin về val set vào mô hình qua quyết định của mình. Sau vài chục lần thử, mô hình gián tiếp “biết” val set — val accuracy bắt đầu overfit tương tự train. Giải pháp:
Giới hạn số thử nghiệm (Optuna với pruning, Bayesian optimization).
Dùng nested cross-validation: vòng ngoài đánh giá, vòng trong tune.
Dành riêng một bộ holdout cuối chưa hề dùng trong bất kỳ vòng thử nào.
Bao nhiêu mẫu test là đủ để báo cáo đáng tin?
Với sai số mong muốn ±2% và độ tin cậy 95%, công thức xấp xỉ là:
n≥ε21,962⋅p(1−p)
Với p ≈ 0,9 và ε = 0,02, n ≈ 864 mẫu. Nguồn bài ghi khoảng 1.000–2.500 mẫu; con số tính từ công thức là 864, nên dùng mức làm tròn từ 1.000 trở lên. Nếu dataset tổng dưới 2.000 mẫu, hãy dùng cross-validation thay vì hold-out — con số “accuracy 92%” trên 100 mẫu test có khoảng tin cậy rộng tới khoảng ±5 điểm phần trăm.
Tóm tắt
Train = bài tập (học). Val = đề thi thử (tune). Test = đề thi thật (đánh giá, chỉ một lần).
Không bao giờ dùng test để chọn hyperparameter — nếu làm, test không còn khách quan.
Split TRƯỚC khi làm preprocessing. Fit scaler và encoder CHỈ trên train; transform val và test bằng scaler của train.
Dataset chuỗi thời gian: chia theo thời gian (train là cũ, test là mới). Không shuffle.
Dataset nhỏ (dưới 10k): dùng cross-validation. Dataset lớn (trên 1M): hold-out 90/5/5 là đủ.