Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Một đề thi thử may rủi không nói lên gì. Chia đề thành nhiều phần và xoay vòng — đó là kiểm định chéo.
lesson46 minML cơ bảnAI Foundation
Hook — một đề thi thử không nói lên gì
Bạn làm một đề thi thử và được 9 điểm. Bạn có chắc mình giỏi thật không? Biết đâu hôm đó may đề dễ. Hôm sau làm đề khác được 5. Rồi 7. Rồi 8. Chỉ khi làm nhiều đề khác nhau và tính trung bình, bạn mới biết thực lực.
Đó chính là cross-validation trong ML. Kiểm định chéo chia dữ liệu thành K phần bằng nhau, rồi xoay vòng: mỗi lượt một phần làm “đề thi”, K−1 phần còn lại làm “sách ôn”. K điểm đánh giá → trung bình = thực lực mô hình.
Khám phá — K ảnh hưởng thế nào
K-Fold chia dữ liệu thành K phần. Chọn K càng lớn, mỗi phần càng nhỏ, nhưng tổng số lượt huấn luyện cũng tăng theo — tốn thời gian hơn.
K
Mỗi lần train dùng
Số lần huấn luyện
Nhận xét
2
~50% dữ liệu
2
Thiếu dữ liệu → kết quả bi quan hơn thực tế
5
80% dữ liệu
5
Cân bằng tốt
10
90% dữ liệu
10
Cân bằng tốt, tốn gấp đôi K = 5
n (leave-one-out)
n − 1 mẫu
n
Gần đủ dữ liệu nhưng cực tốn
Khoảnh khắc Aha
Một đề không nói lên gì — K đề cho ta trung bình đáng tin. Mỗi mẫu trong dataset đều được thử làm “đề thi” đúng 1 lần, và làm “sách ôn” K−1 lần. Điểm cuối cùng không phải một con số mà là cặp (trung bình, độ lệch chuẩn).
Độ lệch chuẩn thấp = mô hình ổn định. Độ lệch chuẩn cao = có fold đặc biệt dễ hoặc khó → nên kiểm tra dữ liệu có cân đối không.
Mổ xẻ từng lượt
Dataset 20 hàng, chia thành 5 fold (4 hàng mỗi fold). Mỗi lượt, một fold làm test, 4 fold còn lại làm train.
Lượt
Fold làm test
Train trên
Điểm
1
Fold 1 (4 hàng)
Fold 2–5 (16 hàng)
85%
2
Fold 2 (4 hàng)
Fold 1, 3–5 (16 hàng)
88%
3
Fold 3 (4 hàng)
Fold 1–2, 4–5 (16 hàng)
82%
4
Fold 4 (4 hàng)
Fold 1–3, 5 (16 hàng)
90%
5
Fold 5 (4 hàng)
Fold 1–4 (16 hàng)
86%
Tổng kết: trung bình (85 + 88 + 82 + 90 + 86) / 5 = 86,2%. Độ lệch chuẩn theo công thức ở phần Giải thích là khoảng ± 2,7%, nên ước lượng là 86,2% ± 2,7%.
Mỗi hàng dữ liệu đã được thử đúng 1 lần. So với “chia một lần được 88%”, con số trung bình này đáng tin hơn vì nó đã “trải qua” 5 cách chia khác nhau.
Thử thách
Giải thích
K-Fold Cross-Validation nhân bản phép đo hiệu năng. Dataset được chia thành K phần bằng nhau. Lặp K lần: mỗi lần, 1 phần làm test, K−1 phần còn lại làm train. K điểm đánh giá → trung bình và độ lệch chuẩn.
CV Score=K1k=1∑KScorek
Kèm theo là độ lệch chuẩn, đo tính ổn định của ước lượng:
CV Std=K1k=1∑K(Scorek−Score)2
Các biến thể thường gặp
Biến thể
Khi nào dùng
K-Fold thường
Chia ngẫu nhiên K phần đều nhau. Mặc định cho hồi quy và phân loại cân bằng.
Stratified K-Fold
Giữ tỷ lệ lớp trong mỗi fold. Bắt buộc cho phân loại mất cân bằng.
Leave-One-Out
K = n (mỗi lần 1 mẫu test). Dùng khi dataset rất nhỏ.
Time Series Split
Luôn train quá khứ, test tương lai. Bắt buộc cho dữ liệu có thứ tự thời gian.
Group K-Fold
Giữ các mẫu cùng nhóm (bệnh nhân, user) trong cùng một fold — tránh data leakage.
Repeated K-Fold
Chạy K-Fold nhiều lần với seed khác → ước lượng ổn định, tính được khoảng tin cậy.
Khi nào nên dùng cross-validation và khi nào dùng train/val/test
Dataset lớn (trên 100k mẫu): tách train/val/test một lần là đủ — variance tự nhiên đã thấp.
Báo cáo khoa học hoặc benchmark chính thức: Repeated K-Fold hoặc Nested CV.
Có time series, group hoặc mất cân bằng: dùng biến thể tương ứng (TimeSeriesSplit, GroupKFold, StratifiedKFold).
Bias-variance của K — vì sao K = 5 hoặc 10 là mặc định?
Chọn K là một sự đánh đổi:
K nhỏ (ví dụ K = 2): tập train chỉ khoảng 50% dataset → mô hình học từ ít dữ liệu → ước lượng lỗi cao hơn thực tế (bias dương).
K lớn (ví dụ K = n): tập train gần như toàn bộ → bias thấp, nhưng K tập train rất giống nhau → K điểm đánh giá tương quan cao → variance không giảm như kỳ vọng.
K = 5 hoặc 10: cân bằng tốt. Kohavi (1995) thực nghiệm đề xuất K = 10 cho nhiều loại bài toán.
Nested CV — khi cần báo cáo không thiên vị
Khi dùng GridSearchCV, điểm tốt nhất đã là kết quả của quá trình chọn lọc trên CV → lạc quan hơn điểm thực tế. Nested CV giải quyết bằng hai vòng:
Vòng ngoài: đánh giá hiệu năng tổng quát (K_outer fold).
Vòng trong: chọn hyperparameter (K_inner fold) trong mỗi fold của vòng ngoài.
Chi phí: K_outer × K_inner × |grid| lần huấn luyện. Đắt, nhưng là cách báo cáo điểm không thiên vị khi viết paper hoặc benchmark công khai.
Sáu tình huống thực tế — chọn biến thể CV nào?
Bài toán
Dataset
CV đề xuất
Phát hiện gian lận thẻ tín dụng (0,5% gian lận)
1 triệu giao dịch
Stratified 5-Fold
Phân loại X-quang phổi (500 bệnh nhân)
5.000 ảnh
Group 5-Fold theo bệnh nhân
Dự báo giá điện theo giờ
8.760 giờ × 5 năm
Time Series Split
Hồi quy giá nhà
20.000 mẫu
K-Fold thường (K = 10)
Nhận dạng giọng nói đa người
10k clip, 200 speaker
Group 5-Fold theo speaker
Publication benchmark về NLP
50k văn bản
Repeated Stratified 5-Fold
Checklist 6 điểm trước khi báo cáo kết quả CV
Preprocessing nằm trong pipeline (fit riêng mỗi fold)?
Đã dùng Stratified nếu dữ liệu mất cân bằng?
Đã dùng Time Series Split nếu có thứ tự thời gian?
Đã dùng Group K-Fold nếu có nhóm tự nhiên?
Báo cáo kèm cả mean VÀ std (không chỉ mean)?
Nếu so sánh mô hình: khoảng (mean ± std) có chồng lấn không? Nếu chồng → chưa chắc khác nhau.
Ba sai lầm phổ biến khi dùng cross-validation
Sai
Vì sao sai
Đúng
Fit StandardScaler trên toàn bộ X trước khi chạy cross_val_score
Scaler đã biết mean/std của test fold → leakage. Kết quả CV lạc quan hơn thực tế 3–8%.
Đặt scaler trong pipeline: scaler fit riêng trên fold train, rồi transform fold test.
Shuffle dữ liệu chuỗi thời gian rồi K-Fold
Tương lai (fold train) “biết” quá khứ (fold test) → mô hình học nội suy, không học dự đoán.
Dùng TimeSeriesSplit — luôn train trước, test sau.
Báo cáo “accuracy 87%” mà không kèm độ lệch chuẩn
Có thể là 87% ± 9% (rất không ổn định) hoặc 87% ± 1% (rất ổn định). Hai tình huống khác hẳn.
Báo cáo mean ± std của K fold. So sánh hai mô hình bằng paired test.
Tóm tắt
Chia một lần = một đề thi may rủi. Chia K phần và xoay vòng = K đề, trung bình ổn định hơn.
K = 5 hoặc K = 10 là mặc định. Báo cáo luôn kèm mean ± std. Std cao là cờ đỏ.
Stratified cho phân loại mất cân bằng, Time Series Split cho dữ liệu thời gian, Group K-Fold cho dữ liệu có nhóm tự nhiên.
Cạm bẫy: fit preprocessing TRƯỚC CV → leakage. Luôn đặt scaler và encoder trong pipeline để mỗi fold có preprocessing riêng.
Leave-One-Out chỉ dùng khi dataset cực nhỏ; Repeated K-Fold khi cần báo cáo khoa học với khoảng tin cậy.