ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Kiểm định chéo — xoay vòng 5 đề thi thử

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Một đề thi thử may rủi không nói lên gì. Chia đề thành nhiều phần và xoay vòng — đó là kiểm định chéo.

lesson46 minML cơ bảnAI Foundation

Hook — một đề thi thử không nói lên gì

Bạn làm một đề thi thử và được 9 điểm. Bạn có chắc mình giỏi thật không? Biết đâu hôm đó may đề dễ. Hôm sau làm đề khác được 5. Rồi 7. Rồi 8. Chỉ khi làm nhiều đề khác nhau và tính trung bình, bạn mới biết thực lực.

Đó chính là cross-validation trong ML. Kiểm định chéo chia dữ liệu thành K phần bằng nhau, rồi xoay vòng: mỗi lượt một phần làm “đề thi”, K−1 phần còn lại làm “sách ôn”. K điểm đánh giá → trung bình = thực lực mô hình.

Dataset có 500 mẫu. So K = 2 với K = 500 (leave-one-out). Đánh đổi chính là gì?

Khám phá — K ảnh hưởng thế nào

K-Fold chia dữ liệu thành K phần. Chọn K càng lớn, mỗi phần càng nhỏ, nhưng tổng số lượt huấn luyện cũng tăng theo — tốn thời gian hơn.

KMỗi lần train dùngSố lần huấn luyệnNhận xét
2~50% dữ liệu2Thiếu dữ liệu → kết quả bi quan hơn thực tế
580% dữ liệu5Cân bằng tốt
1090% dữ liệu10Cân bằng tốt, tốn gấp đôi K = 5
n (leave-one-out)n − 1 mẫunGần đủ dữ liệu nhưng cực tốn

Khoảnh khắc Aha

Một đề không nói lên gì — K đề cho ta trung bình đáng tin. Mỗi mẫu trong dataset đều được thử làm “đề thi” đúng 1 lần, và làm “sách ôn” K−1 lần. Điểm cuối cùng không phải một con số mà là cặp (trung bình, độ lệch chuẩn).

Độ lệch chuẩn thấp = mô hình ổn định. Độ lệch chuẩn cao = có fold đặc biệt dễ hoặc khó → nên kiểm tra dữ liệu có cân đối không.

Mổ xẻ từng lượt

Dataset 20 hàng, chia thành 5 fold (4 hàng mỗi fold). Mỗi lượt, một fold làm test, 4 fold còn lại làm train.

LượtFold làm testTrain trênĐiểm
1Fold 1 (4 hàng)Fold 2–5 (16 hàng)85%
2Fold 2 (4 hàng)Fold 1, 3–5 (16 hàng)88%
3Fold 3 (4 hàng)Fold 1–2, 4–5 (16 hàng)82%
4Fold 4 (4 hàng)Fold 1–3, 5 (16 hàng)90%
5Fold 5 (4 hàng)Fold 1–4 (16 hàng)86%

Tổng kết: trung bình (85 + 88 + 82 + 90 + 86) / 5 = 86,2%. Độ lệch chuẩn theo công thức ở phần Giải thích là khoảng ± 2,7%, nên ước lượng là 86,2% ± 2,7%.

Mỗi hàng dữ liệu đã được thử đúng 1 lần. So với “chia một lần được 88%”, con số trung bình này đáng tin hơn vì nó đã “trải qua” 5 cách chia khác nhau.

Thử thách

Leave-One-Out CV (LOO) là K-Fold với K = n (n là số mẫu dataset). Khi nào dùng LOO hợp lý nhất?
Bạn chạy 5-Fold CV và nhận được điểm [95%, 50%, 93%, 48%, 94%]. Trung bình là 76%. Điểm đáng chú ý là gì?

Giải thích

K-Fold Cross-Validation nhân bản phép đo hiệu năng. Dataset được chia thành K phần bằng nhau. Lặp K lần: mỗi lần, 1 phần làm test, K−1 phần còn lại làm train. K điểm đánh giá → trung bình và độ lệch chuẩn.

CV Score=1K∑k=1KScorek\text{CV Score} = \frac{1}{K}\sum_{k=1}^{K} \text{Score}_k

Kèm theo là độ lệch chuẩn, đo tính ổn định của ước lượng:

CV Std=1K∑k=1K(Scorek−Score‾)2\text{CV Std} = \sqrt{\frac{1}{K}\sum_{k=1}^{K} (\text{Score}_k - \overline{\text{Score}})^2}

Các biến thể thường gặp

Biến thểKhi nào dùng
K-Fold thườngChia ngẫu nhiên K phần đều nhau. Mặc định cho hồi quy và phân loại cân bằng.
Stratified K-FoldGiữ tỷ lệ lớp trong mỗi fold. Bắt buộc cho phân loại mất cân bằng.
Leave-One-OutK = n (mỗi lần 1 mẫu test). Dùng khi dataset rất nhỏ.
Time Series SplitLuôn train quá khứ, test tương lai. Bắt buộc cho dữ liệu có thứ tự thời gian.
Group K-FoldGiữ các mẫu cùng nhóm (bệnh nhân, user) trong cùng một fold — tránh data leakage.
Repeated K-FoldChạy K-Fold nhiều lần với seed khác → ước lượng ổn định, tính được khoảng tin cậy.

Khi nào nên dùng cross-validation và khi nào dùng train/val/test

  • Dataset nhỏ (dưới 10k mẫu): CV — tận dụng tối đa dữ liệu.
  • Dataset lớn (trên 100k mẫu): tách train/val/test một lần là đủ — variance tự nhiên đã thấp.
  • Báo cáo khoa học hoặc benchmark chính thức: Repeated K-Fold hoặc Nested CV.
  • Có time series, group hoặc mất cân bằng: dùng biến thể tương ứng (TimeSeriesSplit, GroupKFold, StratifiedKFold).

Bias-variance của K — vì sao K = 5 hoặc 10 là mặc định?

Chọn K là một sự đánh đổi:

  • K nhỏ (ví dụ K = 2): tập train chỉ khoảng 50% dataset → mô hình học từ ít dữ liệu → ước lượng lỗi cao hơn thực tế (bias dương).
  • K lớn (ví dụ K = n): tập train gần như toàn bộ → bias thấp, nhưng K tập train rất giống nhau → K điểm đánh giá tương quan cao → variance không giảm như kỳ vọng.
  • K = 5 hoặc 10: cân bằng tốt. Kohavi (1995) thực nghiệm đề xuất K = 10 cho nhiều loại bài toán.

Nested CV — khi cần báo cáo không thiên vị

Khi dùng GridSearchCV, điểm tốt nhất đã là kết quả của quá trình chọn lọc trên CV → lạc quan hơn điểm thực tế. Nested CV giải quyết bằng hai vòng:

  • Vòng ngoài: đánh giá hiệu năng tổng quát (K_outer fold).
  • Vòng trong: chọn hyperparameter (K_inner fold) trong mỗi fold của vòng ngoài.

Chi phí: K_outer × K_inner × |grid| lần huấn luyện. Đắt, nhưng là cách báo cáo điểm không thiên vị khi viết paper hoặc benchmark công khai.

Sáu tình huống thực tế — chọn biến thể CV nào?

Bài toánDatasetCV đề xuất
Phát hiện gian lận thẻ tín dụng (0,5% gian lận)1 triệu giao dịchStratified 5-Fold
Phân loại X-quang phổi (500 bệnh nhân)5.000 ảnhGroup 5-Fold theo bệnh nhân
Dự báo giá điện theo giờ8.760 giờ × 5 nămTime Series Split
Hồi quy giá nhà20.000 mẫuK-Fold thường (K = 10)
Nhận dạng giọng nói đa người10k clip, 200 speakerGroup 5-Fold theo speaker
Publication benchmark về NLP50k văn bảnRepeated Stratified 5-Fold

Checklist 6 điểm trước khi báo cáo kết quả CV

  • Preprocessing nằm trong pipeline (fit riêng mỗi fold)?
  • Đã dùng Stratified nếu dữ liệu mất cân bằng?
  • Đã dùng Time Series Split nếu có thứ tự thời gian?
  • Đã dùng Group K-Fold nếu có nhóm tự nhiên?
  • Báo cáo kèm cả mean VÀ std (không chỉ mean)?
  • Nếu so sánh mô hình: khoảng (mean ± std) có chồng lấn không? Nếu chồng → chưa chắc khác nhau.

Ba sai lầm phổ biến khi dùng cross-validation

SaiVì sao saiĐúng
Fit StandardScaler trên toàn bộ X trước khi chạy cross_val_scoreScaler đã biết mean/std của test fold → leakage. Kết quả CV lạc quan hơn thực tế 3–8%.Đặt scaler trong pipeline: scaler fit riêng trên fold train, rồi transform fold test.
Shuffle dữ liệu chuỗi thời gian rồi K-FoldTương lai (fold train) “biết” quá khứ (fold test) → mô hình học nội suy, không học dự đoán.Dùng TimeSeriesSplit — luôn train trước, test sau.
Báo cáo “accuracy 87%” mà không kèm độ lệch chuẩnCó thể là 87% ± 9% (rất không ổn định) hoặc 87% ± 1% (rất ổn định). Hai tình huống khác hẳn.Báo cáo mean ± std của K fold. So sánh hai mô hình bằng paired test.

Tóm tắt

  • Chia một lần = một đề thi may rủi. Chia K phần và xoay vòng = K đề, trung bình ổn định hơn.
  • K = 5 hoặc K = 10 là mặc định. Báo cáo luôn kèm mean ± std. Std cao là cờ đỏ.
  • Stratified cho phân loại mất cân bằng, Time Series Split cho dữ liệu thời gian, Group K-Fold cho dữ liệu có nhóm tự nhiên.
  • Cạm bẫy: fit preprocessing TRƯỚC CV → leakage. Luôn đặt scaler và encoder trong pipeline để mỗi fold có preprocessing riêng.
  • Leave-One-Out chỉ dùng khi dataset cực nhỏ; Repeated K-Fold khi cần báo cáo khoa học với khoảng tin cậy.

Continue the path

Lesson 58 of 106