Giới thiệu
Kaggle (nền tảng thi khoa học dữ liệu của Google) tổ chức hàng trăm cuộc thi mỗi năm. Hàng nghìn đội nộp bài và theo dõi thứ hạng trên public leaderboard — bảng xếp hạng công khai, cập nhật sau mỗi lần nộp bài. Nhưng public leaderboard chỉ được tính trên khoảng 1/3 dữ liệu kiểm tra.
Khi cuộc thi kết thúc, private leaderboard (bảng xếp hạng chính thức) dùng 2/3 dữ liệu còn lại — và xáo trộn thứ hạng cực kinh. Có trường hợp đội hạng 1.485 public nhảy lên hạng 1 private. Châm ngôn của các Grandmaster: “Trust Your CV” — tin vào cross-validation nội bộ, không chạy theo bảng xếp hạng công khai.
Cuộc thi “Decoding Brain Signals” — câu chuyện kinh điển
| Public LB (trong cuộc thi) | Private LB (sau cuộc thi) | |
|---|---|---|
| Đội X | 1.485 / ~1.700 — gần cuối bảng; nhiều người nghĩ họ thua chắc | Hạng #1 — họ tin vào CV thay vì public LB |
Đây là câu chuyện thật từ cuộc thi Kaggle 2015–2016. Đội X chọn mô hình dựa trên CV score cao thay vì public LB — và 1.484 đội đã overfit public LB và tụt hạng thảm hại khi private công bố.
Public leaderboard tạo cám dỗ cực mạnh: mỗi lần nộp, bạn nhận phản hồi. Nếu thứ hạng tăng, bạn giữ lại thay đổi vừa thực hiện. Nếu giảm, bỏ đi. Lặp lại 50, 100 lần. Blum & Hardt (ICML 2015) chứng minh: hành vi này tương đương overfit trên tập kiểm tra. “Mô hình” ở đây không chỉ là mạng nơ-ron mà còn là quyết định của bạn về việc giữ/bỏ mỗi thay đổi.
Vấn đề cốt lõi: làm sao đánh giá đáng tin cậy hiệu suất mô hình khi public leaderboard có thể đánh lừa? Câu trả lời: cross-validation nội bộ — chia tập huấn luyện thành nhiều fold, xoay vòng kiểm định, rồi trung bình K điểm. CV này là “bảng xếp hạng cá nhân” của mỗi đội — và nó đáng tin hơn public LB.
Cross-validation nội bộ là nguồn tin đáng tin cậy nhất. Trước khi nộp bài, thí sinh chia dữ liệu huấn luyện thành k phần (thường K = 5 hoặc 10). Với mỗi fold, train trên k-1 phần, test trên phần còn lại. Trung bình k điểm = “CV score”. Các Grandmaster tin CV score hơn cả public LB vì nó đã trung bình qua nhiều cách chia khác nhau.
So sánh CV score vs public LB. Nếu hai chỉ số đi cùng chiều ⇒ yên tâm. Nếu CV tăng nhưng public giảm (hoặc ngược lại) ⇒ đèn đỏ: có thể public LB đang “nhìn” một góc nhỏ không đại diện, hoặc mô hình đang overfit. Quy tắc vàng: ưu tiên CV.
Hai bài nộp cuối quyết định. Kaggle chỉ cho phép mỗi đội chọn 2 submission để chấm trên private. Chiến lược tối ưu: một bài có CV score cao nhất (bảo thủ, “đánh chắc”), một bài cân bằng giữa CV và public (rủi ro vừa phải). Đây là lúc cross-validation thực sự quyết định thắng thua.