Giới thiệu
Kaggle (nền tảng thi đấu khoa học dữ liệu của Google) là đấu trường nơi hàng chục nghìn kỹ sư và nhà nghiên cứu cạnh tranh trên cùng bộ dữ liệu. Giải thưởng lên tới hàng triệu đô-la, và thứ hạng được quyết định bởi từng phần nghìn của metric đánh giá.
Bài học lớn nhất từ Kaggle: bạn không bao giờ thắng bằng một chiến thuật nhất định. Có gấu chậm (nộp sớm một model mạnh), có cáo nhanh (tune theo public leaderboard mỗi ngày), có cú khôn (tin CV nội bộ, ensemble lớn, final diversity). Ba tính cách — ba kết thúc khác nhau khi private leaderboard được công bố.
| Phần test | Tỉ lệ | Khi nào thấy |
|---|---|---|
| Public leaderboard | Khoảng 25% test | Cập nhật hằng ngày trong cuộc thi |
| Private leaderboard | Khoảng 75% test còn lại | Chỉ công bố khi cuộc thi kết thúc |
Mục đích của cách chia này là tránh các đội tune tham số chỉ theo public. Hiện tượng leaderboard shakeup xảy ra khi private được lật lên: nhiều đội đứng top 10 public rớt hàng trăm bậc vì đã overfit vào subset công khai mà không biết, còn đội chậm ở public có thể leo vài chục bậc. Làm thế nào biết model thực sự tốt hay chỉ may mắn? Làm thế nào chọn đúng 2 bài nộp cuối từ hàng trăm thí nghiệm? Đây là câu chuyện của đánh giá và chọn mô hình ở độ khó cao nhất.
Cross-validation strategy — nền tảng không thể thiếu. Grandmaster xây CV strategy trước mọi thứ khác. K-Fold là mặc định, nhưng tuỳ bài cần biến thể: Stratified cho imbalanced, Group K-Fold khi có nhóm dữ liệu (cùng bệnh nhân), Time-Series Split cho chuỗi thời gian. Quy tắc vàng: nếu CV score và public LB tương quan tốt, hãy tin CV — không phải public.
Metric selection — hiểu cuộc thi đang đo gì. RMSE cho regression, AUC cho classification, MAP@K cho ranking, log-loss cho probabilistic. Grandmaster phân tích metric trước khi viết dòng code đầu tiên — metric quyết định loss function nào để train, threshold nào để cut-off, và cách tối ưu ensemble. Ví dụ: log-loss phạt nặng dự đoán tự tin sai — phải calibrate probability.
Ensemble stacking — xếp chồng model qua nhiều tầng. Grandmaster huấn luyện hàng chục, đôi khi hàng trăm model đa dạng: XGBoost, LightGBM, CatBoost, neural net, linear. Dự đoán của các model này trở thành feature đầu vào cho meta-model. Bài thắng Kaggle tháng 4/2025 dùng 3 tầng: tầng 1 gồm 33 model, tầng 2 có 3 meta (XGBoost, neural net, AdaBoost), tầng 3 là trung bình có trọng số. Giải pháp cuối chọn 75 model từ 500 thí nghiệm.
Final submission strategy — diversity is everything. Kaggle cho phép 2 bài nộp cuối. Grandmaster áp dụng nguyên tắc diversity: chọn hai bài rất khác nhau — một bài an toàn (CV mạnh, ensemble lớn) và một bài mạo hiểm (single model mạnh hoặc ensemble nhỏ đặc biệt). Nếu chọn hai bài giống nhau, chúng thắng cùng hoặc thua cùng — mất lợi thế đa dạng. Quyết định này thường phân biệt top 10 và top 100.