ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kỹ năng thực hành

AI Foundation

Chọn mô hình trong Kaggle

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Gấu hay cáo? Kéo dòng thời gian Kaggle để xem early submission, ensemble stacking, và final submission strategy quyết định ai đứng top private leaderboard.

lesson107 minKỹ năng thực hànhAI Foundation

Giới thiệu

Kaggle (nền tảng thi đấu khoa học dữ liệu của Google) là đấu trường nơi hàng chục nghìn kỹ sư và nhà nghiên cứu cạnh tranh trên cùng bộ dữ liệu. Giải thưởng lên tới hàng triệu đô-la, và thứ hạng được quyết định bởi từng phần nghìn của metric đánh giá.

Bài học lớn nhất từ Kaggle: bạn không bao giờ thắng bằng một chiến thuật nhất định. Có gấu chậm (nộp sớm một model mạnh), có cáo nhanh (tune theo public leaderboard mỗi ngày), có cú khôn (tin CV nội bộ, ensemble lớn, final diversity). Ba tính cách — ba kết thúc khác nhau khi private leaderboard được công bố.

Phần testTỉ lệKhi nào thấy
Public leaderboardKhoảng 25% testCập nhật hằng ngày trong cuộc thi
Private leaderboardKhoảng 75% test còn lạiChỉ công bố khi cuộc thi kết thúc

Mục đích của cách chia này là tránh các đội tune tham số chỉ theo public. Hiện tượng leaderboard shakeup xảy ra khi private được lật lên: nhiều đội đứng top 10 public rớt hàng trăm bậc vì đã overfit vào subset công khai mà không biết, còn đội chậm ở public có thể leo vài chục bậc. Làm thế nào biết model thực sự tốt hay chỉ may mắn? Làm thế nào chọn đúng 2 bài nộp cuối từ hàng trăm thí nghiệm? Đây là câu chuyện của đánh giá và chọn mô hình ở độ khó cao nhất.

Cross-validation strategy — nền tảng không thể thiếu. Grandmaster xây CV strategy trước mọi thứ khác. K-Fold là mặc định, nhưng tuỳ bài cần biến thể: Stratified cho imbalanced, Group K-Fold khi có nhóm dữ liệu (cùng bệnh nhân), Time-Series Split cho chuỗi thời gian. Quy tắc vàng: nếu CV score và public LB tương quan tốt, hãy tin CV — không phải public.

Metric selection — hiểu cuộc thi đang đo gì. RMSE cho regression, AUC cho classification, MAP@K cho ranking, log-loss cho probabilistic. Grandmaster phân tích metric trước khi viết dòng code đầu tiên — metric quyết định loss function nào để train, threshold nào để cut-off, và cách tối ưu ensemble. Ví dụ: log-loss phạt nặng dự đoán tự tin sai — phải calibrate probability.

Ensemble stacking — xếp chồng model qua nhiều tầng. Grandmaster huấn luyện hàng chục, đôi khi hàng trăm model đa dạng: XGBoost, LightGBM, CatBoost, neural net, linear. Dự đoán của các model này trở thành feature đầu vào cho meta-model. Bài thắng Kaggle tháng 4/2025 dùng 3 tầng: tầng 1 gồm 33 model, tầng 2 có 3 meta (XGBoost, neural net, AdaBoost), tầng 3 là trung bình có trọng số. Giải pháp cuối chọn 75 model từ 500 thí nghiệm.

Final submission strategy — diversity is everything. Kaggle cho phép 2 bài nộp cuối. Grandmaster áp dụng nguyên tắc diversity: chọn hai bài rất khác nhau — một bài an toàn (CV mạnh, ensemble lớn) và một bài mạo hiểm (single model mạnh hoặc ensemble nhỏ đặc biệt). Nếu chọn hai bài giống nhau, chúng thắng cùng hoặc thua cùng — mất lợi thế đa dạng. Quyết định này thường phân biệt top 10 và top 100.

Ba chiến thuật đua trên public leaderboard

Chiến thuậtCách làmKết quả trong ví dụ của bài
Gấu chậmNộp sớm một model mạnh rồi cải thiện chậmBài không nêu kết quả cụ thể
Cáo nhanhTune theo feedback public LB mỗi ngàyTop 5 public suốt tuần cuối, rớt xuống #185 private
Cú khônTin CV nội bộ, ensemble lớn, final diversityTụt public nhưng leo private

Bài học: Cáo nhanh dẫn đầu public vì đã fit leaderboard. Cú khôn tin CV nội bộ — tụt public nhưng leo private. Shakeup không phải may rủi — nó là hình phạt cho những ai overfit vào phần công khai của test.

Cáo nhanh đứng top 5 public suốt tuần cuối, rồi rớt xuống #185 private. Nguyên nhân chính là gì?

Đây là shakeup kinh điển. Public LB là một subset — nếu bạn chọn model dựa trên điểm public hàng ngày, bạn đang fit một tập test bé. 75% private có phân phối khác chút — và model đã overfit sẽ sập. Trust CV > public LB luôn là nguyên tắc sống còn.

Ensemble stacking — 3 tầng của bài thắng Kaggle 2025

Grandmaster không chỉ train nhiều model — họ kiến trúc ensemble thành các tầng. Mỗi tầng có nhiệm vụ riêng: tầng 1 đa dạng, tầng 2 kết hợp, tầng 3 ổn định.

Ba nguyên tắc stacking

  • Đa dạng architecture quan trọng hơn “model tốt nhất”. Ensemble 10 model giống nhau ≈ 1 model. Ensemble 10 model khác kiến trúc tốt hơn rõ rệt.
  • Out-of-fold predictions bắt buộc khi stack. Dùng prediction trên chính dữ liệu train sẽ leak — meta model học thuộc, private sập.
  • Diminishing returns: từ 10 lên 100 model, gain giảm dần. Từ 100 lên 800, gần như không đáng — trừ khi chênh lệch giải thưởng lớn.

Chọn 2 bài nộp cuối — ứng viên và vai trò

Bạn có 4 ứng viên và chỉ được chọn 2. Bảng dưới đây mô tả vai trò của từng ứng viên trước khi bạn quyết định.

Ứng viênĐặc điểmVai trò
Ensemble an toànEnsemble lớn, CV mạnhBài an toàn
Single XGBoost tune kỹMột model mạnh, tune kỹBài mạo hiểm
Ensemble nhỏ mạo hiểmEnsemble nhỏ đặc biệtBài mạo hiểm
Bản copy public LB topChưa biết CVRủi ro overfit public — chạy CV trước khi xét

Grandmaster chọn hai bài ĐA DẠNG: nếu chọn hai bài giống nhau, chúng thắng cùng hoặc thua cùng. Một bài an toàn đi cùng một bài mạo hiểm là cách làm phổ biến.

Tình huống sau kiểm tra cách bạn đọc public leaderboard.

CV của bạn = 0,842, public LB = 0,839. Một notebook public có public LB = 0,851 nhưng không biết CV. Nên làm gì?

Chỉ tin public LB khi nó tương quan với CV nội bộ. Nếu tin được, có thể blend để tăng diversity.

Chọn CV strategy theo loại dữ liệu

K-Fold mặc định không phải lúc nào cũng đúng. Bốn biến thể thường gặp:

Chiến lượcKhi nào dùng
K-FoldDữ liệu IID, không có nhóm, không có thời gian — mặc định
Stratified K-FoldClassification mất cân bằng — mỗi fold giữ tỉ lệ lớp
Group K-FoldCó nhóm (cùng bệnh nhân, cùng user) — tránh leak
Time Series SplitDữ liệu theo thời gian — train quá khứ, validate tương lai

Vì sao ensemble stacking mạnh đến thế?

Đọc từng bước dưới đây — mỗi bước là một mảnh ghép của nguyên lý “trộn nhiều model”. Khi hiểu hết, bạn đã hiểu phần lớn lý do vì sao lời giải Kaggle thường gồm 20+ model.

Ba bước của ensemble

1 / 3
  1. 1. 1. Mỗi model có lỗi riêng

    Giả sử XGBoost dự đoán xác suất 0,72 cho một mẫu, LightGBM dự đoán 0,68, Neural Net dự đoán 0,81. Nhãn thật là 1. Cả ba model đều không hoàn hảo. Chìa khoá: các sai lệch *không cùng hướng* — XGBoost nhạy với outlier, LightGBM nhạy với cardinality cao, Neural Net nhạy với scale không đều. Đây là *tính độc lập* của lỗi mà ensemble cần.

Netflix Prize: dòng thời gian nổi tiếng của ensemble

Bốn cột mốc của cuộc thi ML công khai lớn nhất lịch sử — cũng là “trường ca” dạy ngành này về ensemble.

Thời điểmSự kiện
10/2006Netflix công bố giải 1 triệu USD cho ai cải thiện RMSE của Cinematch ≥ 10%. Dữ liệu: 100 triệu rating, 480 000 user, 17 770 phim — lớn nhất thời đó.
10/2007Progress Prize: BellKor đạt 8,43%. Team AT&T Labs dẫn đầu với SVD cải tiến + RBM, nhưng chưa đủ 10% — cần thêm model.
06/2009Ba team merge thành một: BellKor + BigChaos + Pragmatic Theory = BellKor's Pragmatic Chaos, tận dụng model của nhau để rút ngắn đường đến 10%.
26/07/2009, 18:42 UTCHai team cán đích cùng lúc. BellKor's Pragmatic Chaos nộp RMSE 0,8554. Khoảng 22 phút sau, The Ensemble nộp kết quả bằng nhau. BellKor thắng vì sớm hơn — câu chuyện kinh điển của stacking với 800+ model.

Code pattern Grandmaster — các dòng core của stacking

Đây là pattern chung cho stacking 2 tầng: out-of-fold prediction ở tầng 1, meta model ở tầng 2. Dòng quan trọng nhất là oof_preds — prediction trên fold mà model chưa thấy.

stacking_oof_pattern.py

from sklearn.model_selection import KFold
import numpy as np
kf = KFold(n_splits=5, shuffle=True, random_state=42)
oof_preds = np.zeros(len(X_train))
for tr_idx, va_idx in kf.split(X_train):
    model = LGBMClassifier().fit(X_train[tr_idx], y_train[tr_idx])
    oof_preds[va_idx] = model.predict_proba(X_train[va_idx])[:, 1]
meta_X = np.column_stack([oof_preds_xgb, oof_preds_lgbm, oof_preds_nn])
meta_model = LogisticRegression().fit(meta_X, y_train)
print("CV meta:", meta_model.score(meta_X, y_train))

Kiểm tra diversity của hai bài nộp bằng correlation trước khi submit:

submit_two_diverse.py

# Chọn 2 bài nộp đa dạng
safe_sub = big_ensemble.predict_proba(X_test)[:, 1]
risky_sub = small_focused_ensemble.predict_proba(X_test)[:, 1]
# Kiểm tra diversity bằng correlation — thấp = đa dạng tốt
correlation = np.corrcoef(safe_sub, risky_sub)[0, 1]
print(f"Correlation giữa 2 bài nộp: {correlation:.3f}")
print("OK nếu < 0.90. Nếu > 0.95, hai bài gần như giống nhau — chọn lại.")

Không có chiến thuật đánh giá, bạn train một model, thấy public LB cao, tự tin nộp bài — rồi rớt hàng trăm bậc khi private công bố. Đây là shakeup: model đã overfit phần public test mà bạn không biết.

Cross-validation nội bộ là la bàn đáng tin: đánh giá model trên nhiều fold, không phụ thuộc leaderboard. Ensemble stacking giảm variance dự đoán — như hỏi ý kiến 100 chuyên gia thay vì một. Final submission diversity đảm bảo không “bỏ trứng vào một giỏ”. Ba yếu tố này biến Kaggle từ trò may rủi thành khoa học có hệ thống — cũng chính là cách đánh giá và chọn mô hình hoạt động ở sản phẩm thật.

4 bài học chọn model trên Kaggle

  • Trust CV > public leaderboard. Public chỉ là 25% test — overfit nó = shakeup.
  • Ensemble stacking: tầng 1 đa dạng kiến trúc, tầng 2 kết hợp qua meta model, dùng out-of-fold predictions để tránh leak.
  • Metric là ngôi sao Bắc Đẩu — hiểu cuộc thi đo gì TRƯỚC khi viết dòng code đầu tiên.
  • Hai bài nộp cuối phải ĐA DẠNG: một an toàn, một mạo hiểm. Correlation giữa hai submission nên dưới 0,90.

Kaggle không phải trò may rủi — nó là kỳ thi đo năng lực đánh giá model của bạn.

Continue the path

Lesson 104 of 106