ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kỹ năng thực hành

AI Foundation

Đánh giá và chọn mô hình

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Bốn mô hình cùng giải một bài toán — ai thắng? Bạn kéo trọng số cho accuracy, precision, latency, rồi xem thứ hạng đổi theo thời gian thực.

lesson107 minKỹ năng thực hànhAI Foundation

Giới thiệu

Model A có accuracy 98,4%, Model B có accuracy 97,9% trên cùng bài toán phát hiện gian lận thẻ. Model A có thắng không?

Câu hỏi “chọn model nào” không có một con số trả lời. Đó là một quy trình: xác định metric quan trọng, cân nhắc trade-off, đo nhiều lần với cross-validation, rồi so sánh. Bài này dạy bạn quy trình đó.

Hãy tưởng tượng bạn đang duyệt 5 ứng viên CV cho cùng một vị trí. Ai cũng có điểm mạnh riêng — người nhanh, người cẩn thận, người rẻ. Bạn không chọn được trước khi biết công ty cần gì nhất. Model selection cũng vậy: không có model “tốt nhất”, chỉ có model phù hợp nhất cho một bộ yêu cầu cụ thể.

Khám phá — mỗi metric đo một trục khác nhau

Bốn model đã chạy xong trên cùng tập dữ liệu phát hiện gian lận thường mạnh ở các trục khác nhau. Bảng dưới đây tóm tắt từng trục và khi nào nên ưu tiên.

TrụcMetricĐo điều gìƯu tiên khi
Chất lượngAccuracyTỉ lệ dự đoán đúng trên toàn bộ test setDữ liệu cân bằng; chỉ dùng kèm metric khác khi mất cân bằng
Chất lượngPrecisionTrong các ca báo gian lận, bao nhiêu ca đúng là gian lậnBáo giả tốn kém hoặc làm mất lòng khách hàng
Chất lượngRecallTrong các ca gian lận thật, model bắt được bao nhiêuBỏ sót tốn kém hơn báo giả
Chất lượngF1Trung bình điều hòa của precision và recallCần cân bằng precision và recall
Tốc độLatencyThời gian chấm 1000 giao dịch (ms) — càng thấp càng tốtThanh toán realtime
Tốc độTrain timeThời gian huấn luyện một lần (phút) — càng thấp càng tốtHuấn luyện lại thường xuyên
  • Chỉ quan tâm accuracy → nhìn cột Chất lượng, nhưng nhớ accuracy dễ bị đánh lừa khi dữ liệu mất cân bằng.
  • Muốn bắt nhiều gian lận hơn (sợ bỏ sót) → ưu tiên Recall, chấp nhận Precision thấp hơn.
  • Cần latency thấp cho thanh toán realtime → loại model chậm dù chất lượng cao.

Đào sâu — mỗi bài toán có nhóm metric riêng

Metrics không phải một loại. Phần dưới đây đi qua bốn nhóm: classification, regression, ranking và calibration, mỗi nhóm kèm một đoạn code sklearn ngắn.

Classification

Ngưỡng (threshold) quyết định khi nào một dự đoán thành “gian lận”. Threshold thấp bắt được nhiều gian lận (recall cao) nhưng báo động giả nhiều (precision thấp). Threshold cao làm ngược lại.

Ô trong confusion matrixÝ nghĩa
TP — đúng dươngGian lận thật, model báo gian lận
FP — báo giảHợp lệ nhưng model báo gian lận
FN — bỏ sótGian lận thật nhưng model cho qua
TN — đúng âmHợp lệ, model cho qua

classification_metrics.py

from sklearn.metrics import (
    precision_score, recall_score, f1_score, roc_auc_score,
)
# y_true: nhãn thật, y_pred: dự đoán (0/1), y_proba: xác suất
print("Precision:", precision_score(y_true, y_pred))
print("Recall:   ", recall_score(y_true, y_pred))
print("F1:       ", f1_score(y_true, y_pred))
print("ROC AUC:  ", roc_auc_score(y_true, y_proba))

Regression

RMSE, MAE và R² đo sai số theo cách khác nhau. Khi scatter của dự đoán bám đường chéo, model đang dự đoán gần giá trị thật.

regression_metrics.py

from sklearn.metrics import (
    mean_squared_error, mean_absolute_error, r2_score,
)
import numpy as np
# y_true, y_pred là mảng số thực
rmse = np.sqrt(mean_squared_error(y_true, y_pred))
mae = mean_absolute_error(y_true, y_pred)
r2 = r2_score(y_true, y_pred)
print(f"RMSE={rmse:.3f}  MAE={mae:.3f}  R2={r2:.3f}")

Ranking

Trong các hệ thống gợi ý và tìm kiếm, thứ tự kết quả quan trọng hơn đúng/sai đơn thuần. NDCG thưởng model đặt kết quả hay lên đầu; nếu kết quả tốt bị đẩy xuống, NDCG giảm mạnh.

ranking_metrics.py

from sklearn.metrics import ndcg_score, average_precision_score
import numpy as np
# y_true: relevance (0..3), y_score: điểm model đưa ra
y_true = np.array([[3, 3, 2, 2, 1, 0, 0, 0, 0, 0]])
y_score = np.array([[0.9, 0.8, 0.7, 0.65, 0.5, 0.4, 0.3, 0.2, 0.1, 0.05]])
print("NDCG@10:", ndcg_score(y_true, y_score))
print("MAP:   ", average_precision_score((y_true > 0).astype(int), y_score))

Calibration

Calibration hỏi: khi model nói “70% chắc là gian lận”, thực tế có đúng 70% ca trong nhóm đó là gian lận không? Trục X là xác suất model dự đoán, trục Y là tỉ lệ thực tế đúng. Đường chéo = hoàn hảo.

calibration_check.py

from sklearn.calibration import calibration_curve
import matplotlib.pyplot as plt
# y_proba là xác suất dương model sinh ra
prob_true, prob_pred = calibration_curve(y_true, y_proba, n_bins=10)
plt.plot([0, 1], [0, 1], "--", label="Hoàn hảo")
plt.plot(prob_pred, prob_true, "o-", label="Model")
plt.xlabel("Xác suất dự đoán")
plt.ylabel("Tần suất thực tế")
plt.legend(); plt.show()

Khoảnh khắc hiểu — viết bộ yêu cầu trước

Chọn model không phải tìm “model tốt nhất” — mà là biên soạn một bộ yêu cầu rồi tìm model thoả mãn nó. Bộ yêu cầu thường gồm bốn phần:

Thành phầnCâu hỏi cần trả lời
Metric chínhBài toán cần metric nào để đo thành công?
Ràng buộc thời gianTrain và inference được chậm tới đâu?
Khả năng giải thíchCó cần giải thích quyết định cho khách hàng hoặc quy định không?
Chi phíTính toán và bảo trì tốn kém tới đâu?

Khi bạn đã viết bộ yêu cầu, model phù hợp thường hiện ra gần như ngay.

Thử thách — AUC cao nhưng accuracy thấp

Model X được quảng cáo ROC AUC = 0,95. Bạn triển khai thử và accuracy chỉ 55%. Chuyện gì xảy ra?

AUC = 0,95 nghĩa là nếu xếp hạng tất cả mẫu theo score của model, dương và âm tách rõ. Nhưng accuracy phụ thuộc vào một threshold. Ví dụ: nếu phần lớn score nằm trong khoảng 0,55–0,95, threshold mặc định 0,5 sẽ gắn tất cả vào dương — accuracy sập. Cách xử lý: (1) calibrate probability, (2) chọn threshold theo nhu cầu precision/recall, hoặc (3) dùng ngưỡng tối ưu F1 từ precision-recall curve.

Giải thích — quy trình so sánh model

Đánh giá và chọn mô hình đi theo vòng lặp: huấn luyện → dự đoán → đo lường → so sánh. Mỗi vòng lặp cho bạn thêm hiểu biết để tinh chỉnh: đổi hyperparameter, thêm feature, hoặc chuyển hẳn sang model khác.

Quy trình so sánh model

1 / 4
  1. 1. 1. Viết bộ yêu cầu

    Trước khi mở editor, hãy viết ra giấy: bài toán là classification hay regression? Dữ liệu cân bằng không? Latency giới hạn bao nhiêu? Chi phí sai âm (bỏ sót) và sai dương (báo giả) khác nhau ra sao? Chọn **một** metric làm “điểm chính” (primary metric) và 2–3 metric phụ. Ví dụ: gian lận → primary F1, phụ precision (giữ trust) và latency (UX). Không bao giờ tối ưu 6 metric cùng lúc.

ROC AUC — công thức một dòng

ROC AUC là xác suất model đưa ra score cao hơn cho một mẫu dương ngẫu nhiên so với một mẫu âm ngẫu nhiên:

ROC AUC=P(s^(x+)>s^(x−))\text{ROC AUC} = P\big(\hat{s}(x^+) > \hat{s}(x^-)\big)
ROC AUCÝ nghĩa
0,50Đoán mò
0,9595% số lần model xếp giao dịch gian lận có score cao hơn giao dịch bình thường
1,00Hoàn hảo

Average Precision (AP) — bạn đồng hành của AUC khi dữ liệu mất cân bằng

AP=∑k=1n(Rk−Rk−1)⋅Pk\text{AP} = \sum_{k=1}^{n} (R_k - R_{k-1}) \cdot P_k

AP là diện tích dưới precision-recall curve. Khi gian lận chỉ chiếm 1% dữ liệu, AUC có thể cao giả tạo vì số TN rất lớn. AP nhìn trực tiếp vào đường precision-recall nên phản ánh thực chất hơn. Quy tắc: dữ liệu mất cân bằng trên 1:20 → ưu tiên AP hơn AUC.

Code: cross_val_score và GridSearchCV

compare_models_cv.py

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

models = {
    "LogReg": LogisticRegression(max_iter=1000, random_state=42),
    "RandomForest": RandomForestClassifier(n_estimators=100, random_state=42),
}
for name, m in models.items():
    scores = cross_val_score(m, X, y, cv=5, scoring="f1_weighted")
    print(f"{name}: F1 = {scores.mean():.3f} +/- {scores.std():.3f}")

tune_with_grid_search.py

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

param_grid = {
    "n_estimators": [100, 300],
    "max_depth": [None, 8, 16],
    "min_samples_leaf": [1, 4],
}
grid = GridSearchCV(RandomForestClassifier(random_state=42),
                    param_grid, cv=5, scoring="f1", n_jobs=-1)
grid.fit(X_train, y_train)
print("Best:", grid.best_params_, "score:", grid.best_score_)

Chọn metric theo bài toán

Bài toánVấn đềMetric nên dùng
Sàng lọc ung thưBỏ sót (recall thấp) nguy hiểm gấp nhiều lần báo giảF2 (nhấn recall) hoặc recall với ràng buộc precision sàn
Thư rácChuyển nhầm email công việc vào spam (precision thấp) rất bực mìnhF0.5 (nhấn precision)
RankingThứ tự quan trọng hơn đúng/saiNDCG, MAP

F1 giả định precision và recall quan trọng như nhau. Khi bài toán không như vậy, hãy chọn metric nhấn đúng trục cần thiết như bảng trên.

No Free Lunch Theorem — vì sao bạn vẫn nên thử nhiều model

Định lý No Free Lunch (Wolpert, 1996) phát biểu: khi tính trung bình trên TOÀN BỘ bài toán có thể có, không thuật toán nào tốt hơn thuật toán khác. Nghe như khiến việc chọn model vô nghĩa, nhưng thực tế:

  • Bạn không gặp “toàn bộ bài toán” — bạn gặp một bài toán cụ thể với cấu trúc cụ thể.
  • Mỗi thuật toán có inductive bias — giả định ngầm về cấu trúc dữ liệu. Tree giả định dữ liệu có hierarchy, linear giả định additive, NN giả định hierarchy phi tuyến.
  • Do đó việc thử 3–5 thuật toán khác nhau luôn hợp lý — bạn đang đánh cược về inductive bias nào khớp với bài toán của mình nhất.

Tóm tắt — 5 điều nhớ khi chọn model

  • Không có model “tốt nhất” chung — chỉ có model phù hợp nhất cho bộ yêu cầu cụ thể của bài toán.
  • Accuracy bị đánh lừa khi dữ liệu mất cân bằng — luôn kèm precision/recall/F1 hoặc AP.
  • ROC AUC đo khả năng xếp hạng; accuracy đo trên một threshold — hai câu chuyện khác nhau.
  • Cross-validation 5-fold + báo cáo mean ± std, không chỉ một con số.
  • Latency, train time và khả năng giải thích luôn nằm cùng bàn cân với F1 — đừng chỉ nhìn một trục.

Continue the path

Lesson 103 of 106