Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Bốn mô hình cùng giải một bài toán — ai thắng? Bạn kéo trọng số cho accuracy, precision, latency, rồi xem thứ hạng đổi theo thời gian thực.
lesson107 minKỹ năng thực hànhAI Foundation
Giới thiệu
Câu hỏi “chọn model nào” không có một con số trả lời. Đó là một quy trình: xác định metric quan trọng, cân nhắc trade-off, đo nhiều lần với cross-validation, rồi so sánh. Bài này dạy bạn quy trình đó.
Hãy tưởng tượng bạn đang duyệt 5 ứng viên CV cho cùng một vị trí. Ai cũng có điểm mạnh riêng — người nhanh, người cẩn thận, người rẻ. Bạn không chọn được trước khi biết công ty cần gì nhất. Model selection cũng vậy: không có model “tốt nhất”, chỉ có model phù hợp nhất cho một bộ yêu cầu cụ thể.
Khám phá — mỗi metric đo một trục khác nhau
Bốn model đã chạy xong trên cùng tập dữ liệu phát hiện gian lận thường mạnh ở các trục khác nhau. Bảng dưới đây tóm tắt từng trục và khi nào nên ưu tiên.
Trục
Metric
Đo điều gì
Ưu tiên khi
Chất lượng
Accuracy
Tỉ lệ dự đoán đúng trên toàn bộ test set
Dữ liệu cân bằng; chỉ dùng kèm metric khác khi mất cân bằng
Chất lượng
Precision
Trong các ca báo gian lận, bao nhiêu ca đúng là gian lận
Báo giả tốn kém hoặc làm mất lòng khách hàng
Chất lượng
Recall
Trong các ca gian lận thật, model bắt được bao nhiêu
Bỏ sót tốn kém hơn báo giả
Chất lượng
F1
Trung bình điều hòa của precision và recall
Cần cân bằng precision và recall
Tốc độ
Latency
Thời gian chấm 1000 giao dịch (ms) — càng thấp càng tốt
Thanh toán realtime
Tốc độ
Train time
Thời gian huấn luyện một lần (phút) — càng thấp càng tốt
Huấn luyện lại thường xuyên
Chỉ quan tâm accuracy → nhìn cột Chất lượng, nhưng nhớ accuracy dễ bị đánh lừa khi dữ liệu mất cân bằng.
Muốn bắt nhiều gian lận hơn (sợ bỏ sót) → ưu tiên Recall, chấp nhận Precision thấp hơn.
Cần latency thấp cho thanh toán realtime → loại model chậm dù chất lượng cao.
Đào sâu — mỗi bài toán có nhóm metric riêng
Metrics không phải một loại. Phần dưới đây đi qua bốn nhóm: classification, regression, ranking và calibration, mỗi nhóm kèm một đoạn code sklearn ngắn.
Classification
Ngưỡng (threshold) quyết định khi nào một dự đoán thành “gian lận”. Threshold thấp bắt được nhiều gian lận (recall cao) nhưng báo động giả nhiều (precision thấp). Threshold cao làm ngược lại.
RMSE, MAE và R² đo sai số theo cách khác nhau. Khi scatter của dự đoán bám đường chéo, model đang dự đoán gần giá trị thật.
regression_metrics.py
fromsklearn.metricsimport(mean_squared_error,mean_absolute_error,r2_score,)importnumpyasnp# y_true, y_pred là mảng số thựcrmse=np.sqrt(mean_squared_error(y_true,y_pred))mae=mean_absolute_error(y_true,y_pred)r2=r2_score(y_true,y_pred)print(f"RMSE={rmse:.3f} MAE={mae:.3f} R2={r2:.3f}")
Ranking
Trong các hệ thống gợi ý và tìm kiếm, thứ tự kết quả quan trọng hơn đúng/sai đơn thuần. NDCG thưởng model đặt kết quả hay lên đầu; nếu kết quả tốt bị đẩy xuống, NDCG giảm mạnh.
ranking_metrics.py
fromsklearn.metricsimportndcg_score,average_precision_scoreimportnumpyasnp# y_true: relevance (0..3), y_score: điểm model đưa ray_true=np.array([[3,3,2,2,1,0,0,0,0,0]])y_score=np.array([[0.9,0.8,0.7,0.65,0.5,0.4,0.3,0.2,0.1,0.05]])print("NDCG@10:",ndcg_score(y_true,y_score))print("MAP: ",average_precision_score((y_true>0).astype(int),y_score))
Calibration
Calibration hỏi: khi model nói “70% chắc là gian lận”, thực tế có đúng 70% ca trong nhóm đó là gian lận không? Trục X là xác suất model dự đoán, trục Y là tỉ lệ thực tế đúng. Đường chéo = hoàn hảo.
calibration_check.py
fromsklearn.calibrationimportcalibration_curveimportmatplotlib.pyplotasplt# y_proba là xác suất dương model sinh raprob_true,prob_pred=calibration_curve(y_true,y_proba,n_bins=10)plt.plot([0,1],[0,1],"--",label="Hoàn hảo")plt.plot(prob_pred,prob_true,"o-",label="Model")plt.xlabel("Xác suất dự đoán")plt.ylabel("Tần suất thực tế")plt.legend();plt.show()
Khoảnh khắc hiểu — viết bộ yêu cầu trước
Chọn model không phải tìm “model tốt nhất” — mà là biên soạn một bộ yêu cầu rồi tìm model thoả mãn nó. Bộ yêu cầu thường gồm bốn phần:
Thành phần
Câu hỏi cần trả lời
Metric chính
Bài toán cần metric nào để đo thành công?
Ràng buộc thời gian
Train và inference được chậm tới đâu?
Khả năng giải thích
Có cần giải thích quyết định cho khách hàng hoặc quy định không?
Chi phí
Tính toán và bảo trì tốn kém tới đâu?
Khi bạn đã viết bộ yêu cầu, model phù hợp thường hiện ra gần như ngay.
Thử thách — AUC cao nhưng accuracy thấp
AUC = 0,95 nghĩa là nếu xếp hạng tất cả mẫu theo score của model, dương và âm tách rõ. Nhưng accuracy phụ thuộc vào một threshold. Ví dụ: nếu phần lớn score nằm trong khoảng 0,55–0,95, threshold mặc định 0,5 sẽ gắn tất cả vào dương — accuracy sập. Cách xử lý: (1) calibrate probability, (2) chọn threshold theo nhu cầu precision/recall, hoặc (3) dùng ngưỡng tối ưu F1 từ precision-recall curve.
Giải thích — quy trình so sánh model
Đánh giá và chọn mô hình đi theo vòng lặp: huấn luyện → dự đoán → đo lường → so sánh. Mỗi vòng lặp cho bạn thêm hiểu biết để tinh chỉnh: đổi hyperparameter, thêm feature, hoặc chuyển hẳn sang model khác.
Quy trình so sánh model
1 / 4
1. 1. Viết bộ yêu cầu
Trước khi mở editor, hãy viết ra giấy: bài toán là classification hay regression? Dữ liệu cân bằng không? Latency giới hạn bao nhiêu? Chi phí sai âm (bỏ sót) và sai dương (báo giả) khác nhau ra sao? Chọn **một** metric làm “điểm chính” (primary metric) và 2–3 metric phụ. Ví dụ: gian lận → primary F1, phụ precision (giữ trust) và latency (UX). Không bao giờ tối ưu 6 metric cùng lúc.
ROC AUC — công thức một dòng
ROC AUC là xác suất model đưa ra score cao hơn cho một mẫu dương ngẫu nhiên so với một mẫu âm ngẫu nhiên:
ROC AUC=P(s^(x+)>s^(x−))
ROC AUC
Ý nghĩa
0,50
Đoán mò
0,95
95% số lần model xếp giao dịch gian lận có score cao hơn giao dịch bình thường
1,00
Hoàn hảo
Average Precision (AP) — bạn đồng hành của AUC khi dữ liệu mất cân bằng
AP=k=1∑n(Rk−Rk−1)⋅Pk
AP là diện tích dưới precision-recall curve. Khi gian lận chỉ chiếm 1% dữ liệu, AUC có thể cao giả tạo vì số TN rất lớn. AP nhìn trực tiếp vào đường precision-recall nên phản ánh thực chất hơn. Quy tắc: dữ liệu mất cân bằng trên 1:20 → ưu tiên AP hơn AUC.
Code: cross_val_score và GridSearchCV
compare_models_cv.py
fromsklearn.linear_modelimportLogisticRegressionfromsklearn.ensembleimportRandomForestClassifierfromsklearn.model_selectionimportcross_val_scoremodels={"LogReg":LogisticRegression(max_iter=1000,random_state=42),"RandomForest":RandomForestClassifier(n_estimators=100,random_state=42),}forname,minmodels.items():scores=cross_val_score(m,X,y,cv=5,scoring="f1_weighted")print(f"{name}: F1 = {scores.mean():.3f} +/- {scores.std():.3f}")
Bỏ sót (recall thấp) nguy hiểm gấp nhiều lần báo giả
F2 (nhấn recall) hoặc recall với ràng buộc precision sàn
Thư rác
Chuyển nhầm email công việc vào spam (precision thấp) rất bực mình
F0.5 (nhấn precision)
Ranking
Thứ tự quan trọng hơn đúng/sai
NDCG, MAP
F1 giả định precision và recall quan trọng như nhau. Khi bài toán không như vậy, hãy chọn metric nhấn đúng trục cần thiết như bảng trên.
No Free Lunch Theorem — vì sao bạn vẫn nên thử nhiều model
Định lý No Free Lunch (Wolpert, 1996) phát biểu: khi tính trung bình trên TOÀN BỘ bài toán có thể có, không thuật toán nào tốt hơn thuật toán khác. Nghe như khiến việc chọn model vô nghĩa, nhưng thực tế:
Bạn không gặp “toàn bộ bài toán” — bạn gặp một bài toán cụ thể với cấu trúc cụ thể.
Mỗi thuật toán có inductive bias — giả định ngầm về cấu trúc dữ liệu. Tree giả định dữ liệu có hierarchy, linear giả định additive, NN giả định hierarchy phi tuyến.
Do đó việc thử 3–5 thuật toán khác nhau luôn hợp lý — bạn đang đánh cược về inductive bias nào khớp với bài toán của mình nhất.
Tóm tắt — 5 điều nhớ khi chọn model
Không có model “tốt nhất” chung — chỉ có model phù hợp nhất cho bộ yêu cầu cụ thể của bài toán.
Accuracy bị đánh lừa khi dữ liệu mất cân bằng — luôn kèm precision/recall/F1 hoặc AP.
ROC AUC đo khả năng xếp hạng; accuracy đo trên một threshold — hai câu chuyện khác nhau.
Cross-validation 5-fold + báo cáo mean ± std, không chỉ một con số.
Latency, train time và khả năng giải thích luôn nằm cùng bàn cân với F1 — đừng chỉ nhìn một trục.