Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Dự án tổng kết (Capstone) — đi trọn vẹn một dự án ML: từ câu hỏi kinh doanh đến mô hình chạy thật, được theo dõi mỗi ngày.
lesson107 minKỹ năng thực hànhAI Foundation
Mở bài
Dự án tổng kết: đi trọn vẹn một dự án ML từ câu hỏi kinh doanh đến mô hình chạy thật, được theo dõi mỗi ngày.
Từ câu hỏi kinh doanh → dữ liệu → mô hình → triển khai → theo dõi. Đây là bản đồ bạn cần trong đầu trước mọi dự án ML — không có nó, bạn sẽ đi lạc ngay ở tuần thứ hai.
Bài này đưa bạn đi qua tám giai đoạn, kèm một case study minh hoạ về dự đoán đơn hàng bị hủy trên Shopee (số liệu theo nguồn bài, mang tính minh hoạ) — từ yêu cầu mơ hồ của sếp đến mô hình chạy production và được theo dõi khi dữ liệu đổi.
Dự đoán
Tám giai đoạn dưới đây là vòng lặp. Mỗi giai đoạn bỏ qua đều trả giá về sau.
Bản đồ tám giai đoạn
Vòng lặp của một dự án ML
1 / 8
1. 1. Framing
Chốt target, metric và baseline bằng spec viết tay trước khi chạm dữ liệu.
Case study: đơn hủy trên Shopee (minh hoạ)
Đội data có một kỹ sư, làm trong hai tháng, với mục tiêu giảm rò rỉ doanh thu vì đơn hủy.
Giai đoạn 1 — Framing
Sếp nói: “Đơn hủy tuần qua tăng 18%. Làm gì đó đi.” Bạn không nhảy vào code mà hỏi lại: hủy ở đâu, lúc nào, vì lý do gì? Sau hai buổi họp, các bên đồng ý ưu tiên đơn hủy trong 24 giờ đầu, do người mua tự hủy. Metric chốt là PR-AUC vì dữ liệu hủy rất lệch (khoảng 8% positive).
Giai đoạn 2 — Data
Kéo dữ liệu 90 ngày — 12,3 triệu đơn hàng từ warehouse, join với bảng user (tenure, city) và bảng shop (rating, category). Lưu snapshot dạng parquet có version theo ngày chạy, ví dụ shopee_orders_2026_03_01.parquet. Ba tháng sau nếu cần tái tạo, chỉ load đúng file này.
Giai đoạn 3 — EDA
Histogram GMV lệch phải cực mạnh, nhiều đơn trên 5 triệu là outlier. Cột payment_method thiếu 4% ở phiên bản app cũ. Theo giờ, tỉ lệ hủy tăng vọt sau 22 giờ (người mua buồn ngủ đặt nhầm). Phát hiện này về sau trở thành feature quan trọng.
Giai đoạn 4 — Features
Tạo 24 feature, một nửa dựa trên hiểu biết nghiệp vụ. Numeric: GMV, tenure_days, hour_of_day, avg_order_in_7d. Categorical: city, device, payment_method, shop_category. Thời gian: is_late_night (22h–2h), day_of_week, is_weekend. Tương tác: gmv / tenure_days (người mới chi nhiều thì rủi ro cao hơn). Các feature này giữ được khi deploy vì pipeline đóng gói chung.
Giai đoạn 5 — Train
Bốn mô hình ứng viên, baseline trước, phức tạp sau:
Mô hình
PR-AUC
LogisticRegression (baseline)
0,412
Random Forest
0,501
LightGBM mặc định
0,573
LightGBM đã tune
0,612
Khoảng cách LightGBM với Random Forest chủ yếu đến từ việc LightGBM xử lý categorical tốt hơn, không phải vì mô hình phức tạp hơn.
Giai đoạn 6 — Eval
PR-AUC tổng 0,612 nghe tốt, nhưng khi cắt theo thành phố: Hà Nội 0,68, TP.HCM 0,63, Đà Nẵng chỉ 0,47. Lý do: dữ liệu Đà Nẵng ít hơn khoảng 10 lần. Quyết định: deploy một model chung cho tất cả, nhưng theo dõi riêng Đà Nẵng và lên kế hoạch thu thập thêm dữ liệu.
Giai đoạn 7 — Deploy
Model và preprocessing được gói chung thành Pipeline rồi lưu bằng joblib. Dựng FastAPI, đóng Docker, deploy lên Kubernetes. A/B test: 5% lưu lượng gọi model, 95% dùng rule cũ. Theo dõi 48 giờ thấy p99 latency 38 ms, không có lỗi serialize. Tăng lên 25%, ổn. Một tuần sau: 100%.
Giai đoạn 8 — Monitor
Hai tuần sau, precision rớt: từ 0,80 xuống 0,63 sau 14 ngày. PSI của cột device là 0,31 (drift nặng). Nguyên nhân: app phiên bản mới làm tỉ lệ user iOS tăng từ 32% lên 49%. Retrain với dữ liệu 30 ngày gần nhất, deploy lại, precision quay về 0,78. Không có monitoring, bạn sẽ mất tiền âm thầm.
Thử thách
Giải thích và tham chiếu
Dự án ML không phải chuỗi tuyến tính — nó là vòng lặp. Mỗi lần monitoring phát hiện drift, bạn quay về feature engineering hoặc thu thập dữ liệu rồi đi lại từ đó đến deploy.
Vòng tròn ở cuối nhắc bạn: không có “xong”. Một mô hình sống trung bình 3 đến 12 tháng trước khi cần retrain lớn. Nếu bạn chỉ làm đến Deploy rồi dừng, mô hình sẽ thầm lặng thối rữa.
Checklist trước khi báo cáo sếp “dự án xong”
Giai đoạn
Cần có
Framing
Spec viết tay về target, metric và baseline
Data
Snapshot dataset có version theo ngày hoặc commit
EDA
Notebook EDA với năm phát hiện lớn nhất
Feature
Pipeline đóng gói mọi phép biến đổi
Train
Cross-validation có độ lệch chuẩn, không chỉ một lần split
Eval
Slice error theo segment quan trọng
Deploy
Canary rollout và kế hoạch rollback viết rõ
Monitor
Dashboard drift và cảnh báo khi metric rớt quá 10%
5 cú vấp kinh điển
Cái bẫy
Triệu chứng
Nguyên nhân
Cách tránh
Data leakage
Offline metric cao bất thường (PR-AUC trên 0,95 cho bài khó)
Fit scaler hoặc encoder trên toàn bộ dữ liệu; target encoding không dùng CV
Luôn dùng Pipeline. Fit trên train, transform trên test
Train/serve skew
Model tốt offline nhưng sai lệch khi deploy
Transform bằng pandas offline, SQL online → logic khác nhau
Dùng chung một Pipeline cho cả train và serve (lưu bằng joblib)
Metric ảo
Accuracy 99% nhưng không bắt được positive nào
Dữ liệu lệch và chọn accuracy cho bài toán mất cân bằng
Dùng PR-AUC, recall tại precision cố định, F1 của lớp thiểu số
Không baseline
Không biết AUC 0,82 là tốt hay bình thường
Nhảy thẳng vào mô hình phức tạp
Luôn có LogisticRegression hoặc heuristic làm điểm so sánh
Deploy xong rồi quên
Model thối rữa âm thầm, sếp phát hiện sau ba tháng
Không monitor drift, không cảnh báo khi metric rớt
Dashboard drift, cron retrain và cảnh báo Slack
Bộ xương ML Pipeline — tối thiểu bạn cần biết viết
Ba đoạn code dưới đây là mẫu xương sống. Mỗi đoạn ngắn và đi kèm giải thích; bạn có thể điều chỉnh cho dự án đầu tay.
1. sklearn Pipeline — tránh data leakage bằng thiết kế
Toàn bộ bước biến đổi (scale số, one-hot cột chữ) và mô hình được gói chung vào một Pipeline. Khi gọi pipe.fit(X_train), scaler chỉ được fit trên train. Khi gọi pipe.predict(X_test), scaler dùng tham số đã fit, nên không có data leakage. Đây là thói quen bắt buộc cho mọi dự án ML.
2. joblib — lưu pipeline để deploy dùng lại hệt train
importjoblib# Lưu sau khi fit xong trên tập trainpipe.fit(X_train,y_train)joblib.dump(pipe,"model_v1.pkl")# Sau này (kể cả trên server khác):loaded=joblib.load("model_v1.pkl")proba=loaded.predict_proba(X_new)[:,1]
joblib.dump lưu nguyên cả Pipeline (bao gồm preprocessing) chứ không chỉ model. Khi load lại, predict_proba tự chạy đủ chuỗi: scale, one-hot, predict. Đây là cách đáng tin để đảm bảo transform online giống hệt offline.
3. FastAPI endpoint — wrap model thành HTTP service
FastAPI dựng API chỉ vài dòng. Pydantic kiểm tra input trước khi chạy: nếu thiếu trường hoặc sai kiểu, API trả lỗi rõ ràng thay vì mô hình crash. predict_proba trả về xác suất; ngưỡng cắt (0,5 mặc định, hoặc điều chỉnh theo recall và precision) do sản phẩm chọn.
Vì sao dùng xác suất mà không dùng nhãn trực tiếp?
Mỗi bài toán phân loại có một ngưỡng chuyển xác suất thành nhãn 0 hoặc 1. Ngưỡng mặc định 0,5 không phải lúc nào cũng tốt. Muốn recall cao (không bỏ sót), hạ ngưỡng xuống 0,3; muốn precision cao (ít báo động sai), nâng lên 0,7. Dùng predict_proba cho phép phía sản phẩm chọn ngưỡng theo mục tiêu kinh doanh mà không cần retrain.
Công thức PSI và cách đọc
PSI (Population Stability Index) so sánh hai phân phối:
PSI=i=1∑k(ai−ei)lneiai
e_i là tỉ lệ của bin i trong phân phối train, a_i là tỉ lệ trong phân phối production gần đây. PSI dưới 0,1: phân phối ổn định. Từ 0,1 đến dưới 0,25: có drift, cần theo dõi. Từ 0,25 trở lên: drift nặng, retrain ngay.
Tài nguyên để đào sâu: tiền xử lý dữ liệu, feature engineering, đánh giá và chọn mô hình, Python cho ML.
Chốt lại
Dự án ML là vòng lặp tám giai đoạn — Framing, Data, EDA, Features, Train, Eval, Deploy, Monitor — không phải chuỗi tuyến tính.
Bắt đầu ở Framing: chốt target, metric và baseline trước khi chạm dữ liệu.
Data work (EDA và Features) chiếm hơn nửa thời gian và thường là đòn bẩy lớn nhất cho chất lượng.
Luôn đóng gói preprocessing và model vào một Pipeline, lưu bằng joblib — tránh train/serve skew và leakage.
Đánh giá phải cắt theo segment; accuracy một con số với dữ liệu mất cân bằng là đánh lừa.
Deploy chưa phải là xong. Monitor drift và vòng retrain mới là đích đến thật sự.
Ghi nhớ cuối: dự án ML đầu tay sẽ không đẹp. Bạn sẽ sai metric, bị leakage ít nhất một lần, quên monitoring. Điều đó bình thường. Điều khiến bạn khác người là lần thứ hai bạn không mắc cùng lỗi đó. Bản đồ tám giai đoạn là la bàn — mang theo cho dự án đầu tiên.