ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kỹ năng thực hành

AI Foundation

Dự án ML từ đầu đến cuối

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Dự án tổng kết (Capstone) — đi trọn vẹn một dự án ML: từ câu hỏi kinh doanh đến mô hình chạy thật, được theo dõi mỗi ngày.

lesson107 minKỹ năng thực hànhAI Foundation

Mở bài

Dự án tổng kết: đi trọn vẹn một dự án ML từ câu hỏi kinh doanh đến mô hình chạy thật, được theo dõi mỗi ngày.

Từ câu hỏi kinh doanh → dữ liệu → mô hình → triển khai → theo dõi. Đây là bản đồ bạn cần trong đầu trước mọi dự án ML — không có nó, bạn sẽ đi lạc ngay ở tuần thứ hai.

Bài này đưa bạn đi qua tám giai đoạn, kèm một case study minh hoạ về dự đoán đơn hàng bị hủy trên Shopee (số liệu theo nguồn bài, mang tính minh hoạ) — từ yêu cầu mơ hồ của sếp đến mô hình chạy production và được theo dõi khi dữ liệu đổi.

Dự đoán

Sếp giao dự án 2 tháng dự đoán đơn hủy trên Shopee. Bạn có dữ liệu 12 triệu đơn. Bước đi đầu tiên đúng nhất là gì?

Tám giai đoạn dưới đây là vòng lặp. Mỗi giai đoạn bỏ qua đều trả giá về sau.

Bản đồ tám giai đoạn

Vòng lặp của một dự án ML

1 / 8
  1. 1. 1. Framing

    Chốt target, metric và baseline bằng spec viết tay trước khi chạm dữ liệu.

Case study: đơn hủy trên Shopee (minh hoạ)

Đội data có một kỹ sư, làm trong hai tháng, với mục tiêu giảm rò rỉ doanh thu vì đơn hủy.

Giai đoạn 1 — Framing

Sếp nói: “Đơn hủy tuần qua tăng 18%. Làm gì đó đi.” Bạn không nhảy vào code mà hỏi lại: hủy ở đâu, lúc nào, vì lý do gì? Sau hai buổi họp, các bên đồng ý ưu tiên đơn hủy trong 24 giờ đầu, do người mua tự hủy. Metric chốt là PR-AUC vì dữ liệu hủy rất lệch (khoảng 8% positive).

Giai đoạn 2 — Data

Kéo dữ liệu 90 ngày — 12,3 triệu đơn hàng từ warehouse, join với bảng user (tenure, city) và bảng shop (rating, category). Lưu snapshot dạng parquet có version theo ngày chạy, ví dụ shopee_orders_2026_03_01.parquet. Ba tháng sau nếu cần tái tạo, chỉ load đúng file này.

Giai đoạn 3 — EDA

Histogram GMV lệch phải cực mạnh, nhiều đơn trên 5 triệu là outlier. Cột payment_method thiếu 4% ở phiên bản app cũ. Theo giờ, tỉ lệ hủy tăng vọt sau 22 giờ (người mua buồn ngủ đặt nhầm). Phát hiện này về sau trở thành feature quan trọng.

Giai đoạn 4 — Features

Tạo 24 feature, một nửa dựa trên hiểu biết nghiệp vụ. Numeric: GMV, tenure_days, hour_of_day, avg_order_in_7d. Categorical: city, device, payment_method, shop_category. Thời gian: is_late_night (22h–2h), day_of_week, is_weekend. Tương tác: gmv / tenure_days (người mới chi nhiều thì rủi ro cao hơn). Các feature này giữ được khi deploy vì pipeline đóng gói chung.

Giai đoạn 5 — Train

Bốn mô hình ứng viên, baseline trước, phức tạp sau:

Mô hìnhPR-AUC
LogisticRegression (baseline)0,412
Random Forest0,501
LightGBM mặc định0,573
LightGBM đã tune0,612

Khoảng cách LightGBM với Random Forest chủ yếu đến từ việc LightGBM xử lý categorical tốt hơn, không phải vì mô hình phức tạp hơn.

Giai đoạn 6 — Eval

PR-AUC tổng 0,612 nghe tốt, nhưng khi cắt theo thành phố: Hà Nội 0,68, TP.HCM 0,63, Đà Nẵng chỉ 0,47. Lý do: dữ liệu Đà Nẵng ít hơn khoảng 10 lần. Quyết định: deploy một model chung cho tất cả, nhưng theo dõi riêng Đà Nẵng và lên kế hoạch thu thập thêm dữ liệu.

Giai đoạn 7 — Deploy

Model và preprocessing được gói chung thành Pipeline rồi lưu bằng joblib. Dựng FastAPI, đóng Docker, deploy lên Kubernetes. A/B test: 5% lưu lượng gọi model, 95% dùng rule cũ. Theo dõi 48 giờ thấy p99 latency 38 ms, không có lỗi serialize. Tăng lên 25%, ổn. Một tuần sau: 100%.

Giai đoạn 8 — Monitor

Hai tuần sau, precision rớt: từ 0,80 xuống 0,63 sau 14 ngày. PSI của cột device là 0,31 (drift nặng). Nguyên nhân: app phiên bản mới làm tỉ lệ user iOS tăng từ 32% lên 49%. Retrain với dữ liệu 30 ngày gần nhất, deploy lại, precision quay về 0,78. Không có monitoring, bạn sẽ mất tiền âm thầm.

Thử thách

Mô hình đã deploy 2 tuần; accuracy rớt 2 điểm phần trăm, precision rớt 17 điểm. Đâu là nhóm nguyên nhân khả thi nhất? (Chọn đáp án đầy đủ nhất.)
Bạn có 4 tuần để làm dự án dự đoán đơn hủy. Phân bổ thời gian nào hợp lý nhất?

Giải thích và tham chiếu

Dự án ML không phải chuỗi tuyến tính — nó là vòng lặp. Mỗi lần monitoring phát hiện drift, bạn quay về feature engineering hoặc thu thập dữ liệu rồi đi lại từ đó đến deploy.

Framing→Data→EDA→Features→Train→Eval→Deploy→Monitor↺\text{Framing} \to \text{Data} \to \text{EDA} \to \text{Features} \to \text{Train} \to \text{Eval} \to \text{Deploy} \to \text{Monitor} \circlearrowleft

Vòng tròn ở cuối nhắc bạn: không có “xong”. Một mô hình sống trung bình 3 đến 12 tháng trước khi cần retrain lớn. Nếu bạn chỉ làm đến Deploy rồi dừng, mô hình sẽ thầm lặng thối rữa.

Checklist trước khi báo cáo sếp “dự án xong”

Giai đoạnCần có
FramingSpec viết tay về target, metric và baseline
DataSnapshot dataset có version theo ngày hoặc commit
EDANotebook EDA với năm phát hiện lớn nhất
FeaturePipeline đóng gói mọi phép biến đổi
TrainCross-validation có độ lệch chuẩn, không chỉ một lần split
EvalSlice error theo segment quan trọng
DeployCanary rollout và kế hoạch rollback viết rõ
MonitorDashboard drift và cảnh báo khi metric rớt quá 10%

5 cú vấp kinh điển

Cái bẫyTriệu chứngNguyên nhânCách tránh
Data leakageOffline metric cao bất thường (PR-AUC trên 0,95 cho bài khó)Fit scaler hoặc encoder trên toàn bộ dữ liệu; target encoding không dùng CVLuôn dùng Pipeline. Fit trên train, transform trên test
Train/serve skewModel tốt offline nhưng sai lệch khi deployTransform bằng pandas offline, SQL online → logic khác nhauDùng chung một Pipeline cho cả train và serve (lưu bằng joblib)
Metric ảoAccuracy 99% nhưng không bắt được positive nàoDữ liệu lệch và chọn accuracy cho bài toán mất cân bằngDùng PR-AUC, recall tại precision cố định, F1 của lớp thiểu số
Không baselineKhông biết AUC 0,82 là tốt hay bình thườngNhảy thẳng vào mô hình phức tạpLuôn có LogisticRegression hoặc heuristic làm điểm so sánh
Deploy xong rồi quênModel thối rữa âm thầm, sếp phát hiện sau ba thángKhông monitor drift, không cảnh báo khi metric rớtDashboard drift, cron retrain và cảnh báo Slack

Bộ xương ML Pipeline — tối thiểu bạn cần biết viết

Ba đoạn code dưới đây là mẫu xương sống. Mỗi đoạn ngắn và đi kèm giải thích; bạn có thể điều chỉnh cho dự án đầu tay.

1. sklearn Pipeline — tránh data leakage bằng thiết kế

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.ensemble import GradientBoostingClassifier

pre = ColumnTransformer([
    ("num", StandardScaler(), num_cols),
    ("cat", OneHotEncoder(handle_unknown="ignore"), cat_cols),
])

pipe = Pipeline([
    ("pre", pre),
    ("clf", GradientBoostingClassifier(random_state=42)),
])

Toàn bộ bước biến đổi (scale số, one-hot cột chữ) và mô hình được gói chung vào một Pipeline. Khi gọi pipe.fit(X_train), scaler chỉ được fit trên train. Khi gọi pipe.predict(X_test), scaler dùng tham số đã fit, nên không có data leakage. Đây là thói quen bắt buộc cho mọi dự án ML.

2. joblib — lưu pipeline để deploy dùng lại hệt train

import joblib

# Lưu sau khi fit xong trên tập train
pipe.fit(X_train, y_train)
joblib.dump(pipe, "model_v1.pkl")

# Sau này (kể cả trên server khác):
loaded = joblib.load("model_v1.pkl")
proba = loaded.predict_proba(X_new)[:, 1]

joblib.dump lưu nguyên cả Pipeline (bao gồm preprocessing) chứ không chỉ model. Khi load lại, predict_proba tự chạy đủ chuỗi: scale, one-hot, predict. Đây là cách đáng tin để đảm bảo transform online giống hệt offline.

3. FastAPI endpoint — wrap model thành HTTP service

from fastapi import FastAPI
from pydantic import BaseModel
import joblib, pandas as pd

app = FastAPI()
model = joblib.load("model_v1.pkl")

class Order(BaseModel):
    gmv_vnd: float; hour_of_day: int
    city: str; device: str

@app.post("/predict")
def predict(o: Order):
    df = pd.DataFrame([o.dict()])
    return {"cancel_proba": float(model.predict_proba(df)[0, 1])}

FastAPI dựng API chỉ vài dòng. Pydantic kiểm tra input trước khi chạy: nếu thiếu trường hoặc sai kiểu, API trả lỗi rõ ràng thay vì mô hình crash. predict_proba trả về xác suất; ngưỡng cắt (0,5 mặc định, hoặc điều chỉnh theo recall và precision) do sản phẩm chọn.

Vì sao dùng xác suất mà không dùng nhãn trực tiếp?

Mỗi bài toán phân loại có một ngưỡng chuyển xác suất thành nhãn 0 hoặc 1. Ngưỡng mặc định 0,5 không phải lúc nào cũng tốt. Muốn recall cao (không bỏ sót), hạ ngưỡng xuống 0,3; muốn precision cao (ít báo động sai), nâng lên 0,7. Dùng predict_proba cho phép phía sản phẩm chọn ngưỡng theo mục tiêu kinh doanh mà không cần retrain.

Công thức PSI và cách đọc

PSI (Population Stability Index) so sánh hai phân phối:

PSI=∑i=1k(ai−ei) ln⁡aiei\mathrm{PSI} = \sum_{i=1}^{k} (a_i - e_i) \, \ln \frac{a_i}{e_i}

e_i là tỉ lệ của bin i trong phân phối train, a_i là tỉ lệ trong phân phối production gần đây. PSI dưới 0,1: phân phối ổn định. Từ 0,1 đến dưới 0,25: có drift, cần theo dõi. Từ 0,25 trở lên: drift nặng, retrain ngay.

Tài nguyên để đào sâu: tiền xử lý dữ liệu, feature engineering, đánh giá và chọn mô hình, Python cho ML.

Chốt lại

  • Dự án ML là vòng lặp tám giai đoạn — Framing, Data, EDA, Features, Train, Eval, Deploy, Monitor — không phải chuỗi tuyến tính.
  • Bắt đầu ở Framing: chốt target, metric và baseline trước khi chạm dữ liệu.
  • Data work (EDA và Features) chiếm hơn nửa thời gian và thường là đòn bẩy lớn nhất cho chất lượng.
  • Luôn đóng gói preprocessing và model vào một Pipeline, lưu bằng joblib — tránh train/serve skew và leakage.
  • Đánh giá phải cắt theo segment; accuracy một con số với dữ liệu mất cân bằng là đánh lừa.
  • Deploy chưa phải là xong. Monitor drift và vòng retrain mới là đích đến thật sự.

Ghi nhớ cuối: dự án ML đầu tay sẽ không đẹp. Bạn sẽ sai metric, bị leakage ít nhất một lần, quên monitoring. Điều đó bình thường. Điều khiến bạn khác người là lần thứ hai bạn không mắc cùng lỗi đó. Bản đồ tám giai đoạn là la bàn — mang theo cho dự án đầu tiên.

Sau khi làm xong một mô hình có accuracy 99% nhưng không bắt được ca dương nào, bạn nên làm gì trước tiên?

Continue the path

Lesson 106 of 106