ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kỹ năng thực hành

AI Foundation

Tiền xử lý dữ liệu — Làm sạch trước khi học

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

80% thời gian của một data scientist là làm sạch dữ liệu. Bài này cho bạn nhìn thấy từng thao tác: điền thiếu, lọc ngoại lai, chuẩn hoá, mã hoá — kèm đoạn pandas ngắn cho từng bước.

lesson107 minKỹ năng thực hànhAI Foundation

Hook

Bạn có bảng dữ liệu căn hộ: 15% cột “diện tích” bị thiếu, một hàng ghi tuổi chủ = −3 (lỗi nhập), một hàng ghi thu nhập = 9999 triệu (nhập nhầm). Bạn huấn luyện model và accuracy chỉ 55%. Vì sao?

80% thời gian của một data scientist là làm sạch dữ liệu

Trên blog về Machine Learning, mọi người hay khoe mô hình “state of the art”. Nhưng ngoài thực tế, phần lớn thời gian dành để rửa dữ liệu: điền chỗ thiếu, bỏ giá trị vô lý, chuẩn hoá đơn vị, mã hoá cột chữ.

Thao tácViệc làm
Điền chỗ thiếuThay ô trống bằng giá trị hợp lý
Bỏ giá trị vô lýLọc outlier và giá trị lỗi như tuổi âm
Mã hoá cột chữChuyển “quận”, “loại nhà” thành số
Chuẩn hoáĐưa các cột về cùng thang đo

Ẩn dụ — dữ liệu thô như rau vừa hái

Đầu bếp giỏi không bao giờ cho nguyên mớ rau vào nồi: người đó nhặt, rửa, cắt rồi mới nấu. Dữ liệu thô cũng vậy. Thu thập từ form, cảm biến hay log ứng dụng thì luôn có ô trống, giá trị lỗi và đơn vị khác nhau. Nếu cho luôn vào nồi, món ăn sẽ dở dù công thức có “state of the art”.

Không làm sạchCó làm sạch
Model học cả NaN và outlier → dự đoán lệch → báo cáo saiModel nhận dữ liệu “chín tới” → học pattern thật → dự đoán ổn định khi deploy

Đào sâu

Missing values — bốn chiến lược

Mỗi chiến lược phù hợp với một tình huống khác nhau. Ví dụ dưới đây dùng dữ liệu nhỏ để thấy kết quả.

Chiến lượcKhi nào dùngVí dụ: trước → sau
Drop rowXoá hàng thiếu khi số hàng thiếu dưới 5% và thiếu ngẫu nhiên[28, NaN, 45] → [28, 45]
Mean imputationĐiền trung bình. Dễ, nhưng dễ bị outlier kéo lệch[28, NaN, 45] → [28, 36.5, 45]
Median imputationĐiền trung vị. “Lì” hơn trước outlier — mặc định an toàn[28, NaN, 45, 500] → [28, 45, 45, 500]
Forward-fillDùng giá trị gần nhất trước đó, hữu ích cho chuỗi thời gian[1.0, NaN, NaN, 1.3] → [1.0, 1.0, 1.0, 1.3]

pandas — 4 cách xử lý missing

import pandas as pd

df.dropna(subset=["thu_nhap"])                  # 1. Drop row
df["thu_nhap"].fillna(df["thu_nhap"].mean())     # 2. Mean
df["thu_nhap"].fillna(df["thu_nhap"].median())   # 3. Median
df["thu_nhap"].ffill()                           # 4. Forward-fill

Outliers

Ngoại lai có thể là lỗi nhập, có thể là hiện tượng thật nhưng hiếm. Hai cách phát hiện phổ biến:

Z-score

Đếm giá trị lệch bao nhiêu độ lệch chuẩn so với trung bình. Điều kiện: |z| > 3 thì coi là ngoại lai.

z = (df["thu_nhap"] - df["thu_nhap"].mean()) / df["thu_nhap"].std()
ngoai_lai = df[z.abs() > 3]

IQR

Dựa trên tứ phân vị Q1, Q3, không nhạy với outlier như z-score. Điều kiện: nằm ngoài [Q1 − 1,5 · IQR, Q3 + 1,5 · IQR].

q1, q3 = df["thu_nhap"].quantile([0.25, 0.75])
iqr = q3 - q1
ngoai_lai = df[(df["thu_nhap"] < q1 - 1.5 * iqr) | (df["thu_nhap"] > q3 + 1.5 * iqr)]

Scaling

Khi “tuổi” nằm trong 0–100 mà “thu nhập” trong 5–500, KNN và gradient descent sẽ bị “thu nhập” lấn át. Scaling đưa mọi cột về cùng thang đo.

CáchCông thức đặc điểmDùng khi
Standard (z-score)Trừ mean, chia std: mean = 0, std = 1Mặc định cho mô hình tuyến tính
Min-MaxKéo mọi giá trị về [0, 1]Ảnh, neural net với sigmoid

X_std = (X - X.mean()) / X.std()
X_mm = (X - X.min()) / (X.max() - X.min())

Encoding

Mô hình chỉ “nhìn” được số. Với cột chữ như quận, loại nhà, cấp bậc, cần biến chữ thành số theo hai cách.

CáchDùng khiVí dụLưu ý
One-hotCategory không có thứ tự (quận, màu, loại sản phẩm)“Hoàn Kiếm” → [1, 0, 0]; “Ba Đình” → [0, 1, 0]Bùng nổ số cột khi có hơn 100 category
Label / OrdinalCategory có thứ tự (junior < senior < lead, size S < M < L)junior = 0, mid = 1, senior = 2, lead = 3Mô hình có thể hiểu nhầm nếu thứ tự không có thật

pandas + sklearn — cả hai cách encode

# One-hot với pandas
df = pd.get_dummies(df, columns=["quan"], prefix="quan")

# Ordinal với sklearn
from sklearn.preprocessing import OrdinalEncoder
enc = OrdinalEncoder(categories=[["junior","mid","senior","lead"]])
df["cap_bac"] = enc.fit_transform(df[["cap_bac"]])

Thứ tự của pipeline

Năm bước đúng thứ tự

1 / 5
  1. 1. 1. Split train / val / test

    Luôn chia dữ liệu trước mọi bước xử lý. Nếu không, mean, std và median sẽ bị pha trộn giữa train và test — data leakage.

Khoảnh khắc Aha

Mô hình không biết dữ liệu của bạn bẩn ở đâu — nó học đúng những gì bạn đưa vào. Nếu bạn đưa tuổi = −3, model sẽ học rằng có người tuổi âm. Nếu cho nó NaN, nó sẽ khớp với NaN. Nếu thu nhập lớn gấp 10 lần tuổi, gradient descent sẽ chỉ nghe thu nhập.

Làm sạch dữ liệu là khoản đầu tư có lợi tức cao nhất trong pipeline ML. Dữ liệu sạch với mô hình đơn giản thường thắng dữ liệu bẩn với mô hình phức tạp.

Thử thách

Bạn đang xử lý dataset khách hàng với cột “email phụ”. 30% hàng bị thiếu. Phương án hợp lý nhất?
Bạn có cột thu nhập từ 5 đến 500 triệu và cột tuổi từ 18 đến 65. Bạn dùng KNN để phân loại. Vấn đề là gì?

Giải thích

Tiền xử lý là tập hợp các bước biến dữ liệu thô thành dữ liệu sẵn sàng cho mô hình. Hai công thức gặp nhiều nhất trong công việc hằng ngày:

Công thức 1 — chuẩn hoá bằng z-score

z=x−μσz = \dfrac{x - \mu}{\sigma}

Nghĩa là giá trị x lệch bao nhiêu độ lệch chuẩn so với trung bình. Sau khi biến đổi, cột có mean = 0 và std = 1. Gradient descent không còn bị cột “to” lấn át cột “nhỏ”, và KNN xem mọi đặc trưng công bằng.

Công thức 2 — min-max scaling

x′=x−xmin⁡xmax⁡−xmin⁡x' = \dfrac{x - x_{\min}}{x_{\max} - x_{\min}}

Kéo mọi giá trị vào đoạn [0, 1]. Hữu ích khi mô hình yêu cầu đầu vào bị giới hạn, như sigmoid hoặc pixel ảnh. Nhược điểm: nhạy với outlier, vì một giá trị cực đại sẽ đẩy mọi giá trị khác về gần 0.

scaling với sklearn

from sklearn.preprocessing import StandardScaler, MinMaxScaler

std_scaler = StandardScaler()
minmax = MinMaxScaler()

X_train_std = std_scaler.fit_transform(X_train[["tuoi", "thu_nhap"]])
X_train_mm  = minmax.fit_transform(X_train[["tuoi", "thu_nhap"]])

X_val_std   = std_scaler.transform(X_val[["tuoi", "thu_nhap"]])   # không fit!
X_val_mm    = minmax.transform(X_val[["tuoi", "thu_nhap"]])

Ghép pipeline đầu tới cuối

sklearn Pipeline — mọi bước trong 1 object

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

clf = Pipeline([
    ("impute", SimpleImputer(strategy="median")),
    ("scale",  StandardScaler()),
    ("model",  LogisticRegression(max_iter=500)),
])
clf.fit(X_train, y_train)
clf.score(X_test, y_test)

Pipeline cho cột số và cột chữ riêng biệt

Khi cột số và cột chữ cần xử lý khác nhau, tách thành hai nhánh rồi gộp lại bằng ColumnTransformer:

2 nhánh — định nghĩa pipeline từng loại

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

num_pipe = Pipeline([
    ("impute", SimpleImputer(strategy="median")),
    ("scale",  StandardScaler()),
])
cat_pipe = Pipeline([
    ("impute", SimpleImputer(strategy="most_frequent")),
    ("onehot", OneHotEncoder(handle_unknown="ignore")),
])

Gộp hai nhánh thành một preprocessor

prep = ColumnTransformer([
    ("num", num_pipe, ["tuoi", "thu_nhap"]),
    ("cat", cat_pipe, ["quan", "loai"]),
])
X_train_clean = prep.fit_transform(X_train)
X_test_clean  = prep.transform(X_test)  # không fit!

Khi nào chọn median thay vì mean?

Khi phân phối lệch phải (thu nhập, giá, dân số) hoặc có outlier. Mean bị outlier kéo lệch, median thì không. Nguyên tắc an toàn: mặc định median, chỉ chọn mean khi đã kiểm tra phân phối gần chuẩn.

Tree-based model có thực sự không cần scale?

Đúng. Random Forest, XGBoost, LightGBM và CatBoost chia theo điều kiện x < t. Scaling không đổi thứ tự các điểm theo x nên split tối ưu giữ nguyên. Tuy vậy các model này vẫn cần xử lý missing và encode categorical.

Khi dữ liệu đã sạch, bước tiếp theo là feature engineering — tạo đặc trưng mới có ý nghĩa.

Ôn tập

  • Làm sạch dữ liệu là bước có tác động lớn nhất lên chất lượng model — trước cả việc đổi kiến trúc.
  • Bốn thao tác cốt lõi: điền missing, lọc outlier, encode category, scale số.
  • Luôn chia train/val/test trước, rồi fit mọi biến đổi chỉ trên train.
  • Median “lì” trước outlier — dùng khi phân phối lệch hoặc có giá trị cực trị.
  • Dùng sklearn Pipeline để đóng gói — mỗi bước áp dụng tự động khi deploy.
Khi nào nên fit imputer và scaler?
Vì sao median thường an toàn hơn mean khi có outlier?

Continue the path

Lesson 98 of 106