Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
80% thời gian của một data scientist là làm sạch dữ liệu. Bài này cho bạn nhìn thấy từng thao tác: điền thiếu, lọc ngoại lai, chuẩn hoá, mã hoá — kèm đoạn pandas ngắn cho từng bước.
lesson107 minKỹ năng thực hànhAI Foundation
Hook
80% thời gian của một data scientist là làm sạch dữ liệu
Trên blog về Machine Learning, mọi người hay khoe mô hình “state of the art”. Nhưng ngoài thực tế, phần lớn thời gian dành để rửa dữ liệu: điền chỗ thiếu, bỏ giá trị vô lý, chuẩn hoá đơn vị, mã hoá cột chữ.
Thao tác
Việc làm
Điền chỗ thiếu
Thay ô trống bằng giá trị hợp lý
Bỏ giá trị vô lý
Lọc outlier và giá trị lỗi như tuổi âm
Mã hoá cột chữ
Chuyển “quận”, “loại nhà” thành số
Chuẩn hoá
Đưa các cột về cùng thang đo
Ẩn dụ — dữ liệu thô như rau vừa hái
Đầu bếp giỏi không bao giờ cho nguyên mớ rau vào nồi: người đó nhặt, rửa, cắt rồi mới nấu. Dữ liệu thô cũng vậy. Thu thập từ form, cảm biến hay log ứng dụng thì luôn có ô trống, giá trị lỗi và đơn vị khác nhau. Nếu cho luôn vào nồi, món ăn sẽ dở dù công thức có “state of the art”.
Không làm sạch
Có làm sạch
Model học cả NaN và outlier → dự đoán lệch → báo cáo sai
Model nhận dữ liệu “chín tới” → học pattern thật → dự đoán ổn định khi deploy
Đào sâu
Missing values — bốn chiến lược
Mỗi chiến lược phù hợp với một tình huống khác nhau. Ví dụ dưới đây dùng dữ liệu nhỏ để thấy kết quả.
Chiến lược
Khi nào dùng
Ví dụ: trước → sau
Drop row
Xoá hàng thiếu khi số hàng thiếu dưới 5% và thiếu ngẫu nhiên
[28, NaN, 45] → [28, 45]
Mean imputation
Điền trung bình. Dễ, nhưng dễ bị outlier kéo lệch
[28, NaN, 45] → [28, 36.5, 45]
Median imputation
Điền trung vị. “Lì” hơn trước outlier — mặc định an toàn
[28, NaN, 45, 500] → [28, 45, 45, 500]
Forward-fill
Dùng giá trị gần nhất trước đó, hữu ích cho chuỗi thời gian
[1.0, NaN, NaN, 1.3] → [1.0, 1.0, 1.0, 1.3]
pandas — 4 cách xử lý missing
importpandasaspddf.dropna(subset=["thu_nhap"])# 1. Drop rowdf["thu_nhap"].fillna(df["thu_nhap"].mean())# 2. Meandf["thu_nhap"].fillna(df["thu_nhap"].median())# 3. Mediandf["thu_nhap"].ffill()# 4. Forward-fill
Outliers
Ngoại lai có thể là lỗi nhập, có thể là hiện tượng thật nhưng hiếm. Hai cách phát hiện phổ biến:
Z-score
Đếm giá trị lệch bao nhiêu độ lệch chuẩn so với trung bình. Điều kiện: |z| > 3 thì coi là ngoại lai.
Mô hình chỉ “nhìn” được số. Với cột chữ như quận, loại nhà, cấp bậc, cần biến chữ thành số theo hai cách.
Cách
Dùng khi
Ví dụ
Lưu ý
One-hot
Category không có thứ tự (quận, màu, loại sản phẩm)
“Hoàn Kiếm” → [1, 0, 0]; “Ba Đình” → [0, 1, 0]
Bùng nổ số cột khi có hơn 100 category
Label / Ordinal
Category có thứ tự (junior < senior < lead, size S < M < L)
junior = 0, mid = 1, senior = 2, lead = 3
Mô hình có thể hiểu nhầm nếu thứ tự không có thật
pandas + sklearn — cả hai cách encode
# One-hot với pandasdf=pd.get_dummies(df,columns=["quan"],prefix="quan")# Ordinal với sklearnfromsklearn.preprocessingimportOrdinalEncoderenc=OrdinalEncoder(categories=[["junior","mid","senior","lead"]])df["cap_bac"]=enc.fit_transform(df[["cap_bac"]])
Thứ tự của pipeline
Năm bước đúng thứ tự
1 / 5
1. 1. Split train / val / test
Luôn chia dữ liệu trước mọi bước xử lý. Nếu không, mean, std và median sẽ bị pha trộn giữa train và test — data leakage.
Khoảnh khắc Aha
Mô hình không biết dữ liệu của bạn bẩn ở đâu — nó học đúng những gì bạn đưa vào. Nếu bạn đưa tuổi = −3, model sẽ học rằng có người tuổi âm. Nếu cho nó NaN, nó sẽ khớp với NaN. Nếu thu nhập lớn gấp 10 lần tuổi, gradient descent sẽ chỉ nghe thu nhập.
Làm sạch dữ liệu là khoản đầu tư có lợi tức cao nhất trong pipeline ML. Dữ liệu sạch với mô hình đơn giản thường thắng dữ liệu bẩn với mô hình phức tạp.
Thử thách
Giải thích
Tiền xử lý là tập hợp các bước biến dữ liệu thô thành dữ liệu sẵn sàng cho mô hình. Hai công thức gặp nhiều nhất trong công việc hằng ngày:
Công thức 1 — chuẩn hoá bằng z-score
z=σx−μ
Nghĩa là giá trị x lệch bao nhiêu độ lệch chuẩn so với trung bình. Sau khi biến đổi, cột có mean = 0 và std = 1. Gradient descent không còn bị cột “to” lấn át cột “nhỏ”, và KNN xem mọi đặc trưng công bằng.
Công thức 2 — min-max scaling
x′=xmax−xminx−xmin
Kéo mọi giá trị vào đoạn [0, 1]. Hữu ích khi mô hình yêu cầu đầu vào bị giới hạn, như sigmoid hoặc pixel ảnh. Nhược điểm: nhạy với outlier, vì một giá trị cực đại sẽ đẩy mọi giá trị khác về gần 0.
scaling với sklearn
fromsklearn.preprocessingimportStandardScaler,MinMaxScalerstd_scaler=StandardScaler()minmax=MinMaxScaler()X_train_std=std_scaler.fit_transform(X_train[["tuoi","thu_nhap"]])X_train_mm=minmax.fit_transform(X_train[["tuoi","thu_nhap"]])X_val_std=std_scaler.transform(X_val[["tuoi","thu_nhap"]])# không fit!X_val_mm=minmax.transform(X_val[["tuoi","thu_nhap"]])
prep=ColumnTransformer([("num",num_pipe,["tuoi","thu_nhap"]),("cat",cat_pipe,["quan","loai"]),])X_train_clean=prep.fit_transform(X_train)X_test_clean=prep.transform(X_test)# không fit!
Khi nào chọn median thay vì mean?
Khi phân phối lệch phải (thu nhập, giá, dân số) hoặc có outlier. Mean bị outlier kéo lệch, median thì không. Nguyên tắc an toàn: mặc định median, chỉ chọn mean khi đã kiểm tra phân phối gần chuẩn.
Tree-based model có thực sự không cần scale?
Đúng. Random Forest, XGBoost, LightGBM và CatBoost chia theo điều kiện x < t. Scaling không đổi thứ tự các điểm theo x nên split tối ưu giữ nguyên. Tuy vậy các model này vẫn cần xử lý missing và encode categorical.
Khi dữ liệu đã sạch, bước tiếp theo là feature engineering — tạo đặc trưng mới có ý nghĩa.
Ôn tập
Làm sạch dữ liệu là bước có tác động lớn nhất lên chất lượng model — trước cả việc đổi kiến trúc.