Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Hỏi 20 câu để đoán đồ vật — mỗi câu chia nhỏ khả năng. Cây quyết định làm đúng như vậy, thử tự tay xây một cái xem.
lesson46 minML cơ bảnAI Foundation
Hook
Hỏi 20 câu để đoán đồ vật
Hồi nhỏ bạn từng chơi game “Tôi đang nghĩ đến một con vật” — bạn hỏi liên tục: Nó sống trên cạn không? → Có 4 chân không? → Nó có sọc không?. Mỗi câu hỏi chia đôi khả năng cho đến khi chỉ còn lại một đáp án. Cây quyết định làm đúng như vậy — chỉ khác là máy tính chọn câu hỏi có ích nhất bằng một công thức thay vì linh cảm.
Cách đọc cây
Một cây có ba loại phần:
Phần
Ý nghĩa
Nút câu hỏi
Mỗi nút bên trong cây là một câu hỏi kiểu “đặc trưng X ≤ ngưỡng T?”. Nhánh trái (≤) — nhánh phải (>).
Lá xanh
Kết thúc nhánh. Đa số mẫu rơi vào đây thuộc lớp “qua môn”.
Lá đỏ
Đa số mẫu ở đây thuộc lớp “rớt”. Dự đoán cho một điểm mới = đi theo câu hỏi đến khi chạm lá.
Tự tay xây cây
Mỗi lần áp dụng một split, cây mọc thêm một tầng. Tối đa độ sâu 3 — chính là mức dùng trong thực tế để tránh overfitting.
Khoảnh khắc hiểu
Cây quyết định không thông minh hơn bạn — nó chỉ chăm chỉ hơn. Nó thử mọi câu hỏi có thể, đo độ lẫn lộn của dữ liệu sau khi chia bằng công thức Gini, và chọn câu hỏi giảm độ lẫn lộn nhiều nhất. Lặp lại quy trình đó ở từng nút → bạn có một cây tự mọc ra từ dữ liệu, đọc được từng nhánh như đọc một bản thuật toán chẩn đoán của bác sĩ.
Thử thách
Giải thích
Ở mỗi nút, cây quyết định trả lời đúng một câu: trong tất cả cách chia, cách nào làm dữ liệu “sạch” nhất? Có hai công thức phổ biến để đo độ sạch — cả hai đều nhỏ khi dữ liệu đã gần như cùng một lớp.
Công thức 1 — Gini impurity (mặc định của scikit-learn)
Gini=1−k∑pk2
Nói bằng tiếng Việt đời thường: “Nếu bạn rút ngẫu nhiên 1 mẫu ra, và đoán nhãn cho nó bằng cách lại rút ngẫu nhiên 1 mẫu nữa — xác suất đoán sai là bao nhiêu?”. Dữ liệu thuần một lớp → Gini = 0. Hai lớp cân bằng 50/50 → Gini = 0.5 (cao nhất).
Gini và Entropy với hai lớp
Phân bố
Gini
Entropy
Thuần 1 lớp (p₁ = 0 hoặc 1)
0
0
50/50 (p₁ = 0.5)
0.5
1
Công thức 2 — Entropy (nền tảng lý thuyết thông tin)
H=−k∑pklog2pk
Nói bằng tiếng Việt đời thường: “Cần trung bình bao nhiêu câu hỏi yes/no để biết chắc nhãn của một mẫu?”. Thuần 1 lớp → cần 0 câu, H = 0. 50/50 → cần 1 câu, H = 1 (cho 2 lớp). Gini và Entropy thường cho cây gần như giống nhau — chọn cái nào cũng ổn, scikit-learn mặc định dùng Gini vì nhanh hơn (không có log).
Quy trình ở mỗi nút
Bốn bước cho mỗi nút
1 / 4
1. Liệt kê mọi ngưỡng ứng viên
Với mỗi đặc trưng, sắp xếp các giá trị khác nhau, rồi lấy trung điểm giữa hai giá trị kề nhau làm ngưỡng thử. Nếu đặc trưng có 15 giá trị khác nhau → 14 ngưỡng.
Tham số quan trọng cần biết
Tham số
Ý nghĩa
max_depth
Giới hạn số tầng của cây. Nhỏ (2–4) → đơn giản, dễ hiểu, ít overfit. Lớn (8+) → accuracy train cao nhưng rủi ro overfit.
min_samples_leaf
Số mẫu tối thiểu ở mỗi lá. Đặt 10–20 với dataset vừa phải để tránh lá quá nhỏ = lá học thuộc.
criterion
'gini' (mặc định, nhanh) hoặc 'entropy' (gốc lý thuyết thông tin). Hai cái thường cho kết quả rất gần nhau.
ccp_alpha
Cost-complexity pruning — 'phạt' cây lớn. Tăng α → cây nhỏ hơn. Là cách hiện đại để tránh overfit thay cho min_samples.
Cây quyết định kết nối với nhiều khái niệm khác: overfitting/underfitting giải thích vì sao phải giới hạn độ sâu, đánh đổi bias-variance là khung lý thuyết chung, và khi bạn thấy cây quyết định “đọc” xong, bạn cũng đã sẵn sàng học Random Forest.
Tóm tắt
4 điều cần nhớ về cây quyết định
Cây quyết định = chuỗi câu hỏi 'đặc trưng ≤ ngưỡng?'. Dự đoán = đi theo câu hỏi từ gốc đến khi chạm lá.
Chọn split tốt nhất ở mỗi nút bằng Gini (hoặc Entropy) — thử hết mọi cặp (đặc trưng, ngưỡng), chọn cái giảm độ lẫn lộn nhiều nhất.
Ưu điểm: dễ đọc, không cần chuẩn hóa dữ liệu, xử lý đặc trưng hỗn hợp tự nhiên, robust với outlier.
Nhược điểm: cây sâu = overfit. Kiểm soát bằng max_depth, min_samples_leaf, ccp_alpha; hoặc dùng Random Forest / Boosting để mạnh hơn hẳn.