ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Cây quyết định

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Hỏi 20 câu để đoán đồ vật — mỗi câu chia nhỏ khả năng. Cây quyết định làm đúng như vậy, thử tự tay xây một cái xem.

lesson46 minML cơ bảnAI Foundation

Hook

Hỏi 20 câu để đoán đồ vật

Hồi nhỏ bạn từng chơi game “Tôi đang nghĩ đến một con vật” — bạn hỏi liên tục: Nó sống trên cạn không? → Có 4 chân không? → Nó có sọc không?. Mỗi câu hỏi chia đôi khả năng cho đến khi chỉ còn lại một đáp án. Cây quyết định làm đúng như vậy — chỉ khác là máy tính chọn câu hỏi có ích nhất bằng một công thức thay vì linh cảm.

Bạn đưa cho AI 24 học sinh (giờ học, điểm kiểm tra) và bảo nó dự đoán ai qua môn. AI chọn câu hỏi đầu tiên ở gốc cây bằng cách nào?

Cách đọc cây

Một cây có ba loại phần:

PhầnÝ nghĩa
Nút câu hỏiMỗi nút bên trong cây là một câu hỏi kiểu “đặc trưng X ≤ ngưỡng T?”. Nhánh trái (≤) — nhánh phải (>).
Lá xanhKết thúc nhánh. Đa số mẫu rơi vào đây thuộc lớp “qua môn”.
Lá đỏĐa số mẫu ở đây thuộc lớp “rớt”. Dự đoán cho một điểm mới = đi theo câu hỏi đến khi chạm lá.

Tự tay xây cây

Mỗi lần áp dụng một split, cây mọc thêm một tầng. Tối đa độ sâu 3 — chính là mức dùng trong thực tế để tránh overfitting.

Khoảnh khắc hiểu

Cây quyết định không thông minh hơn bạn — nó chỉ chăm chỉ hơn. Nó thử mọi câu hỏi có thể, đo độ lẫn lộn của dữ liệu sau khi chia bằng công thức Gini, và chọn câu hỏi giảm độ lẫn lộn nhiều nhất. Lặp lại quy trình đó ở từng nút → bạn có một cây tự mọc ra từ dữ liệu, đọc được từng nhánh như đọc một bản thuật toán chẩn đoán của bác sĩ.

Thử thách

Bạn có 2 cây: A (sâu 2, acc_train = 82%, acc_val = 80%) vs B (sâu 8, acc_train = 99%, acc_val = 73%). Chọn cây nào đem ra dùng thật?

Giải thích

Ở mỗi nút, cây quyết định trả lời đúng một câu: trong tất cả cách chia, cách nào làm dữ liệu “sạch” nhất? Có hai công thức phổ biến để đo độ sạch — cả hai đều nhỏ khi dữ liệu đã gần như cùng một lớp.

Công thức 1 — Gini impurity (mặc định của scikit-learn)

Gini=1−∑kpk2\text{Gini} = 1 - \sum_{k} p_k^2

Nói bằng tiếng Việt đời thường: “Nếu bạn rút ngẫu nhiên 1 mẫu ra, và đoán nhãn cho nó bằng cách lại rút ngẫu nhiên 1 mẫu nữa — xác suất đoán sai là bao nhiêu?”. Dữ liệu thuần một lớp → Gini = 0. Hai lớp cân bằng 50/50 → Gini = 0.5 (cao nhất).

Gini và Entropy với hai lớp

Phân bốGiniEntropy
Thuần 1 lớp (p₁ = 0 hoặc 1)00
50/50 (p₁ = 0.5)0.51

Công thức 2 — Entropy (nền tảng lý thuyết thông tin)

H=−∑kpklog⁡2pkH = -\sum_{k} p_k \log_2 p_k

Nói bằng tiếng Việt đời thường: “Cần trung bình bao nhiêu câu hỏi yes/no để biết chắc nhãn của một mẫu?”. Thuần 1 lớp → cần 0 câu, H = 0. 50/50 → cần 1 câu, H = 1 (cho 2 lớp). Gini và Entropy thường cho cây gần như giống nhau — chọn cái nào cũng ổn, scikit-learn mặc định dùng Gini vì nhanh hơn (không có log).

Quy trình ở mỗi nút

Bốn bước cho mỗi nút

1 / 4
  1. 1. Liệt kê mọi ngưỡng ứng viên

    Với mỗi đặc trưng, sắp xếp các giá trị khác nhau, rồi lấy trung điểm giữa hai giá trị kề nhau làm ngưỡng thử. Nếu đặc trưng có 15 giá trị khác nhau → 14 ngưỡng.

Tham số quan trọng cần biết

Tham sốÝ nghĩa
max_depthGiới hạn số tầng của cây. Nhỏ (2–4) → đơn giản, dễ hiểu, ít overfit. Lớn (8+) → accuracy train cao nhưng rủi ro overfit.
min_samples_leafSố mẫu tối thiểu ở mỗi lá. Đặt 10–20 với dataset vừa phải để tránh lá quá nhỏ = lá học thuộc.
criterion'gini' (mặc định, nhanh) hoặc 'entropy' (gốc lý thuyết thông tin). Hai cái thường cho kết quả rất gần nhau.
ccp_alphaCost-complexity pruning — 'phạt' cây lớn. Tăng α → cây nhỏ hơn. Là cách hiện đại để tránh overfit thay cho min_samples.

Cây quyết định kết nối với nhiều khái niệm khác: overfitting/underfitting giải thích vì sao phải giới hạn độ sâu, đánh đổi bias-variance là khung lý thuyết chung, và khi bạn thấy cây quyết định “đọc” xong, bạn cũng đã sẵn sàng học Random Forest.

Tóm tắt

4 điều cần nhớ về cây quyết định

  • Cây quyết định = chuỗi câu hỏi 'đặc trưng ≤ ngưỡng?'. Dự đoán = đi theo câu hỏi từ gốc đến khi chạm lá.
  • Chọn split tốt nhất ở mỗi nút bằng Gini (hoặc Entropy) — thử hết mọi cặp (đặc trưng, ngưỡng), chọn cái giảm độ lẫn lộn nhiều nhất.
  • Ưu điểm: dễ đọc, không cần chuẩn hóa dữ liệu, xử lý đặc trưng hỗn hợp tự nhiên, robust với outlier.
  • Nhược điểm: cây sâu = overfit. Kiểm soát bằng max_depth, min_samples_leaf, ccp_alpha; hoặc dùng Random Forest / Boosting để mạnh hơn hẳn.

Continue the path

Lesson 44 of 106