ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Lý thuyết thông tin

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Entropy, cross-entropy và KL divergence — đo 'độ bất ngờ' của dữ liệu bằng bit, nền tảng của mọi loss function.

lesson46 minML cơ bảnAI Foundation

Thử đoán

Bạn đọc hai tin trên báo: (A) “Trời Sài Gòn hôm nay nắng”, (B) “Mưa đá giữa trưa tháng 4 ở Sài Gòn”. Tin nào chứa NHIỀU THÔNG TIN hơn?

Hôm nay bạn sẽ học ba thước đo cốt lõi: entropy (đo bất định), KL divergence (đo sự khác nhau giữa hai phân phối) và cross-entropy (loss function của machine learning). Cả ba đều tính bằng bit.

Hiểu bằng hình ảnh — entropy là độ bất ngờ trung bình

Hãy tưởng tượng bạn nhắn tin cho bạn bè về thời tiết ở Sài Gòn bằng điện báo tính tiền theo ký tự. Nếu hầu hết ngày là nắng, bạn nên đặt “nắng” là một ký tự ngắn, còn “mưa đá” nhận ký tự dài — vì nó hiếm, dùng ký tự dài cũng không phí nhiều lần. Trung bình, bạn gửi rất ít ký tự mỗi tin.

Ngược lại, ở một thành phố ôn đới mỗi loại thời tiết xuất hiện đều đều, bạn buộc phải dùng ký tự dài hơn cho tất cả. Shannon chứng minh: số bit trung bình ngắn nhất để mã hoá một bản tin chính là entropy H của phân phối đó.

Phân phốiEntropy
Lệch: một kết quả chiếm ưu thế → dễ đoánThấp — mã ngắn trung bình
Đồng xu công bằng: hai mặt bằng nhau1 bit — bất định nhất cho 2 kết quả
Xúc xắc 6 mặt công bằng: đồng đều trên 6 kết quảCao nhất = log₂ 6 ≈ 2,58 bit

Khám phá — đồng xu, xúc xắc và cross-entropy

Đồng xu nghiêng dần

Khi P(ngửa) = 50%, entropy đạt đỉnh 1 bit. Khi P rất gần 0 hoặc 1, entropy tiến về 0: kết quả gần như chắc chắn thì không còn gì để bất ngờ.

Xúc xắc 4 mặt, 6 mặt và xúc xắc gian

Xúc xắcEntropy
4 mặt công bằng2 bit
6 mặt công bằng≈ 2,58 bit
Gian (lệch về mặt 1)Nhỏ hơn xúc xắc công bằng cùng số mặt

Nhận xét: càng nhiều mặt và càng cân bằng → entropy càng cao.

Cross-entropy khi mô hình sai

Coi p là phân phối thật (nhãn quan sát được) và q là dự đoán của mô hình. Khi q = p thì KL(p ‖ q) = 0. Càng lệch, loss càng cao.

Quan hệ then chốt: H(p, q) = H(p) + KL(p ‖ q). Khi q = p, KL = 0 và cross-entropy = H(p) — không thể giảm thêm. Đẩy q về rất gần 0 hoặc 1 ở đúng chỗ p khác biệt, KL tăng vọt — đúng với ý nghĩa “mô hình tự tin sai thì bị phạt rất nặng”.

Đi sâu — entropy được dựng lên từng mảnh

Bước 1: surprise của một sự kiện

Một kết quả xảy ra với xác suất p mang lượng “bất ngờ” bằng −log₂ p bit. Sự kiện gần như chắc chắn (p = 0,99) → surprise ≈ 0,014 bit. Sự kiện rất hiếm (p = 0,001) → surprise ≈ 10 bit.

Lý do dùng log: khi hai sự kiện độc lập xảy ra cùng lúc, surprise của chúng cộng lại. Nếu dùng −p thay cho −log p, hai sự kiện độc lập sẽ nhân chứ không cộng — ít trực quan hơn.

Bước 2: trung bình theo xác suất

Mỗi sự kiện có surprise riêng. Để có một con số cho toàn phân phối, nhân surprise của mỗi sự kiện với xác suất của nó rồi cộng tổng. Đây là giá trị kỳ vọng của surprise — sự bất ngờ trung bình khi rút một mẫu.

H(X)=−∑xp(x)log⁡2p(x)H(X) = -\sum_{x} p(x) \log_2 p(x)

Đơn vị là bit. Entropy không âm, đạt cực đại khi phân phối đồng đều, và bằng 0 khi một sự kiện chắc chắn xảy ra.

Khoảnh khắc Aha

Entropy = mức bất ngờ trung bình. Cross-entropy = số bit trung bình khi bạn mã hoá dữ liệu thật bằng mô hình sai. KL divergence = phần “chi phí” dư ra giữa hai con số đó.

Vì vậy, khi bạn train một mạng nơ-ron phân loại, bạn đang làm một việc rất đơn giản: thu nhỏ phần chi phí dư — tức là làm xác suất mô hình phát ra tiến về xác suất thật của nhãn.

Thử thách

Xúc xắc 6 mặt công bằng — entropy bao nhiêu bit?
Một mô hình phân loại 10 lớp chưa học gì, nên output q gần uniform. Cross-entropy loss trung bình trên mỗi mẫu xấp xỉ bao nhiêu?

Giải thích

Dưới đây là ba công thức nền — bạn sẽ gặp lại chúng ở loss functions, VAE, decision tree và knowledge distillation.

1) Entropy H(X) — độ bất định trung bình

H(X)=−∑xp(x)log⁡2p(x)H(X) = -\sum_{x} p(x) \log_2 p(x)

Lấy −log₂ xác suất của mỗi kết quả (= surprise), nhân với xác suất tương ứng, rồi cộng lại.

2) KL divergence — độ lệch giữa hai phân phối

DKL(p∥q)=∑xp(x)log⁡2p(x)q(x)≥0D_{KL}(p \| q) = \sum_{x} p(x) \log_2 \frac{p(x)}{q(x)} \geq 0

KL = 0 khi và chỉ khi p = q. Không đối xứng: KL(p ‖ q) ≠ KL(q ‖ p). Khi train, p là nhãn thật (one-hot) và q là output softmax — KL đo mô hình lệch bao xa so với sự thật.

3) Cross-entropy H(p, q) — loss function

H(p,q)=−∑xp(x)log⁡2q(x)=H(p)+DKL(p∥q)H(p, q) = -\sum_{x} p(x) \log_2 q(x) = H(p) + D_{KL}(p \| q)

Vì H(p) không phụ thuộc mô hình, tối thiểu cross-entropy tương đương tối thiểu KL. Khi nhãn là one-hot, công thức rút gọn thành −log q[lớp đúng] — chính là loss phân loại trong PyTorch và TensorFlow.

Mutual information — mối liên hệ giữa hai biến

I(X;Y)=H(X)−H(X∣Y)I(X; Y) = H(X) - H(X \mid Y)

Đo lượng thông tin bạn biết thêm về X nếu biết Y. Bằng 0 khi X và Y độc lập. Là nền tảng của contrastive learning (InfoNCE trong CLIP, SimCLR), feature selection và phân cụm dựa trên thông tin.

Information gain của cây quyết định

Giả sử bạn đoán liệu một người có đậu phỏng vấn không. Trước khi biết gì, entropy của “đậu/không đậu” trong tập huấn luyện là khoảng 1 bit. Sau khi biết thêm đặc trưng “điểm IELTS ≥ 7,0”, phân phối lệch đi và entropy điều kiện còn khoảng 0,6 bit.

Đại lượngGiá trị
H(Y) — trước khi biết1,00 bit
H(Y | IELTS) — sau khi biết0,60 bit
Information gain0,40 bit

Cây quyết định (ID3, C4.5) chọn đặc trưng có information gain lớn nhất làm điểm chia. Đây là một trong những ứng dụng cổ điển và trực quan nhất của entropy trong machine learning.

Ba sai lầm hay gặp khi mới học entropy

Nhầm “entropy cao” với “data xấu”

Entropy cao không phải là tiêu cực. Dữ liệu đa dạng (nhiều kết quả đều nhau) cần entropy cao để mô tả. Ví dụ: ảnh đã nén JPEG mạnh có entropy gần cực đại — nhưng đó là vì đã bỏ hết dư thừa, không phải vì tệ.

Nhầm entropy với variance

Variance đo độ phân tán quanh trung bình (biến số liên tục). Entropy đo độ bất định (có bao nhiêu kết quả có thể). Hai khái niệm khác hẳn nhau — dùng sai sẽ sai toàn bộ phân tích.

Quên rằng KL không đối xứng

Viết KL(p ‖ q) rồi dùng lại cho KL(q ‖ p) là sai: hai giá trị có thể khác xa nhau. Luôn đọc kỹ thứ tự; nếu cần đối xứng, dùng Jensen–Shannon divergence.

Đi từ entropy đến mô hình ngôn ngữ

Mô hình ngôn ngữ dự đoán ký tự (hoặc token) tiếp theo dựa trên những gì đã xuất hiện. Chất lượng thường được đo bằng perplexity:

PPL=2H(p,q)\text{PPL} = 2^{H(p, q)}

Nếu cross-entropy của mô hình trên một đoạn văn bản là 2 bit/token, perplexity là 4 — trung bình mô hình “cân đối” giữa 4 token khả dĩ mỗi bước. Càng nhỏ càng giỏi. Theo nguồn bài, các LLM tiếng Anh hiện đại đạt PPL khoảng 10–30 trên văn bản thông thường.

Bit và nat — hai đơn vị đo thông tin

Bit dùng log cơ số 2, trực quan cho khoa học máy tính và mã hoá. Nat dùng logarit tự nhiên (ln), mặc định trong giải tích và các thư viện như scipy, torch. Quy đổi: 1 nat ≈ 1,443 bit. Cross-entropy loss hiển thị ở PyTorch thường tính bằng nat — muốn đọc ra bit thì nhân với 1,443.

Entropy xuất hiện ở loss functions, VAE, distillation, decision tree (information gain) và cả trong nén dữ liệu (ZIP, JPEG, H.265). Nó là “ngôn ngữ chung” nối xác suất, thống kê và học máy.

Bảng nhanh entropy của vài nguồn dữ liệu

NguồnĐặc điểmH xấp xỉ
Đồng xu công bằng2 kết quả đều nhau1 bit
Xúc xắc 6 mặt công bằng6 kết quả đều nhau2,58 bit
Chữ cái tiếng Anh26 chữ, “e” rất phổ biến≈ 4,1 bit/chữ
Văn bản tiếng ViệtCó dấu — phân phối lệch≈ 4,7 bit/ký tự
Byte ngẫu nhiên256 giá trị đều nhau8 bit (tối đa)

Văn bản có dư thừa lớn: lý thuyết cần 8 bit/ký tự ASCII, nhưng theo nguồn chỉ cần khoảng 4,7 bit/ký tự tiếng Việt. Đây là lý do ZIP nén văn bản rất tốt — nó chỉ cần “đánh thuế” phần dư thừa đó.

Tóm tắt và kiểm tra

  • Surprise của một sự kiện = −log₂ p — càng hiếm càng bất ngờ.
  • Entropy H(X) là surprise trung bình. Max khi phân phối đồng đều, bằng 0 khi chắc chắn.
  • Cross-entropy H(p, q) = loss function cho phân loại — tối thiểu CE tương đương tối thiểu KL.
  • KL(p ‖ q) ≥ 0, bằng 0 khi p = q. Không đối xứng — chọn thứ tự có chủ đích.
  • Bit và nat chỉ khác nhau về cơ số logarit — kết quả lý thuyết giống nhau.

Xem ứng dụng thực tế: entropy trong nén file (ZIP, JPEG, H.265) — cách Shannon đặt giới hạn lý thuyết cho mọi thuật toán nén, và Huffman gán mã ngắn cho ký tự phổ biến.

Đồng xu công bằng có entropy bao nhiêu bit?
Vì sao cross-entropy thường được dùng làm loss phân loại?

Continue the path

Lesson 42 of 106