Thử đoán
Hôm nay bạn sẽ học ba thước đo cốt lõi: entropy (đo bất định), KL divergence (đo sự khác nhau giữa hai phân phối) và cross-entropy (loss function của machine learning). Cả ba đều tính bằng bit.
Evaluating routing across providers.
AI Foundation
Entropy, cross-entropy và KL divergence — đo 'độ bất ngờ' của dữ liệu bằng bit, nền tảng của mọi loss function.
Hôm nay bạn sẽ học ba thước đo cốt lõi: entropy (đo bất định), KL divergence (đo sự khác nhau giữa hai phân phối) và cross-entropy (loss function của machine learning). Cả ba đều tính bằng bit.
Hãy tưởng tượng bạn nhắn tin cho bạn bè về thời tiết ở Sài Gòn bằng điện báo tính tiền theo ký tự. Nếu hầu hết ngày là nắng, bạn nên đặt “nắng” là một ký tự ngắn, còn “mưa đá” nhận ký tự dài — vì nó hiếm, dùng ký tự dài cũng không phí nhiều lần. Trung bình, bạn gửi rất ít ký tự mỗi tin.
Ngược lại, ở một thành phố ôn đới mỗi loại thời tiết xuất hiện đều đều, bạn buộc phải dùng ký tự dài hơn cho tất cả. Shannon chứng minh: số bit trung bình ngắn nhất để mã hoá một bản tin chính là entropy H của phân phối đó.
| Phân phối | Entropy |
|---|---|
| Lệch: một kết quả chiếm ưu thế → dễ đoán | Thấp — mã ngắn trung bình |
| Đồng xu công bằng: hai mặt bằng nhau | 1 bit — bất định nhất cho 2 kết quả |
| Xúc xắc 6 mặt công bằng: đồng đều trên 6 kết quả | Cao nhất = log₂ 6 ≈ 2,58 bit |
Khi P(ngửa) = 50%, entropy đạt đỉnh 1 bit. Khi P rất gần 0 hoặc 1, entropy tiến về 0: kết quả gần như chắc chắn thì không còn gì để bất ngờ.
| Xúc xắc | Entropy |
|---|---|
| 4 mặt công bằng | 2 bit |
| 6 mặt công bằng | ≈ 2,58 bit |
| Gian (lệch về mặt 1) | Nhỏ hơn xúc xắc công bằng cùng số mặt |
Nhận xét: càng nhiều mặt và càng cân bằng → entropy càng cao.
Coi p là phân phối thật (nhãn quan sát được) và q là dự đoán của mô hình. Khi q = p thì KL(p ‖ q) = 0. Càng lệch, loss càng cao.
Quan hệ then chốt: H(p, q) = H(p) + KL(p ‖ q). Khi q = p, KL = 0 và cross-entropy = H(p) — không thể giảm thêm. Đẩy q về rất gần 0 hoặc 1 ở đúng chỗ p khác biệt, KL tăng vọt — đúng với ý nghĩa “mô hình tự tin sai thì bị phạt rất nặng”.
Một kết quả xảy ra với xác suất p mang lượng “bất ngờ” bằng −log₂ p bit. Sự kiện gần như chắc chắn (p = 0,99) → surprise ≈ 0,014 bit. Sự kiện rất hiếm (p = 0,001) → surprise ≈ 10 bit.
Lý do dùng log: khi hai sự kiện độc lập xảy ra cùng lúc, surprise của chúng cộng lại. Nếu dùng −p thay cho −log p, hai sự kiện độc lập sẽ nhân chứ không cộng — ít trực quan hơn.
Mỗi sự kiện có surprise riêng. Để có một con số cho toàn phân phối, nhân surprise của mỗi sự kiện với xác suất của nó rồi cộng tổng. Đây là giá trị kỳ vọng của surprise — sự bất ngờ trung bình khi rút một mẫu.
Đơn vị là bit. Entropy không âm, đạt cực đại khi phân phối đồng đều, và bằng 0 khi một sự kiện chắc chắn xảy ra.
Entropy = mức bất ngờ trung bình. Cross-entropy = số bit trung bình khi bạn mã hoá dữ liệu thật bằng mô hình sai. KL divergence = phần “chi phí” dư ra giữa hai con số đó.
Vì vậy, khi bạn train một mạng nơ-ron phân loại, bạn đang làm một việc rất đơn giản: thu nhỏ phần chi phí dư — tức là làm xác suất mô hình phát ra tiến về xác suất thật của nhãn.
Dưới đây là ba công thức nền — bạn sẽ gặp lại chúng ở loss functions, VAE, decision tree và knowledge distillation.
Lấy −log₂ xác suất của mỗi kết quả (= surprise), nhân với xác suất tương ứng, rồi cộng lại.
KL = 0 khi và chỉ khi p = q. Không đối xứng: KL(p ‖ q) ≠ KL(q ‖ p). Khi train, p là nhãn thật (one-hot) và q là output softmax — KL đo mô hình lệch bao xa so với sự thật.
Vì H(p) không phụ thuộc mô hình, tối thiểu cross-entropy tương đương tối thiểu KL. Khi nhãn là one-hot, công thức rút gọn thành −log q[lớp đúng] — chính là loss phân loại trong PyTorch và TensorFlow.
Đo lượng thông tin bạn biết thêm về X nếu biết Y. Bằng 0 khi X và Y độc lập. Là nền tảng của contrastive learning (InfoNCE trong CLIP, SimCLR), feature selection và phân cụm dựa trên thông tin.
Giả sử bạn đoán liệu một người có đậu phỏng vấn không. Trước khi biết gì, entropy của “đậu/không đậu” trong tập huấn luyện là khoảng 1 bit. Sau khi biết thêm đặc trưng “điểm IELTS ≥ 7,0”, phân phối lệch đi và entropy điều kiện còn khoảng 0,6 bit.
| Đại lượng | Giá trị |
|---|---|
| H(Y) — trước khi biết | 1,00 bit |
| H(Y | IELTS) — sau khi biết | 0,60 bit |
| Information gain | 0,40 bit |
Cây quyết định (ID3, C4.5) chọn đặc trưng có information gain lớn nhất làm điểm chia. Đây là một trong những ứng dụng cổ điển và trực quan nhất của entropy trong machine learning.
Entropy cao không phải là tiêu cực. Dữ liệu đa dạng (nhiều kết quả đều nhau) cần entropy cao để mô tả. Ví dụ: ảnh đã nén JPEG mạnh có entropy gần cực đại — nhưng đó là vì đã bỏ hết dư thừa, không phải vì tệ.
Variance đo độ phân tán quanh trung bình (biến số liên tục). Entropy đo độ bất định (có bao nhiêu kết quả có thể). Hai khái niệm khác hẳn nhau — dùng sai sẽ sai toàn bộ phân tích.
Viết KL(p ‖ q) rồi dùng lại cho KL(q ‖ p) là sai: hai giá trị có thể khác xa nhau. Luôn đọc kỹ thứ tự; nếu cần đối xứng, dùng Jensen–Shannon divergence.
Mô hình ngôn ngữ dự đoán ký tự (hoặc token) tiếp theo dựa trên những gì đã xuất hiện. Chất lượng thường được đo bằng perplexity:
Nếu cross-entropy của mô hình trên một đoạn văn bản là 2 bit/token, perplexity là 4 — trung bình mô hình “cân đối” giữa 4 token khả dĩ mỗi bước. Càng nhỏ càng giỏi. Theo nguồn bài, các LLM tiếng Anh hiện đại đạt PPL khoảng 10–30 trên văn bản thông thường.
Bit dùng log cơ số 2, trực quan cho khoa học máy tính và mã hoá. Nat dùng logarit tự nhiên (ln), mặc định trong giải tích và các thư viện như scipy, torch. Quy đổi: 1 nat ≈ 1,443 bit. Cross-entropy loss hiển thị ở PyTorch thường tính bằng nat — muốn đọc ra bit thì nhân với 1,443.
Entropy xuất hiện ở loss functions, VAE, distillation, decision tree (information gain) và cả trong nén dữ liệu (ZIP, JPEG, H.265). Nó là “ngôn ngữ chung” nối xác suất, thống kê và học máy.
| Nguồn | Đặc điểm | H xấp xỉ |
|---|---|---|
| Đồng xu công bằng | 2 kết quả đều nhau | 1 bit |
| Xúc xắc 6 mặt công bằng | 6 kết quả đều nhau | 2,58 bit |
| Chữ cái tiếng Anh | 26 chữ, “e” rất phổ biến | ≈ 4,1 bit/chữ |
| Văn bản tiếng Việt | Có dấu — phân phối lệch | ≈ 4,7 bit/ký tự |
| Byte ngẫu nhiên | 256 giá trị đều nhau | 8 bit (tối đa) |
Văn bản có dư thừa lớn: lý thuyết cần 8 bit/ký tự ASCII, nhưng theo nguồn chỉ cần khoảng 4,7 bit/ký tự tiếng Việt. Đây là lý do ZIP nén văn bản rất tốt — nó chỉ cần “đánh thuế” phần dư thừa đó.
Xem ứng dụng thực tế: entropy trong nén file (ZIP, JPEG, H.265) — cách Shannon đặt giới hạn lý thuyết cho mọi thuật toán nén, và Huffman gán mã ngắn cho ký tự phổ biến.