Thử đoán
Bài hôm nay sẽ cho bạn chạm vào đúng bốn ô của ma trận đó. Bạn sẽ kéo một thanh ngưỡng và thấy 20 bệnh nhân nhảy qua lại giữa bốn ô — hiểu ngay vì sao mô hình “khó tính” khác với mô hình “rộng lượng”.
Evaluating routing across providers.
AI Foundation
Mô hình đoán 'có bệnh' — đúng hay sai đáng quan tâm thế nào? Bốn loại kết quả và cách ma trận 2×2 phân loại chúng.
Bài hôm nay sẽ cho bạn chạm vào đúng bốn ô của ma trận đó. Bạn sẽ kéo một thanh ngưỡng và thấy 20 bệnh nhân nhảy qua lại giữa bốn ô — hiểu ngay vì sao mô hình “khó tính” khác với mô hình “rộng lượng”.
Hãy tưởng tượng bạn là bác sĩ đang dùng một mô hình AI hỗ trợ. Với mỗi bệnh nhân, có đúng hai câu hỏi quan trọng: “mô hình dự đoán có bệnh hay không?” và “thực tế bệnh nhân có bệnh hay không?”. Hai câu hỏi × hai đáp án = bốn ô.
| Ma trận nhầm lẫn | Thực tế: BỆNH | Thực tế: KHOẺ |
|---|---|---|
| Đoán: CÓ BỆNH | TP — đoán đúng có bệnh | FP — báo nhầm (báo động giả) |
| Đoán: KHOẺ | FN — bỏ sót ca bệnh | TN — đoán đúng khoẻ |
Lưu ý cách gọi tên: chữ T/F ở đầu nói về “mô hình đoán có đúng không”, chữ P/N nói về “mô hình đoán gì”. TP = đoán dương + đúng. FP = đoán dương + sai. Một mẹo ghi nhớ: chữ thứ hai (P/N) luôn là dự đoán của mô hình.
Dưới đây là 20 bệnh nhân. Mỗi người có một điểm nguy cơ do mô hình tính ra, từ 0 (chắc chắn khoẻ) đến 1 (chắc chắn bệnh). Bạn đặt một ngưỡng — ai vượt ngưỡng thì gán là “có bệnh”. Khi kéo ngưỡng, quan sát từng bệnh nhân nhảy qua lại giữa bốn ô.
| Ngưỡng T | Điều xảy ra |
|---|---|
| 0.05 | Lưới rất rộng — gần như ai cũng bị gán là có bệnh |
| 0.50 | Mặc định |
| 0.95 | Chỉ ca hiển nhiên mới được gán là có bệnh |
Một con số Accuracy không cho bạn biết mô hình đang sai ở đâu. Mô hình có thể đạt 99% accuracy mà vẫn vô dụng nếu nó bỏ sót 100% ca bệnh.
Ma trận 2 × 2 chia lỗi thành hai loại khác nhau về chất: báo động giả (FP) và bỏ sót (FN). Hai loại này thường có chi phí không cân bằng. Biết lỗi nào đắt hơn, bạn biết phải chỉnh ngưỡng bên nào.
Hai bài toán dưới đây có vẻ giống nhau, nhưng chi phí lỗi hoàn toàn khác. Đó là lý do một con số metric không đủ.
Sàng lọc ung thư. Bỏ sót (FN) = bệnh nhân tin mình khoẻ, ung thư di căn, có thể tử vong. Báo động giả (FP) chỉ tốn thêm một lượt xét nghiệm xác nhận.
Chiến lược: hạ ngưỡng xuống thấp, chấp nhận nhiều FP để bảo đảm Recall cao. Mô hình sàng lọc thường chỉ là bước đầu — đội y tế sẽ kiểm tra kỹ những ca báo dương.
Gợi ý sản phẩm trên trang chủ Tiki. FP = gợi ý món khách không thích, lãng phí slot quý giá và làm phiền khách. FN = không gợi ý dù khách có thể thích, chỉ là cơ hội bán hàng bị bỏ qua.
Chiến lược: nâng ngưỡng cao, chỉ gợi ý những món rất chắc chắn khách sẽ thích — ưu tiên Precision cao, chấp nhận bỏ sót nhiều cơ hội.
Mỗi ngành nghề có cấu trúc chi phí FP / FN riêng. Bảng dưới đây tóm tắt cách bốn lĩnh vực quen thuộc chọn metric ưu tiên và vì sao.
| Lĩnh vực | Chi phí FP | Chi phí FN | Chiến lược |
|---|---|---|---|
| 🏥 Sàng lọc ung thư | Thêm một lượt xét nghiệm xác nhận | Bỏ sót bệnh nhân — có thể tử vong | Recall cao |
| 📨 Lọc spam email công ty | Xoá nhầm email khách hàng quan trọng | Spam lọt vào hộp thư — bất tiện nhưng không nguy hiểm | Precision cao |
| 💳 Phát hiện gian lận thẻ | Chặn giao dịch thật — khách bực, có thể đổi ngân hàng | Để lọt gian lận — thẻ bị hack, thiệt hại tiền thật | Cân bằng F-beta (β≈0.5) — ưu tiên Precision nhẹ |
| 🚨 Cảnh báo cháy rừng | Triển khai xe cứu hoả không cần thiết (tốn nhân lực) | Bỏ sót đám cháy — thiệt hại rất lớn, bất khả hồi phục | Recall rất cao |
Khi bạn gặp một báo cáo mô hình mới, đây là thứ tự bạn nên kiểm tra:
Bốn bước
**Có bao nhiêu ca bệnh bị bỏ sót?** Đây là con số quan trọng nhất trong y tế, an ninh, phát hiện gian lận. Nếu FN quá cao, bạn biết ngay rằng mô hình đang quá dè dặt.
Bốn ô TP, FP, FN, TN sinh ra ba chỉ số thường dùng nhất. Mỗi công thức đi kèm một câu giải thích bằng tiếng Việt thường ngày — bạn không cần nhớ công thức nếu nhớ ý nghĩa.
Trong mọi lần mô hình báo có bệnh, bao nhiêu phần trăm là đúng? Precision cao = mô hình ít báo nhầm. Ví dụ hình dung: mô hình báo 5 ca → 4 đúng, 1 nhầm → Precision = 4/5 = 80%.
Trong tất cả người thực sự có bệnh, bao nhiêu phần trăm bị mô hình bắt được? Recall cao = mô hình ít bỏ sót. Ví dụ hình dung: có 5 người bệnh → mô hình bắt được 3, bỏ sót 2 → Recall = 3/5 = 60%.
Trung bình điều hoà của Precision và Recall. Nếu một trong hai rất thấp, F1 cũng sẽ thấp — khác với trung bình cộng (bị lừa khi một bên cao bù một bên thấp). Ví dụ: Precision = 0.9, Recall = 0.1. Trung bình cộng = 0.5 (nghe tốt), nhưng F1 = 0.18 (phản ánh đúng việc mô hình bỏ sót 90% ca bệnh).
| Phần của ma trận | Chỉ số trả lời câu hỏi |
|---|---|
| Cột 'đoán dương' — cộng TP và FP | Tỉ lệ đúng trong các lần báo dương (Precision) |
| Hàng 'thực tế dương' — cộng TP và FN | Bắt được bao nhiêu ca thật (Recall) |
| Đường chéo — TP và TN | Tỉ lệ đúng trên tổng (Accuracy) |
Vì Precision và Recall nhìn các phần khác nhau của ma trận, chúng có thể cùng cao, cùng thấp, hoặc ngược chiều — phụ thuộc cách mô hình phân bố lỗi. Luôn xem cả ba con số để tránh mù điểm.
Nếu một lỗi FN tốn chi phí CFN và một lỗi FP tốn CFP, chi phí kỳ vọng trên mỗi dự đoán là: Cost = CFN × (số ca FN) + CFP × (số ca FP). Khi bạn không chắc “nên ưu tiên Precision hay Recall”, hãy ước lượng hai con số CFN và CFP.
| Bài toán | CFN | CFP | CFN / CFP | Kết luận |
|---|---|---|---|---|
| Sàng lọc ung thư | 10 000 (tổn thương sức khoẻ nặng, mất thời gian vàng) | 200 (một lượt xét nghiệm bổ sung) | 50 | Hạ ngưỡng, ưu tiên Recall rất cao |
| Gợi ý sản phẩm | 1 (chỉ là cơ hội bán hàng bị bỏ qua) | 5 (slot gợi ý trên trang chủ là tài nguyên khan hiếm) | ≈ 0.2 | Nâng ngưỡng, ưu tiên Precision cao |
Ma trận nhầm lẫn là cánh cửa đầu tiên để hiểu hiệu suất phân loại. Khi bạn đã quen, hãy xem thêm hồi quy logistic — mô hình sinh ra điểm xác suất mà chúng ta đang đặt ngưỡng ở đây. Sau đó cross-validation giúp bạn ước lượng các chỉ số một cách ổn định, không bị lừa bởi một tập test may mắn.