Giới thiệu
Mỗi sáng bạn mở hộp thư Gmail và thấy mọi thứ sạch sẽ — không quảng cáo thuốc giả, không lừa đảo trúng thưởng. Bạn có bao giờ tự hỏi ai đã chặn chúng lại? Phần lớn công việc đó do một thuật toán hơn 20 năm tuổi — Naive Bayes — thực hiện thầm lặng ngay trước khi email chạm tới bạn.
Bài luận “A Plan for Spam” của Paul Graham năm 2002 chứng minh rằng chỉ cần đếm tần suất từ và áp dụng định lý Bayes đã lọc được hơn 99,5% thư rác. Ý tưởng đó trở thành nền tảng cho SpamAssassin (bộ lọc mã nguồn mở) và bộ lọc đầu tiên của Gmail.
Mỗi ngày có khoảng 15 tỷ thư rác được gửi đi trên toàn cầu. Kẻ gửi spam liên tục đổi chiêu: cố ý sai chính tả, chèn ký tự vô hình, giả mạo địa chỉ người gửi. Luật cứng kiểu “nếu có từ X thì chặn” không bao giờ theo kịp.
Vì sao bài toán khó
1. Khối lượng khổng lồ
Gmail xử lý hàng tỷ email mỗi ngày. Không con người nào đọc hết.
Vấn đề cốt lõi: phân loại mỗi email thành spam hoặc ham (thư hợp lệ) với sai số cực thấp. Chặn nhầm một email quan trọng (false positive) gây hậu quả nghiêm trọng hơn nhiều so với để lọt vài thư rác.
Cách Naive Bayes làm việc
1. Thu thập dữ liệu huấn luyện — ham và spam
Hệ thống cần tối thiểu khoảng 200 email spam và 200 email ham để bắt đầu. SpamAssassin cho phép người dùng tự gán nhãn; Gmail dùng phản hồi từ hàng tỷ lượt nhấn “Báo cáo spam” mỗi ngày làm tín hiệu huấn luyện.