ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Naive Bayes lọc email

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Cách Gmail và SpamAssassin dùng Naive Bayes để chặn 15 tỷ email rác mỗi ngày với tỷ lệ nhầm dưới 0,2%. Thử phân loại ba email mẫu, rồi kéo thanh Laplace để thấy bộ lọc xử lý từ lạ thế nào.

lesson46 minML cơ bảnAI Foundation

Giới thiệu

Mỗi sáng bạn mở hộp thư Gmail và thấy mọi thứ sạch sẽ — không quảng cáo thuốc giả, không lừa đảo trúng thưởng. Bạn có bao giờ tự hỏi ai đã chặn chúng lại? Phần lớn công việc đó do một thuật toán hơn 20 năm tuổi — Naive Bayes — thực hiện thầm lặng ngay trước khi email chạm tới bạn.

Bài luận “A Plan for Spam” của Paul Graham năm 2002 chứng minh rằng chỉ cần đếm tần suất từ và áp dụng định lý Bayes đã lọc được hơn 99,5% thư rác. Ý tưởng đó trở thành nền tảng cho SpamAssassin (bộ lọc mã nguồn mở) và bộ lọc đầu tiên của Gmail.

Mỗi ngày có khoảng 15 tỷ thư rác được gửi đi trên toàn cầu. Kẻ gửi spam liên tục đổi chiêu: cố ý sai chính tả, chèn ký tự vô hình, giả mạo địa chỉ người gửi. Luật cứng kiểu “nếu có từ X thì chặn” không bao giờ theo kịp.

Vì sao bài toán khó

1 / 3
  1. 1. Khối lượng khổng lồ

    Gmail xử lý hàng tỷ email mỗi ngày. Không con người nào đọc hết.

Vấn đề cốt lõi: phân loại mỗi email thành spam hoặc ham (thư hợp lệ) với sai số cực thấp. Chặn nhầm một email quan trọng (false positive) gây hậu quả nghiêm trọng hơn nhiều so với để lọt vài thư rác.

Cách Naive Bayes làm việc

1 / 5
  1. 1. Thu thập dữ liệu huấn luyện — ham và spam

    Hệ thống cần tối thiểu khoảng 200 email spam và 200 email ham để bắt đầu. SpamAssassin cho phép người dùng tự gán nhãn; Gmail dùng phản hồi từ hàng tỷ lượt nhấn “Báo cáo spam” mỗi ngày làm tín hiệu huấn luyện.

Hộp thư mô phỏng

Bạn là bộ lọc Naive Bayes. Mỗi email có cụm từ đặc trưng riêng. Với mỗi email, bộ lọc làm ba việc: (1) chọn các từ làm bằng chứng, (2) mỗi từ “bỏ phiếu” bao nhiêu phần trăm cho spam/ham, (3) tính tổng P(Spam) cuối cùng.

Từ lạ và Laplace smoothing

Khi gặp một từ chưa từng có trong dữ liệu huấn luyện (P(từ|Spam) = 0), phép nhân xác suất sẽ bằng 0 ngay — một từ lạ có thể “giết” cả dự đoán. Giải pháp: Laplace smoothing — thêm một lượng nhỏ vào mọi đếm để không xác suất nào bằng 0.

Hành trình của bộ lọc spam

MốcĐiều đã xảy ra
Paul Graham — “A Plan for Spam”Chứng minh bộ lọc Bayesian đạt 99,5% chỉ bằng đếm từ. Biến đổi hoàn toàn cuộc chiến chống spam.
SpamAssassin 3.0 tích hợp Naive BayesBộ lọc mã nguồn mở phổ biến nhất thế giới đưa Naive Bayes vào lõi. Hàng triệu server email áp dụng.
Gmail ra mắt với bộ lọc BayesianGoogle tích hợp vào hệ thống xử lý tỷ email mỗi ngày. Tỷ lệ false positive rơi xuống dưới 0,2%.
Adversarial evolution — Bayesian poisoningSpammer chèn văn bản “vô hại” để pha loãng. Google phản ứng bằng cách kết hợp nhiều tín hiệu ngoài nội dung.
TensorFlow thêm vào hệ thống GmailMô hình học sâu bổ sung, chặn thêm 100 triệu spam/ngày mà bộ lọc cũ bỏ lỡ. Naive Bayes vẫn ở tầng đầu — bộ lọc mới ở tầng sâu hơn.

Gmail chọn đánh đổi như thế nào?

Khi bộ lọc sai, có hai kiểu sai khác hẳn nhau. Gmail cố ý nghiêng về một kiểu — dùng ngưỡng quyết định cao để ưu tiên an toàn.

Loại lỗiBộ lọc nóiThực tếHậu quảTỉ lệ ở Gmail
False positive (chặn nhầm)SPAMEmail quan trọng từ sếp, khách hàng, hoặc ngân hàngBạn không thấy email quan trọng< 0,2% (cứ 1.000 email hợp lệ chỉ chặn nhầm tối đa 2)
False negative (lọt spam)HAMSpamBạn thấy vài quảng cáo trong hộp thư đến< 0,5% — chấp nhận cao hơn vì hậu quả nhẹ hơn

Bạn là bộ lọc Naive Bayes. Đây là các tình huống thường gặp trong đời thực — hãy thử phán đoán.

Email tiêu đề: 'Đơn hàng #HN2034 đã được giao thành công'. Nội dung: tên sản phẩm, thời gian giao, đường link theo dõi. Dự đoán?
Email chứa từ lạ 'NFT mint drop' mà dữ liệu huấn luyện chưa từng thấy. Không có Laplace smoothing, chuyện gì xảy ra?
Kẻ gửi spam cố tình chèn 50 từ vô hại (tên, địa chỉ, câu chúc) vào email chứa 'trúng thưởng'. Chiêu này có đánh lừa được Naive Bayes không?
Bạn nhấn 'Báo cáo spam' cho một email. Điều gì xảy ra ở phía Gmail?

Vì sao Naive Bayes sống sót đến nay

Không có Naive Bayes, bộ lọc spam sẽ phải dựa hoàn toàn vào luật cứng: nếu email chứa từ X thì chặn. Kẻ gửi spam chỉ cần thay đổi một từ là qua mặt. Paul Graham mô tả đó là “cuộc chạy đua vũ trang mà người phòng thủ luôn thua”.

Naive Bayes thay đổi cuộc chơi: thay vì đối phó từng chiêu trò riêng lẻ, thuật toán nhìn vào xác suất tổng hợp của toàn bộ nội dung. Kẻ gửi spam phải thay đổi gần như toàn bộ email mới qua được — và khi đó, email không còn đủ “hấp dẫn” để lừa người đọc nữa.

Kế tiếp: tìm hiểu thuật toán khác — logistic regression — mô hình tính xác suất không cần giả định độc lập.

Continue the path

Lesson 49 of 106