ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Nền tảng toán

AI Foundation

Xác suất trong lọc spam

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Cách Gmail dùng xác suất Bayes để chặn 15 tỷ email rác mỗi ngày — bạn sẽ tự tay chỉnh các công tắc đặc trưng và xem thanh điểm spam nhảy.

lesson53 minNền tảng toánAI Foundation

Giới thiệu

Mỗi ngày Gmail chặn khoảng 15 tỷ email rác — tức khoảng 10 triệu thư mỗi phút. Với 1,8 tỷ người dùng, đây là dịch vụ email lớn nhất thế giới và cũng là mục tiêu hàng đầu của các chiến dịch spam.

Bộ lọc Gmail dùng xác suất Bayes để tính điểm spam cho từng email trong mili-giây. Bài này cho bạn tự tay đọc hộp thư và xem Gmail “suy nghĩ” như thế nào.

Bạn là bộ lọc Gmail

Đọc 5 email dưới đây. Với mỗi email, bạn thấy đặc trưng Gmail nhìn vào và nhãn đúng.

Người gửi / tiêu đềĐặc trưng Gmail nhìn vàoNhãn
khuyen-mai@nofreefaker.win — BẠN ĐÃ TRÚNG THƯỞNG iPhone 16 Pro — BẤM NGAY!!!Viết hoa toàn bộ; nhiều dấu chấm than; tên miền lạSpam
linh.nguyen@company.example — Đơn hàng #SP20260418 đã được giao thành côngTên miền quen thuộc; giọng điệu trung tính; mã đơn có định dạng hợp lýHam (email thật)
security@paypall-login.co — Tài khoản của bạn sẽ bị khoá — hành động ngayTên miền giả (paypall, không phải paypal); tạo cảm giác gấp; yêu cầu đăng nhập qua linkSpam
giaovien@thpt.example — Lịch họp phụ huynh lớp 12A3 — thứ Bảy 25/04Tên miền edu.vn; ngôn ngữ trang trọng; thông tin cụ thể, ngày giờ rõHam (email thật)
promo@fastmoney-investment.biz — Đầu tư 10 triệu — lời 50%/tháng CAM KẾTHứa lợi nhuận phi lý; tên miền .biz đáng ngờ; cụm từ 'cơ hội duy nhất'Spam

Predict first

Email từ security@paypall-login.co — spam hay email thật?

Email rác chiếm hơn một nửa tổng email toàn cầu. Nội dung spam thay đổi liên tục — từ quảng cáo thuốc giả, lừa đảo tài chính đến phishing (giả danh ngân hàng để đánh cắp thông tin).

Thách thức cốt lõi: phân biệt spam và email thật trong mili-giây, khi kẻ gửi spam liên tục đổi chiêu. Chặn nhầm → mất email quan trọng. Lọt spam → người dùng bực. Mỗi sai sót nhỏ nhân lên với 1,8 tỷ người dùng.

Từ bằng chứng tới niềm tin

Gmail cộng dồn bằng chứng: mỗi đặc trưng bật lên sẽ cộng thêm một “điểm” vào log-odds. Càng nhiều đặc trưng, điểm càng cao. Đến khi điểm vượt ngưỡng, email bị đưa vào Spam.

  • Cụm từ “trúng thưởng”
  • Tạo cảm giác gấp — “hành động ngay”
  • Link “bấm vào đây” nổi bật
  • Tên miền lạ hoặc viết sai chính tả
  • Viết hoa toàn dòng tiêu đề

Gmail cập nhật niềm tin từng bước

1 / 4
  1. 1. Niềm tin ban đầu: P(spam) = 30%

    Trước khi đọc nội dung, Gmail nghĩ: trong tất cả email đến hộp thư, khoảng 30% là spam (tỷ lệ này khác nhau tuỳ người dùng và tuỳ ngày).

Thử thách

Bạn nhận một email có từ 'trúng thưởng' với P('trúng thưởng' | spam) = 80%, P('trúng thưởng' | email thật) = 5%. Tỷ lệ spam trong hộp thư là 40%. Áp Bayes, P(spam | 'trúng thưởng') gần nhất với giá trị nào?

Không có mô hình xác suất, hệ thống lọc chỉ có thể dùng danh sách đen (blacklist — chặn địa chỉ cố định) hoặc luật cứng (rule-based — kiểm từ khoá cố định). Cả hai đều dễ qua mặt: kẻ gửi spam chỉ cần đổi địa chỉ hoặc thay từ là lọt qua.

Lọc Bayes thay đổi cục diện bằng cách tính xác suất từ dữ liệu thực và tự cập nhật liên tục. Mô hình thống kê thích nghi với chiêu mới mà không cần lập trình viên viết thêm luật. Đây chính là sức mạnh của xác suất có điều kiện: biến kinh nghiệm quá khứ thành dự đoán tương lai.

Lọc spam trong thực tế

Lọc Bayes — nền tảng xác suất. Năm 2002, Paul Graham công bố bài “A Plan for Spam” đặt nền móng cho lọc spam bằng xác suất. Với mỗi từ trong email, hệ thống ước lượng P(spam | từ) dựa trên tần suất từ đó xuất hiện trong spam và trong email thật. Nhiều từ gộp lại cho ra xác suất tổng — nếu vượt ngưỡng 0,9 thì đánh dấu là spam.

Vòng phản hồi người dùng. Khi bạn bấm “Báo cáo spam” hoặc kéo email từ thư rác về hộp chính, Gmail cập nhật tiên nghiệm (prior) cho từng mẫu từ. Hàng tỷ phản hồi mỗi ngày giúp mô hình liên tục cải thiện.

TensorFlow nâng cấp mạng nơ-ron (2019). Google tích hợp TensorFlow vào bộ lọc, cho phép mạng nơ-ron học đặc trưng phức tạp hơn Bayes thuần. Kết quả: chặn thêm 100 triệu spam mỗi ngày so với trước đó.

RETVec — bộ mã hoá bền vững (2023). RETVec chuyển văn bản thành vector trực tiếp từ byte, chỉ với 200.000 tham số. Nó miễn nhiễm với chiêu lẩn tránh như chèn ký tự vô hình, thay chữ bằng emoji, hoặc dùng ký tự nhìn giống nhau. RETVec tăng 38% phát hiện, giảm 19,4% chặn nhầm, tiết kiệm 83% tài nguyên.

Tóm tắt

4 điều bạn vừa nhìn tận mắt

  • Mỗi email được Gmail chấm một điểm spam từ 0 đến 100. Ngưỡng 90% là biên giới vào Spam.
  • Mỗi đặc trưng (từ khoá, tên miền, viết hoa) cộng thêm một chút vào điểm. Nhiều đặc trưng nhỏ cộng lại thành kết luận chắc chắn.
  • Prior (tỷ lệ spam ban đầu) và likelihood (bằng chứng trong email) đều quan trọng. Quên một cái, kết quả sai lệch.
  • Bayes không đoán mò — nó cập nhật niềm tin dựa trên dữ liệu, giống cách bạn kết luận trời sắp mưa từ nhiều dấu hiệu nhỏ.

Continue the path

Lesson 23 of 106