Giới thiệu
Mỗi sáng bạn mở Gmail và hộp thư đến rất gọn — không có email giả ngân hàng, không có "trúng thưởng 500 triệu", không có "xác thực tài khoản NGAY". Bạn hiếm khi thấy vì chúng đã bị âm thầm chuyển vào thùng rác trước khi bạn kịp nhìn.
Gmail phục vụ 1,8 tỷ người dùng. Mỗi ngày hệ thống nhận hàng chục tỷ email, trong đó khoảng 15 tỷ là thư rác. Kẻ gửi spam liên tục đổi chiến thuật: viết sai chính tả cố ý (tr-úng th-ưởng), chèn ký tự đặc biệt, thay domain mới, ẩn chữ vào hình ảnh.
Vấn đề cốt lõi: mỗi email phải được gán một xác suất spam, rồi hệ thống tự quyết định vào hộp thư hay thùng rác. Sai chiều này (để lọt spam) gây phiền; sai chiều kia (chặn nhầm email quan trọng của sếp) gây hậu quả nghiêm trọng.
| Kết quả | Ý nghĩa |
|---|---|
| TP (bắt đúng spam) | Email spam bị đưa vào thùng rác. Bạn không bao giờ nhìn thấy — hộp thư sạch. |
| FP (báo nhầm) | Email thường bị đánh dấu spam. Mất hợp đồng nếu đó là email sếp. |
| FN (bỏ sót) | Email spam lọt vào hộp thư. Mất tiền nếu là lừa đảo trúng ví. |
| TN (thư thường đúng) | Email thường vào hộp thư đến đúng chỗ. |
Precision = tỉ lệ email bị đánh dấu spam đúng thật là spam. Recall = tỉ lệ email spam thật bị hệ thống bắt được. Khi bạn tăng ngưỡng, precision tăng (ít báo nhầm) nhưng recall giảm (bỏ sót nhiều hơn). Gmail cân bằng hai chỉ số này trên hàng tỷ email mỗi ngày.
Trích xuất đặc trưng
1. Bóc tách dấu hiệu
Hệ thống bóc tách mọi dấu hiệu có thể: số từ VIẾT HOA, số link, từ khoá đáng ngờ, domain người gửi, IP máy chủ, cấu trúc HTML. Mỗi email trở thành một **danh sách con số** — đặc trưng (feature).