ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Hồi quy logistic trong lọc spam

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Cách Gmail dùng hồi quy logistic để biến mỗi email thành một xác suất spam, rồi chuyển vào hộp thư hay thùng rác.

lesson46 minML cơ bảnAI Foundation

Giới thiệu

Mỗi sáng bạn mở Gmail và hộp thư đến rất gọn — không có email giả ngân hàng, không có "trúng thưởng 500 triệu", không có "xác thực tài khoản NGAY". Bạn hiếm khi thấy vì chúng đã bị âm thầm chuyển vào thùng rác trước khi bạn kịp nhìn.

Gmail phục vụ 1,8 tỷ người dùng. Mỗi ngày hệ thống nhận hàng chục tỷ email, trong đó khoảng 15 tỷ là thư rác. Kẻ gửi spam liên tục đổi chiến thuật: viết sai chính tả cố ý (tr-úng th-ưởng), chèn ký tự đặc biệt, thay domain mới, ẩn chữ vào hình ảnh.

Vấn đề cốt lõi: mỗi email phải được gán một xác suất spam, rồi hệ thống tự quyết định vào hộp thư hay thùng rác. Sai chiều này (để lọt spam) gây phiền; sai chiều kia (chặn nhầm email quan trọng của sếp) gây hậu quả nghiêm trọng.

Kết quảÝ nghĩa
TP (bắt đúng spam)Email spam bị đưa vào thùng rác. Bạn không bao giờ nhìn thấy — hộp thư sạch.
FP (báo nhầm)Email thường bị đánh dấu spam. Mất hợp đồng nếu đó là email sếp.
FN (bỏ sót)Email spam lọt vào hộp thư. Mất tiền nếu là lừa đảo trúng ví.
TN (thư thường đúng)Email thường vào hộp thư đến đúng chỗ.

Precision = tỉ lệ email bị đánh dấu spam đúng thật là spam. Recall = tỉ lệ email spam thật bị hệ thống bắt được. Khi bạn tăng ngưỡng, precision tăng (ít báo nhầm) nhưng recall giảm (bỏ sót nhiều hơn). Gmail cân bằng hai chỉ số này trên hàng tỷ email mỗi ngày.

Trích xuất đặc trưng

1 / 1
  1. 1. Bóc tách dấu hiệu

    Hệ thống bóc tách mọi dấu hiệu có thể: số từ VIẾT HOA, số link, từ khoá đáng ngờ, domain người gửi, IP máy chủ, cấu trúc HTML. Mỗi email trở thành một **danh sách con số** — đặc trưng (feature).

Một email — từ đặc trưng đến xác suất

Mỗi lần bật/tắt một đặc trưng, xác suất nhảy theo. Bạn vừa quan sát bản chất của hồi quy logistic: mỗi đặc trưng đóng góp một phần vào "điểm spam", rồi hàm sigmoid biến tổng thành xác suất.

Ba bước trong lòng mô hình

1 / 3
  1. 1. Tính điểm tuyến tính w·x + b

    Mỗi đặc trưng được nhân với một trọng số (đặc trưng nào "nặng ký" hơn — ví dụ domain lạ — có trọng số lớn hơn). Cộng tất cả vào thành một điểm số z duy nhất. Đây là phần hồi quy tuyến tính trong lòng mô hình.

Điểm zXác suất σ(z)Quyết định
z = −3≈ 0.05Email rất có khả năng là thư thường. Vào hộp thư đến.
z = 0= 0.5Không chắc — nằm ngay biên. Nếu ngưỡng mặc định là 0.5, Gmail sẽ nghi ngờ và có thể đưa vào tab Khuyến mại hoặc hỏi bạn.
z = +4≈ 0.98Gần như chắc chắn là spam. Vào thùng rác.

Học liên tục từ phản hồi. Khi bạn bấm "Đánh dấu là spam", Gmail học thêm. Khi bạn kéo email từ thùng rác về, Gmail cũng học. Qua hàng tỷ phản hồi mỗi ngày, các trọng số w và bias b được cập nhật liên tục bằng cross-entropy loss + gradient descent. Dù bộ lọc ngày nay đã mở rộng sang mạng nơ-ron (RETVec), cơ chế nền "tính xác suất rồi phân loại" của hồi quy logistic vẫn là tư duy gốc.

Không có hồi quy logistic, bộ lọc spam sẽ dựa vào luật cứng do con người viết tay: "nếu email chứa từ X thì chặn". Cách này dễ bị qua mặt (chỉ cần viết sai chính tả) và không mở rộng được khi kẻ gửi spam đổi chiến thuật.

Hồi quy logistic biến mỗi email thành một xác suất, kết hợp nhiều đặc trưng nhẹ thành một điểm số. Kẻ spam giờ phải lách tất cả đặc trưng cùng lúc — khó hơn nhiều. Ý tưởng "tính xác suất nhị phân từ đặc trưng đầu vào" này đã trở thành viên gạch nền của mọi hệ thống phân loại email hiện đại.

Ngưỡng hiện tại là 0.5. Một email spam tinh vi cho P = 0.42 (dưới ngưỡng). Nó vào đâu?

4 điều rút ra từ bộ lọc spam Gmail

  • Mỗi email biến thành một danh sách đặc trưng: số link, từ đáng ngờ, domain lạ, VIẾT HOA, v.v.
  • Hồi quy logistic cộng các đặc trưng thành điểm số z, rồi sigmoid ép thành xác suất P(spam).
  • Ngưỡng chốt: P ≥ ngưỡng → thùng rác. Ngưỡng cao = ít báo nhầm, ngưỡng thấp = bắt nhiều hơn.
  • Mỗi lần bạn đánh dấu 'spam' hay 'không spam', Gmail học lại trọng số — mô hình sống chứ không cố định.

Bốn "chiêu" của kẻ spam — mô hình sống lại học

Bốn chiêu lách và cách đối phó

1 / 4
  1. 1. 1. Sai chính tả cố ý

    "tr-úng th-ưởng", "m1ễn ph1" — né được bộ lọc dựa vào chuỗi chữ chính xác. Đối phó: dùng RETVec / character-level embedding.

Continue the path

Lesson 41 of 106