ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Naive Bayes — Cộng dồn bằng chứng

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Khi có nhiều manh mối độc lập cùng trỏ về một kết luận, bạn tự tin hơn hẳn. Naive Bayes biến trực giác đó thành phép nhân xác suất đơn giản.

lesson46 minML cơ bảnAI Foundation

Thử đoán

Ba người bạn thân, không hẹn nhau, cùng nhắn bạn: 'Tiệm phở góc đường ngon lắm, đi thử đi.' Bạn đi hay không đi?

Nếu bạn đã từng tự động thấy chắc chắn hơn khi có nhiều bằng chứng cùng chiều, bạn đã dùng một dạng của Naive Bayes trong đầu. Cả bài này biến trực giác đó thành một phép tính đơn giản mà máy tính có thể thực hiện trên hàng triệu email mỗi giây.

Hiểu bằng hình ảnh

Mỗi bằng chứng là một lá phiếu

Tưởng tượng bạn đang phân loại email. Mỗi từ trong email là một lá phiếu — nhưng không phải ai cũng có sức nặng bằng nhau.

TừLá phiếu
trúng thưởngThẻ to tướng: 80% email chứa từ này là spam.
họpThẻ ngược chiều: 58% email chứa từ này là công việc.
miễn phí, nhấn vào đâyMỗi từ là lá phiếu nặng nghiêng về SPAM.
báo cáo, deadlineLá phiếu nặng nghiêng về HAM (email hợp lệ).

Naive Bayes cộng dồn tất cả lá phiếu. Không để một lá phiếu lớn quyết định mọi thứ — nếu email chứa cả “trúng thưởng” lẫn “báo cáo”, thuật toán so sánh hai phe xem bên nào mạnh hơn.

Độ đỏ / xanh là tỉ lệ P(từ|Spam) so với P(từ|Ham). Đỏ càng dài = từ đó là manh mối nghiêng về spam.

Quyết định cuối

1 / 1
  1. 1. Nhân xác suất với prior

    Nhân xác suất từng từ với prior — so sánh hai phe — phe lớn hơn thắng.

Mổ xẻ một lần phân loại

Đây là từng bước Naive Bayes xử lý một email cụ thể: “trúng thưởng miễn phí nhấn vào đây”.

Bước 1: Prior — xác suất nền

1 / 1
  1. 1. Niềm tin trước khi đọc

    Trước khi nhìn nội dung email, chúng ta đã có thông tin nền: **khoảng 35%** email gửi đến hộp thư là spam (con số này tuỳ nhà cung cấp dịch vụ). Đây gọi là *prior*. Nếu bạn đoán bừa mà không xem email, đoán “ham” sẽ đúng 65% lần — vì đa số email trong hộp thư là hợp lệ.

Bước 2: Likelihood ratio của từng từ

Mỗi từ góp một tỉ số P(từ|Spam) / P(từ|Ham) — gọi là likelihood ratio. Ratio lớn hơn 1 là bằng chứng về phía spam.

TừLikelihood ratio (P(từ|S) ÷ P(từ|H))
trúng thưởng41
miễn phí10.8
nhấn vào đây19.5

Nhân cả ba ratio lại: 41 × 10.8 × 19.5 ≈ 8.632. Con số này “đẩy” xác suất về phía spam mạnh đến mức nào ở bước kế tiếp.

Bước 3: Nhân tỉ số bằng chứng với tỉ số prior

Prior ratio ban đầu là 35/65 ≈ 0.54 — hơi nghiêng về HAM. Posterior ratio = 0.54 × 8.632 ≈ 4.650 : 1 — nghĩa là email này có khả năng là SPAM cao gấp khoảng 4.650 lần HAM.

Bước cuối: đổi ratio thành xác suất

Ratio 4.650 : 1 nghĩa là P(Spam) = 4.650 / (4.650 + 1) ≈ 99,98%, P(Ham) ≈ 0,02%. Kết luận: email này là SPAM — chuyển vào thùng rác.

Khoảnh khắc hiểu

Naive Bayes không “hiểu” ngôn ngữ. Nó chỉ đếm tần suất từng từ trong lớp Spam và lớp Ham, rồi dùng chính những con số đếm được để cho mỗi từ mới một lá phiếu.

Sức mạnh của thuật toán đến từ số lượng lá phiếu độc lập — một email 50 từ là 50 lá phiếu cùng bỏ cho một quyết định. Ngay cả khi từng lá phiếu yếu, tổng hợp lại vẫn ra kết quả rõ ràng. Đó là lý do một thuật toán “ngây thơ” vẫn là xương sống của bộ lọc spam trong hơn hai mươi năm.

Một lá phiếu mạnh: “trúng thưởng” có likelihood ratio 41:1. Một từ có thể đẩy P(Spam) lên cao, nhưng dễ sai khi email hỗn hợp.

Nhiều lá phiếu yếu: 9 từ, mỗi từ chỉ hơi nghiêng về spam (ratio 1.5:1). Tích lại: 1,5⁹ ≈ 38:1 — mạnh ngang một từ “trúng thưởng” mà lại ổn định hơn.

Thử thách

Giả định 'ngây thơ' trong Naive Bayes là gì, và vì sao nó vẫn cho kết quả tốt dù giả định đó hiếm khi đúng trong thực tế?

Giải thích

Naive Bayes xuất phát từ một công thức xác suất cổ điển — định lý Bayes. Công thức này cho phép bạn cập nhật niềm tin khi có bằng chứng mới:

P(c∣x)=P(x∣c) P(c)P(x)P(c \mid \mathbf{x}) = \frac{P(\mathbf{x} \mid c) \, P(c)}{P(\mathbf{x})}

Đọc từng mảnh: P(c) là prior — tỉ lệ spam nền (ví dụ 35% email là spam). P(x|c) là khả năng — xác suất email có nội dung x khi biết nó thuộc lớp c. P(c|x) là kết quả bạn cần — xác suất email là spam khi biết nội dung.

Thành phầnÝ nghĩa
1. Prior P(c)Trước khi nhìn email: 35% email nền là spam. Đây là điểm xuất phát.
2. Khả năng P(x|c)Nội dung email “khớp” với lớp spam đến mức nào? Tính từ từng từ.
3. Posterior P(c|x)Sau khi xem nội dung: xác suất mới — bạn đã cập nhật niềm tin.

Đây là phần “ngây thơ” — khi có nhiều từ, Naive Bayes giả định các từ độc lập nhau khi biết lớp:

P(x∣c)≈∏i=1dP(xi∣c)P(\mathbf{x} \mid c) \approx \prod_{i=1}^{d} P(x_i \mid c)

Giả định này sai trong thực tế — “khuyến mãi” và “miễn phí” thường đi cùng nhau. Nhưng nó đủ dùng vì quyết định cuối chỉ cần so sánh hai phía. Kết quả: thuật toán “sai về xác suất tuyệt đối” nhưng “đúng về phân loại”.

Nhân nhiều xác suất nhỏ sẽ tràn số — dùng log

log⁡P(c∣x)∝log⁡P(c)+∑i=1dlog⁡P(xi∣c)\log P(c \mid \mathbf{x}) \propto \log P(c) + \sum_{i=1}^{d} \log P(x_i \mid c)

Log biến phép nhân thành phép cộng. Thay vì nhân 50 số rất nhỏ (nguy cơ tiến về 0 trên máy tính — gọi là underflow), ta cộng 50 giá trị log. Số thắng lớn hơn là lớp được chọn.

Vòng đời của một bộ lọc Naive Bayes

Hai pha — huấn luyện (một lần, chậm nhưng chỉ đếm từ) và suy luận (mỗi email, cực nhanh). Đây là lý do Naive Bayes chạy được ở tốc độ hàng tỷ email mỗi ngày.

Pha huấn luyện (training)

  • Lấy tập email đã gán nhãn (spam / ham)
  • Với mỗi từ, đếm số lần xuất hiện ở lớp spam và lớp ham
  • Chia ra tỉ lệ → được bảng P(từ | lớp)
  • Áp dụng Laplace smoothing cho chắc

Làm một lần, nhưng có thể cập nhật mỗi giờ từ phản hồi người dùng.

Pha suy luận (inference)

  • Email mới đến — tách thành danh sách từ
  • Với mỗi từ, tra bảng P(từ | spam) và P(từ | ham)
  • Cộng log các xác suất, so sánh hai phe
  • Nếu log P(spam) > log P(ham) → chặn

Thời gian xử lý mỗi email: ~1 mili-giây. Đó là lý do Gmail xử lý được hàng tỷ email/ngày.

Ba biến thể thường gặp

Biến thểDùng khi
Gaussian NBĐặc trưng là số thực (chiều cao, cân nặng). Mỗi đặc trưng được giả định tuân theo phân phối chuẩn trong mỗi lớp.
Multinomial NBĐếm số lần xuất hiện (số lần từ “khuyến mãi” trong email). Phổ biến nhất cho phân loại văn bản.
Bernoulli NBĐặc trưng chỉ có/không có (0 hoặc 1). Phù hợp cho tình huống chỉ quan tâm sự có mặt của từ, không quan tâm tần suất.

Khi các đặc trưng thực sự phụ thuộc nhau mạnh (diện tích nhà và số phòng chẳng hạn), giả định “ngây thơ” có thể sai nhiều. Lúc này bạn nên thử hồi quy logistic hoặc SVM — những mô hình học trực tiếp ranh giới giữa các lớp mà không giả định độc lập.

Tại sao 'sai về xác suất' mà 'đúng về phân loại'?

Giả sử “khuyến mãi” và “miễn phí” hay đi cùng nhau trong spam. Naive Bayes đếm chúng hai lần như hai bằng chứng độc lập, nên P(Spam|email) bị phóng đại. Nhưng lưu ý: phép phóng đại đó cũng xảy ra trong công thức P(Ham|email) — dù nhẹ hơn — nên khi chia hai giá trị để so sánh, sai số bị triệt tiêu một phần. Kết quả: xác suất tuyệt đối có thể sai lệch (Naive Bayes nói 99% spam khi thực tế 85%), nhưng thứ tự “spam hay ham” vẫn thường đúng — và phân loại chỉ cần đúng thứ tự.

Liên hệ với các thuật toán khác

Naive Bayes là một trường hợp đặc biệt của generative model — mô hình học cách dữ liệu được “sinh ra”: đầu tiên chọn lớp, rồi sinh từng từ tuỳ theo lớp. Ngược lại, logistic regression là discriminative model — học thẳng ranh giới giữa các lớp mà không mô hình hoá cách dữ liệu phát sinh. Cả hai đều có điểm mạnh riêng; generative thường cần ít dữ liệu hơn để bắt đầu, còn discriminative thường chính xác hơn khi dữ liệu đủ lớn.

Khi nào Naive Bayes thực sự kém?

Khi các đặc trưng phụ thuộc mạnh và hệ quả của sự phụ thuộc không đối xứng giữa các lớp. Ví dụ: dự đoán giá nhà dùng diện tích và số phòng ngủ. Hai biến này tương quan ~0.85 — Naive Bayes sẽ đếm hiệu ứng “nhà lớn” hai lần.

Khi dữ liệu rất nhiều và đa dạng: logistic regression hoặc neural network có thể mô hình hoá phụ thuộc trực tiếp, dẫn đến accuracy cao hơn 3–8%. Trong bài toán spam filter hiện đại, Naive Bayes chỉ còn là một trong nhiều tín hiệu — Gmail kết hợp với reputation IP, DKIM, cấu trúc header, và cả mô hình học sâu.

Mặc dù vậy: Naive Bayes vẫn là lựa chọn đầu tiên khi bạn cần kết quả trong vài giờ, có ít dữ liệu (~200 mẫu mỗi lớp), hoặc cần giải thích được cho stakeholder. Mỗi từ có một con số đóng góp rõ ràng.

Tóm tắt và kiểm tra

4 điều cần nhớ về Naive Bayes

  • Ý tưởng gốc: nhiều bằng chứng độc lập cùng chiều → niềm tin tăng. Mỗi từ là một “lá phiếu” nhỏ.
  • Công thức: P(lớp|email) ∝ prior × tích xác suất từng từ. Dùng log để tránh tràn số.
  • “Ngây thơ” nằm ở giả định các từ độc lập khi biết lớp — sai nhiều nhưng quyết định cuối vẫn đúng nhờ so sánh hai phía.
  • Cần Laplace smoothing để chống xác suất bằng 0 khi gặp từ mới chưa từng thấy trong dữ liệu huấn luyện.

Continue the path

Lesson 48 of 106