Thử đoán
Hồi quy tuyến tính trả một số bất kỳ. Nhưng đôi khi bạn chỉ cần câu trả lời: có hay không? (có bệnh, spam, đậu phỏng vấn, khách huỷ đơn…). Logistic là tuyến tính ép vào khoảng 0–1 bằng hàm sigmoid.
Evaluating routing across providers.
AI Foundation
Khi câu trả lời chỉ có hai lựa chọn — có hay không. Hồi quy logistic ép số thực vào khoảng 0–1 để dự đoán xác suất.
Hồi quy tuyến tính trả một số bất kỳ. Nhưng đôi khi bạn chỉ cần câu trả lời: có hay không? (có bệnh, spam, đậu phỏng vấn, khách huỷ đơn…). Logistic là tuyến tính ép vào khoảng 0–1 bằng hàm sigmoid.
Tưởng tượng bạn có một máy sản xuất số. Đầu vào là bất kỳ số thực nào — có thể +42 hoặc −13 000. Bây giờ bạn kẹp cỗ máy đó qua một cái ống hình chữ S: mọi số âm rất nhỏ sẽ bị nén về gần 0, mọi số dương rất lớn sẽ bị nén về gần 1, và số 0 nằm đúng giữa (bằng 0,5).
Cái ống đó chính là hàm sigmoid. Logistic chỉ có ba phần: hồi quy tuyến tính để tính một con số, sigmoid để ép vào [0, 1], và ngưỡng để chốt “có” hay “không”.
Ba phần của logistic
Tính z = w·x + b cho mỗi mẫu dữ liệu, giống hồi quy tuyến tính.
Hình dung bằng tay: chỉnh trọng số w, bias b và ngưỡng để xem đường sigmoid và biên quyết định thay đổi ra sao.
| Thử | Quan sát |
|---|---|
| Tăng trọng số w | Đường sigmoid dốc hơn — mô hình “quyết đoán” hơn, vùng không chắc thu hẹp lại. |
| Chỉnh bias b | Đường cong dịch ngang — biên quyết định qua trái hoặc phải. |
| Đặt ngưỡng 90% | Nhiều điểm lớp 1 bị tính là lớp 0 — recall giảm, đúng như lý thuyết. |
Logistic “nói chuyện” với ba con số khác nhau mô tả cùng một sự kiện. Bạn sẽ thấy vì sao “log của tỉ số” là ngôn ngữ tự nhiên của mô hình.
| Biểu diễn | Công thức | Ví dụ |
|---|---|---|
| Xác suất p | p | p = 0,667 (tức 2 phần trên 3) |
| Odds | p / (1 − p) | Tỉ lệ 2 : 1 → odds = 2 |
| Log-odds | log(p / (1 − p)) | log(2) ≈ 0,69; logistic cho log-odds = w·x + b |
Dùng hồi quy tuyến tính cho phân loại: đường thẳng có thể cho output âm hoặc lớn hơn 1. Nhưng xác suất phải nằm trong [0, 1]! Thêm vài điểm ngoại lai, đường thẳng bị kéo hẳn đi — biên phân loại dịch sai theo.
Hàm sigmoid ép mọi đầu vào về khoảng (0, 1). Điểm nào nằm trên ngưỡng 0,5 được phân vào lớp 1, dưới ngưỡng là lớp 0. Dù có outlier xa, đường cong vẫn bằng phẳng ở hai đầu.
Bốn bước
Ghép dữ liệu vào tuyến tính. Với mỗi mẫu (ví dụ: điểm IELTS = 6,5), tính z = w·x + b. Trọng số w càng lớn, đặc trưng càng “có tiếng nói” trong quyết định. Bias b dịch đường cong qua trái hoặc phải. Đây là bước giống hệt hồi quy tuyến tính.
Hồi quy logistic = hồi quy tuyến tính + hàm sigmoid. Cỗ máy bên trong vẫn là đường thẳng w·x + b. Chỉ khác là đầu ra bị ép qua một “cái ống chữ S” để thành xác suất (0, 1). Biên quyết định chính là nơi xác suất bằng ngưỡng.
Sau khi đã cảm nhận bằng tay, đây là ba công thức bạn cần biết về hồi quy logistic. Đừng học thuộc, hãy nhìn.
z là điểm số mà mô hình tuyến tính tính được. Sigmoid ép điểm số đó thành xác suất “đúng lớp 1”. z = 0 ↔ p = 0,5 (ranh giới).
Đây là công thức đảo ngược của sigmoid. Nếu tỉ số p : (1 − p) là 2 : 1, log của nó là log(2) ≈ 0,69 — và bằng với z = w·x + b. Nhờ thế, ta học được w và b bằng cách tối thiểu loss, vì mối quan hệ giữa đặc trưng x và log-odds là tuyến tính.
Với mẫu có nhãn thật y = 1, chỉ phần đầu −log(p̂) “bật”. Nếu mô hình đoán p̂ = 0,99 (đúng rất chắc) → loss ≈ 0. Nếu đoán p̂ = 0,01 (sai rất chắc) → loss tiến về +∞. Đặc tính “phạt cực mạnh khi tự tin nhưng sai” của −log là lý do cross-entropy hợp cho phân loại.
| Ngưỡng | Khi nào | Ưu tiên |
|---|---|---|
| Thấp (0,2 – 0,4) | Bỏ sót rất tốn kém: ung thư, gian lận thẻ tín dụng, lọc khủng bố. | Recall — chấp nhận thêm ca cần xét lại. |
| Mặc định (0,5) | Cả hai loại sai có giá tương đương. Điểm khởi đầu cho mọi dự án chưa có ràng buộc kinh doanh rõ ràng. | Cân bằng. |
| Cao (0,7 – 0,9) | Báo nhầm rất tốn kém: email marketing (không muốn spam quá tay), chặn tài khoản VIP. | Precision. |
| Bài toán | Cái gì tốn kém hơn? | Ngưỡng gợi ý |
|---|---|---|
| Phát hiện ung thư sớm | Bỏ sót (tử vong) | 0,20 – 0,35 |
| Gian lận thẻ tín dụng | Bỏ sót (mất tiền) | 0,30 – 0,50 |
| Lọc spam Gmail | Báo nhầm (email sếp) | 0,70 – 0,85 |
| Gợi ý sản phẩm | Hai loại sai gần như nhau | 0,50 |
Chọn ngưỡng là một quyết định kinh doanh, không phải chỉ là tinh chỉnh mô hình. Nếu chưa biết chọn số nào, bắt đầu từ 0,5 rồi điều chỉnh dựa trên chi phí thực tế của mỗi loại lỗi.
Khi bài toán có 3 lớp trở lên (nhận dạng chữ, phân loại email thành 5 thư mục…), người ta tổng quát hoá sigmoid thành softmax. Ý tưởng giống hệt: tính một điểm số cho mỗi lớp, rồi đưa qua một hàm ép tổng các điểm về bằng 1. Cơ chế học (cross-entropy) và cách giải thích (xác suất lớp) vẫn giữ nguyên.
Vì đầu ra trước khi áp ngưỡng là một số thực liên tục (xác suất), không phải nhãn rời rạc. Logistic là hồi quy trên log-odds. Khi áp ngưỡng để chốt thành 0/1, bạn thêm một bước phân loại ở cuối. Tên “hồi quy” giữ từ thời thống kê học, hơi gây hiểu nhầm nhưng đã quá phổ biến để đổi.
Xem ứng dụng thực tế: logistic trong lọc spam Gmail — cách bộ lọc thư rác biến xác suất thành quyết định “vào hộp” hay “vào thùng rác” mỗi giây.