ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Overfit trong COMPAS — 137 đặc trưng thua 2 biến

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

COMPAS dùng 137 đặc trưng để chấm điểm rủi ro tái phạm nhưng chỉ đạt 65% chính xác — mô hình 2 biến đạt 67%, bóc trần hiện tượng overfit lên thiên kiến lịch sử

lesson46 minML cơ bảnAI Foundation

Giới thiệu

Tại Mỹ, hơn 1 triệu người đã từng được công cụ COMPAS (Correctional Offender Management Profiling for Alternative Sanctions — hệ thống chấm điểm rủi ro tái phạm) đánh giá. Phần mềm này thu thập 137 đặc trưng rồi trả về một con số: rủi ro cao hay thấp. Thẩm phán dùng con số này để quyết định tạm giam hay tại ngoại.

Năm 2016, ProPublica phát hiện: COMPAS đánh giá sai một cách có hệ thống — người da đen bị gán nhãn “rủi ro cao” nhầm gần gấp đôi so với người da trắng. Hai năm sau, Dressel & Farid (Dartmouth) chứng minh: mô hình chỉ dùng 2 biến (tuổi + số tiền án) đạt chính xác 67%, cao hơn cả COMPAS 137 biến (65%). Đây là ví dụ giáo khoa về overfit trong thế giới thật.

Cái bẫy: thêm đặc trưng ≠ thêm chính xác

Mô hình 2 biếnCOMPAS (137 biến)
Đặc trưngTuổi + số tiền ánTuổi, tiền án, bảng hỏi tâm lý, mối quan hệ...
Độ chính xác67%65%
Tỷ lệ dương tính giảGần nhau giữa hai nhómNgười da đen 44,9% vs người da trắng 23,5% (ProPublica, 7.000 hồ sơ tại hạt Broward, Florida)

135 đặc trưng bổ sung KHÔNG giúp — chúng khiến mô hình học thuộc lòng thiên kiến trong dữ liệu lịch sử.

Dữ liệu tư pháp Mỹ vốn chứa thiên kiến lịch sử: cảnh sát tuần tra dày hơn ở khu vực người thiểu số, nên các nhóm này bị ghi nhận “tái phạm” với tỷ lệ cao hơn trên giấy tờ, dù hành vi thực không nhất thiết khác. Khi mô hình “học” dữ liệu này với 137 đặc trưng, nó không học “ai thực sự có nguy cơ tái phạm” — nó học các khuôn mẫu nhân khẩu học tương quan với lịch sử giam giữ.

Đây chính là overfit trong hình hài nguy hiểm nhất: mô hình có train loss thấp trên dữ liệu cũ, nhưng khi triển khai cho hai người có cùng hồ sơ tội phạm (cùng tuổi, cùng số tiền án) nhưng khác chủng tộc, nó cho ra hai điểm rủi ro hoàn toàn khác nhau. Hậu quả: công lý không đồng đều giữa các công dân.

Vì sao dữ liệu lịch sử đã “nghiêng” ngay từ đầu

Nếu hành vi thực tế hai nhóm như nhau, nhưng dữ liệu đã nghiêng — mô hình sẽ “học” sự nghiêng đó thành quy luật. Mô hình càng phức tạp, càng ghi nhớ chính xác độ nghiêng — và càng xuất ra điểm rủi ro cao cho nhóm B một cách hệ thống.

COMPAS thu thập 137 đặc trưng. Hệ thống hỏi bị cáo hàng chục câu về hoàn cảnh sống, lịch sử gia đình, bạn bè, công việc, kết hợp với hồ sơ tư pháp. Với hàng chục thông tin này, mô hình có quá nhiều “tự do” để khớp từng đặc điểm nhỏ nhất trong dữ liệu huấn luyện — y hệt mô hình đa thức bậc 20 bạn vừa gặp ở bài lý thuyết.

Overfit lên thiên kiến lịch sử. Tỷ lệ dương tính giả (false positive — gán “rủi ro cao” cho người không tái phạm) ở người da đen là 44,9%, gần gấp đôi so với 23,5% ở người da trắng. Mô hình đang “nhớ” các mối tương quan xã hội thay vì học nguy cơ tái phạm thực sự.

Dressel & Farid (2018): 2 biến đạt 67%. Họ thay thế 137 đặc trưng bằng hai biến duy nhất: tuổi và số tiền án. Mô hình đơn giản hơn — nhưng chính xác cao hơn COMPAS. Đây là bằng chứng giáo khoa: thêm đặc trưng không luôn giúp, và nhiều khi chúng phá hoại vì mô hình bắt đầu học nhiễu.

Con người cũng chỉ đạt 63–67%. Cùng nghiên cứu, 400 tình nguyện viên không chuyên dự đoán tái phạm dựa trên mô tả ngắn — cũng đạt 63–67%. Điều này lộ ra giới hạn nội tại của bài toán: dự đoán tái phạm cá nhân có trần tự nhiên ~67%. Mọi đặc trưng thêm vào không phá được trần đó — chỉ làm mô hình phức tạp hơn và overfit nhiều hơn.

Mô hình overfit vs mô hình cân bằng — hiệu ứng công bằng

Chỉ dùng tuổi + số tiền án: tỷ lệ dương tính giả (FP) gần nhau giữa hai nhóm.

Thêm biến proxy cho nhân khẩu học → tỷ lệ FP nhóm B tăng vọt. Cùng 24 bị cáo giả định, đổi mô hình là đổi hậu quả công bằng.

Vì sao mô hình 137 biến lại thua mô hình 2 biến?

Ba lý do

1 / 3
  1. 1. 1 — Nhiều biến, nhiều tự do

    Thêm đặc trưng = thêm “nút vặn” cho mô hình. Với 137 nút, mô hình có thể vặn vừa đúng từng đặc điểm nhỏ trong dữ liệu lịch sử — kể cả những đặc điểm ngẫu nhiên không liên quan đến tái phạm (ví dụ: mã vùng nhà ở, câu trả lời bảng hỏi tâm lý bất thường).

Tỷ lệ dương tính giả (gán “rủi ro cao” nhầm) ở người da đen gấp đôi người da trắng ⇒ nhiều người vô tội bị từ chối tại ngoại. Mô hình 2 biến sạch sẽ hơn: bỏ qua nhân khẩu học, chỉ dựa trên hai thứ có căn cứ rõ ràng.

Số đặc trưng vs độ chính xác

Khi tăng số đặc trưng: đường train luôn tăng — thêm feature luôn giúp khớp train. Đường test tăng tới mốc 3–5 feature rồi đi ngang hoặc giảm. Đây là chữ ∩ kinh điển của overfit: thêm phức tạp chỉ giúp tới một điểm.

Một nhà phát triển AI nói: 'Tôi sẽ thêm 50 feature nữa vào mô hình dự đoán tín dụng để tăng độ chính xác.' Căn cứ bài học COMPAS, nhận định nào là ĐÚNG nhất?
Bạn là kỹ sư ML được giao dự đoán rủi ro tín dụng tại một ngân hàng Việt Nam. Ngân hàng có dữ liệu lịch sử 10 năm, nhưng bạn biết: trong quá khứ, một số chi nhánh từ chối đơn của người ngoại tỉnh nhiều hơn (thiên kiến địa phương). Bạn nên làm gì?

Nếu không hiểu overfit, ta dễ tin “mô hình càng nhiều biến càng chính xác”. COMPAS minh hoạ điều ngược lại: 137 đặc trưng không cải thiện dự đoán mà còn giấu thiên kiến trong lớp vỏ phức tạp, khiến việc kiểm tra và phản biện trở nên cực kỳ khó khăn.

Hiểu overfit giúp đặt câu hỏi đúng: trước khi thêm đặc trưng, hãy hỏi “Mô hình đơn giản nhất đạt bao nhiêu phần trăm?” Nếu mô hình 2 biến đã đạt 67% và mô hình 137 biến chỉ đạt 65%, vấn đề không phải thiếu dữ liệu — mà là bài toán có giới hạn nội tại, và thêm phức tạp chỉ thêm rủi ro thiên kiến.

Nối lại với bài lý thuyết

Trong bài “Overfit vs Underfit”, bạn đã thấy đa thức bậc 20 khớp 12 điểm train hoàn hảo nhưng sai bét trên test. COMPAS là ví dụ cùng bản chất, nhưng hậu quả không phải điểm test tệ — mà là công lý không đồng đều cho hàng triệu công dân.

Bài học chung cho mọi dự án ML: luôn có mô hình baseline đơn giản, đo khoảng cách train-test, kiểm tra fairness theo các nhóm bảo vệ — không chỉ accuracy tổng.

Continue the path

Lesson 57 of 106