Giới thiệu
Tại Mỹ, hơn 1 triệu người đã từng được công cụ COMPAS (Correctional Offender Management Profiling for Alternative Sanctions — hệ thống chấm điểm rủi ro tái phạm) đánh giá. Phần mềm này thu thập 137 đặc trưng rồi trả về một con số: rủi ro cao hay thấp. Thẩm phán dùng con số này để quyết định tạm giam hay tại ngoại.
Năm 2016, ProPublica phát hiện: COMPAS đánh giá sai một cách có hệ thống — người da đen bị gán nhãn “rủi ro cao” nhầm gần gấp đôi so với người da trắng. Hai năm sau, Dressel & Farid (Dartmouth) chứng minh: mô hình chỉ dùng 2 biến (tuổi + số tiền án) đạt chính xác 67%, cao hơn cả COMPAS 137 biến (65%). Đây là ví dụ giáo khoa về overfit trong thế giới thật.
Cái bẫy: thêm đặc trưng ≠ thêm chính xác
| Mô hình 2 biến | COMPAS (137 biến) | |
|---|---|---|
| Đặc trưng | Tuổi + số tiền án | Tuổi, tiền án, bảng hỏi tâm lý, mối quan hệ... |
| Độ chính xác | 67% | 65% |
| Tỷ lệ dương tính giả | Gần nhau giữa hai nhóm | Người da đen 44,9% vs người da trắng 23,5% (ProPublica, 7.000 hồ sơ tại hạt Broward, Florida) |
135 đặc trưng bổ sung KHÔNG giúp — chúng khiến mô hình học thuộc lòng thiên kiến trong dữ liệu lịch sử.
Dữ liệu tư pháp Mỹ vốn chứa thiên kiến lịch sử: cảnh sát tuần tra dày hơn ở khu vực người thiểu số, nên các nhóm này bị ghi nhận “tái phạm” với tỷ lệ cao hơn trên giấy tờ, dù hành vi thực không nhất thiết khác. Khi mô hình “học” dữ liệu này với 137 đặc trưng, nó không học “ai thực sự có nguy cơ tái phạm” — nó học các khuôn mẫu nhân khẩu học tương quan với lịch sử giam giữ.
Đây chính là overfit trong hình hài nguy hiểm nhất: mô hình có train loss thấp trên dữ liệu cũ, nhưng khi triển khai cho hai người có cùng hồ sơ tội phạm (cùng tuổi, cùng số tiền án) nhưng khác chủng tộc, nó cho ra hai điểm rủi ro hoàn toàn khác nhau. Hậu quả: công lý không đồng đều giữa các công dân.
Vì sao dữ liệu lịch sử đã “nghiêng” ngay từ đầu
Nếu hành vi thực tế hai nhóm như nhau, nhưng dữ liệu đã nghiêng — mô hình sẽ “học” sự nghiêng đó thành quy luật. Mô hình càng phức tạp, càng ghi nhớ chính xác độ nghiêng — và càng xuất ra điểm rủi ro cao cho nhóm B một cách hệ thống.
COMPAS thu thập 137 đặc trưng. Hệ thống hỏi bị cáo hàng chục câu về hoàn cảnh sống, lịch sử gia đình, bạn bè, công việc, kết hợp với hồ sơ tư pháp. Với hàng chục thông tin này, mô hình có quá nhiều “tự do” để khớp từng đặc điểm nhỏ nhất trong dữ liệu huấn luyện — y hệt mô hình đa thức bậc 20 bạn vừa gặp ở bài lý thuyết.
Overfit lên thiên kiến lịch sử. Tỷ lệ dương tính giả (false positive — gán “rủi ro cao” cho người không tái phạm) ở người da đen là 44,9%, gần gấp đôi so với 23,5% ở người da trắng. Mô hình đang “nhớ” các mối tương quan xã hội thay vì học nguy cơ tái phạm thực sự.
Dressel & Farid (2018): 2 biến đạt 67%. Họ thay thế 137 đặc trưng bằng hai biến duy nhất: tuổi và số tiền án. Mô hình đơn giản hơn — nhưng chính xác cao hơn COMPAS. Đây là bằng chứng giáo khoa: thêm đặc trưng không luôn giúp, và nhiều khi chúng phá hoại vì mô hình bắt đầu học nhiễu.
Con người cũng chỉ đạt 63–67%. Cùng nghiên cứu, 400 tình nguyện viên không chuyên dự đoán tái phạm dựa trên mô tả ngắn — cũng đạt 63–67%. Điều này lộ ra giới hạn nội tại của bài toán: dự đoán tái phạm cá nhân có trần tự nhiên ~67%. Mọi đặc trưng thêm vào không phá được trần đó — chỉ làm mô hình phức tạp hơn và overfit nhiều hơn.