Giới thiệu
Hãy tưởng tượng bạn nộp hồ sơ xin việc tại một trong những công ty công nghệ lớn nhất thế giới — nhưng trước khi bất kỳ nhà tuyển dụng nào đọc CV, một thuật toán đã âm thầm hạ điểm bạn. Lý do không phải vì bạn thiếu năng lực — mà vì cỗ máy “học” được rằng “ứng viên giỏi” nghĩa là “ứng viên nam”.
Đó chính xác là những gì đã xảy ra tại Amazon từ năm 2014 đến 2017. Một đội 12 kỹ sư tại Edinburgh xây dựng hệ thống chấm CV 1-5 sao — và mô hình học từ 10 năm dữ liệu đã trừ điểm mọi hồ sơ có từ “women’s” trong đó.
“Everyone wanted this holy grail. They literally wanted it to be an engine where I’m going to give you 100 résumés, it will spit out the top five, and we’ll hire those.” — Nguồn ẩn danh trong đội Amazon, trả lời Reuters 10/2018
Dòng thời gian
1. 2014 · Amazon
Thành lập đội 12 người tại Edinburgh. Amazon tin tưởng có thể tự động hoá sàng lọc CV, chấm 1-5 sao như đánh giá sản phẩm.
Thiên kiến trong học máy xảy ra khi mô hình AI học và tái tạo các khuôn mẫu phân biệt đối xử có sẵn trong dữ liệu huấn luyện. Khi dữ liệu lịch sử phản ánh sự bất bình đẳng — ngành công nghệ có khoảng 77% nam giới trong lực lượng lao động kỹ thuật cao theo EEOC — thuật toán mã hoá sự mất cân bằng đó thành “tiêu chuẩn chất lượng”.
Kết quả là vòng lặp tự củng cố: dữ liệu thiên lệch tạo mô hình thiên lệch, mô hình đưa ra quyết định thiên lệch, và quyết định đó lại trở thành dữ liệu huấn luyện tiếp theo. Không phá vỡ được vòng lặp, AI không tự “khá lên” — nó càng lúc càng củng cố định kiến cũ.