Giới thiệu
Năm 2006, Netflix công bố giải thưởng 1 triệu đô-la cho bất kỳ đội nào cải thiện hệ thống gợi ý phim thêm 10%. Ba năm sau, hơn 40 000 đội từ 186 quốc gia vẫn đang thử. Đội chiến thắng — BellKor's Pragmatic Chaos — nộp bài chỉ sớm hơn đội nhì đúng 22 phút. Cả hai đội đều cán mốc RMSE 0,8554 sau khi gộp hơn 800 mô hình.
Vì sao để giảm 10% RMSE người ta phải gộp 800 mô hình? Vì sao Netflix không triển khai giải pháp thắng cuộc? Toàn bộ câu chuyện là một lớp học sống động về Bias và Variance và giới hạn thực tế của ensemble khi chi phí tính toán cũng quan trọng như độ chính xác.
Hệ thống gợi ý ban đầu của Netflix là Cinematch: tương quan người dùng theo đánh giá phim. RMSE (root mean squared error — sai số bình phương trung bình) của Cinematch là 0,9525 trên tập kiểm tra. Netflix đặt mục tiêu: đạt RMSE ≤ 0,8572 — cải thiện đúng 10% — để nhận 1 triệu đô-la.
Vấn đề cốt lõi: mỗi mô hình đơn lẻ đều mắc kẹt. Mô hình đơn giản (hồi quy tuyến tính) có bias cao — không bắt được tương tác phức tạp giữa sở thích người xem. Mô hình phức tạp (deep matrix factorization) có variance cao — kết quả dao động mạnh giữa các tập huấn luyện khác nhau. Hạ cả hai cùng lúc là điều không thể với một mô hình — nhưng ensemble thì có thể.
Từ SVD đến 800 mô hình
1. SVD đơn lẻ: bias cao, cải thiện ~7%
Bước đầu tiên, các đội dùng SVD (Singular Value Decomposition — phân rã giá trị suy biến, phương pháp nén ma trận đánh giá thành vector ngắn gọn). SVD giảm RMSE khoảng 7%. Nhưng nó vẫn giả định sở thích người dùng tuân theo công thức cộng tuyến tính — còn bias đáng kể.