Giới thiệu
Bạn mở YouTube và trang chủ hiện ra danh sách video. Khoảng 70% thời gian xem trên YouTube đến từ gợi ý của thuật toán. Hệ thống này phục vụ hơn 2 tỷ người dùng, chọn lọc từ hơn 800 triệu video, xử lý hơn 80 tỷ tín hiệu mỗi ngày.
Nhưng mỗi mô hình gợi ý không được triển khai ngay sau khi huấn luyện. YouTube có một quy trình chia dữ liệu nghiêm ngặt — train, validation, test — rồi kết hợp với A/B testing (thử nghiệm so sánh trên người dùng thật) để đảm bảo mô hình mới thực sự cải thiện trải nghiệm, không chỉ cải thiện con số trên giấy.
Cái bẫy: chia ngẫu nhiên dữ liệu có thứ tự thời gian
| Cách chia | Ví dụ |
|---|---|
| Chia ngẫu nhiên | Train có dữ liệu từ 2024, test có dữ liệu từ 2021. Mô hình “biết trước” xu hướng — offline metric cực đẹp, thực tế bị tụt thảm. |
| Chia theo thời gian | Train: 2020-2022 (cũ). Val: 2023 (trung). Test: 2024 (mới). Mô phỏng đúng việc dự đoán tương lai từ quá khứ. |
YouTube thu thập dữ liệu tương tác từ 2 tỷ người dùng: lượt xem, thời gian xem, nhấn like, chia sẻ, bình luận, bỏ qua. Tổng cộng hơn 80 tỷ tín hiệu mỗi ngày. Thách thức không chỉ là mô hình chính xác trên dữ liệu quá khứ, mà là dự đoán đúng hành vi người dùng trong tương lai — vốn thay đổi liên tục: xu hướng mới, sự kiện thời sự, sáng tạo viên mới.
Nếu chia dữ liệu ngẫu nhiên như cách “sách giáo khoa”, YouTube sẽ phạm lỗi chết người: thông tin về tương lai lọt vào tập train. Mô hình học trên dữ liệu đã “nhìn thấy” tương lai ⇒ offline metric đẹp ⇒ thực tế thảm hại. Lối đúng là chia theo thời gian: train = dữ liệu cũ, val = dữ liệu trung gian, test = dữ liệu mới nhất — cộng thêm A/B test trên người dùng thật.
Ba tập dữ liệu offline + một tập “test thật” là A/B trên người dùng hiện tại. Chỉ mô hình vượt qua cả bốn mới được triển khai.
Tập huấn luyện: học từ lịch sử. YouTube dùng hàng tỷ sự kiện tương tác trong quá khứ để huấn luyện mạng nơ-ron sâu. Kiến trúc 2 giai đoạn (Covington et al., RecSys 2016): mạng ứng viên (candidate generation) chọn vài trăm video từ 800 triệu, rồi mạng xếp hạng (ranking) sắp xếp chúng. Dữ liệu được cân bằng cẩn thận theo người dùng: mỗi user đóng góp cùng số lượng ví dụ, tránh mô hình bị chi phối bởi nhóm xem nhiều.
Tập kiểm định: chia theo user (và theo thời gian). YouTube chia theo người dùng, không chia theo sự kiện ngẫu nhiên. Toàn bộ lịch sử của một user nằm hoàn toàn trong train hoặc hoàn toàn trong val — không chia đôi. Đồng thời, cắt theo thời gian: val là dữ liệu gần đây nhất so với train. Tập val dùng để chọn hyperparameter, so sánh kiến trúc, early stopping.
A/B test trên người dùng thật: đề thi thật. Sau khi mô hình vượt qua đánh giá offline, YouTube chạy A/B test: chia người dùng thành nhóm control (mô hình cũ) và nhóm treatment (mô hình mới). So sánh chỉ số thực tế (watch time, lượt hài lòng, tỷ lệ dừng xem sớm). YouTube thực hiện hàng chục nghìn A/B test mỗi năm. Chỉ mô hình vượt qua A/B test mới được triển khai.
Quyết định từ chỉ số thực tế, không chỉ số offline. YouTube nhiều lần phát hiện: mô hình có offline metric cao hơn nhưng lại giảm watch time trong A/B test. Nguyên nhân thường là mô hình tối ưu cho click (nhấp chuột) thay vì sự hài lòng — người dùng click nhiều hơn nhưng thoát nhanh hơn. Chỉ A/B test mới phát hiện được sự khác biệt này. Đó là lý do A/B test được coi là “test set thật”.