Giới thiệu
Khi bạn chat với GPT-4, bạn đang nói chuyện với một mô hình đã “đọc” khoảng 13 nghìn tỉ token văn bản trên internet — tương đương khoảng 50 triệu cuốn sách, gấp hàng nghìn lần số chữ một người có thể đọc trong cả đời. Câu hỏi tự nhiên: làm thế nào để nhét ngần ấy dữ liệu vào một mô hình trong vài tháng huấn luyện?
Câu trả lời gọi là epoch (lượt duyệt qua toàn bộ dữ liệu) và batch (lô — nhóm mẫu xử lý cùng lúc). GPT-4 thường chỉ chạy một hoặc hai epoch — vì một lượt đã đủ nhiều. Nhưng mỗi lượt đó được chặt thành hàng triệu batch, mỗi batch là một bước cập nhật trọng số trên hàng ngàn GPU chạy song song. Bài này sẽ cho bạn thấy cách các lab AI thực sự vặn những con số đó, và vì sao một sai lầm nhỏ trong batch size có thể đốt hàng chục triệu đô-la vô ích.
| Thách thức | Con số |
|---|---|
| Khối dữ liệu khổng lồ | 13 nghìn tỉ token ≈ 50 triệu cuốn sách. Không một GPU nào chứa hết cùng lúc. |
| Hạn chế RAM GPU | H100 có 80 GB. Một batch 4 triệu token đã chiếm ~100 GB → phải chia tiếp. |
| Chi phí đốt tiền | Mỗi ngày GPU-cluster ≈ hàng trăm nghìn đô. Chọn sai batch = cháy tiền. |
Hãy hình dung bạn có 13 nghìn tỉ token văn bản. Không GPU nào trên trái đất có đủ RAM để ôm toàn bộ dữ liệu cùng lúc. Ngay cả một chiếc H100 (card đồ hoạ chuyên dụng cho AI, RAM 80 GB) cũng chỉ chứa nổi vài triệu token. Vậy mô hình “đọc” kiểu gì?
Và đây mới là câu hỏi đắt giá: nên lặp lại dữ liệu nhiều lần (nhiều epoch, dữ liệu ít) hay đọc một lượt thật kỹ (một epoch, dữ liệu khổng lồ)? Batch nên to bao nhiêu để không hết RAM nhưng vẫn đủ ổn định? Mỗi quyết định ảnh hưởng trực tiếp tới chi phí hàng chục đến hàng trăm triệu đô-la cho một đợt huấn luyện — và quyết định chất lượng mô hình cuối.
Các khái niệm then chốt
1. Chia dữ liệu thành batch, mỗi batch là một bước cập nhật
Thay vì nạp cả 13 nghìn tỉ token cùng lúc, lab AI chia dữ liệu thành những khối nhỏ gọi là *batch*. Với LLaMA 2, mỗi batch chứa khoảng **4 triệu token** — tương đương 1.000 chuỗi, mỗi chuỗi 4.096 token. Sau khi xem xong một batch, mô hình cập nhật trọng số một lần, rồi đọc batch kế tiếp.
Scaling laws: loss giảm dần theo compute
Trục hoành là tổng phép tính (compute, thang log). Trục tung là loss (sai số). Đường cong cho thấy quy luật: “nhân đôi compute → loss giảm theo một tỉ lệ dự đoán được”. Mỗi khi tăng gấp 10 lần compute, loss giảm khoảng 15–20%. Các lab lên kế hoạch huấn luyện dựa trên những đường cong như thế này — trước khi chi tiền.