Giới thiệu
Tháng 6 năm 2020, OpenAI công bố GPT-3 — mô hình ngôn ngữ 175 tỉ tham số. Theo Lambda Labs, chi phí tính toán để huấn luyện một lần là khoảng 12 triệu USD. Phần lớn số tiền đó không tiêu vào kiến trúc sang trọng. Nó tiêu vào một việc duy nhất, lặp lại hàng triệu lần trên 1.024 GPU V100.
Việc đó tên là gradient descent — thuật toán hỏi “nếu ta nhích trọng số này xuống một chút, loss giảm bao nhiêu?” rồi trả lời bằng một bước rất nhỏ về phía đáy thung lũng mất mát. Lặp vài trăm triệu lần, mô hình đi từ ngẫu nhiên hoàn toàn tới trả lời được câu hỏi tiếng Việt. Tại sao OpenAI chọn thuật toán đơn giản này thay vì gì đó kỳ diệu hơn?
| Chi phí của một run gradient descent (ước lượng GPT-3) | Giá trị |
|---|---|
| Tham số cần cập nhật | 175 tỉ |
| GPU V100 chạy song song | 1.024 |
| Thời gian chạy liên tục | 34 ngày |
| Chi phí tính toán | khoảng 12 triệu USD |
Gradient descent sống sót vì ba lý do: rẻ trên mỗi bước, mở rộng được với bất kỳ số chiều (kể cả 175 tỉ), và có nhiều biến thể (AdamW, momentum, learning-rate schedule) giúp ổn định khi scale.
Bề mặt mất mát (loss surface) của GPT-3 sống trong không gian 175 tỉ chiều. Bạn không thể “nhìn” nó, nhưng OpenAI phải tìm một điểm thấp trong đó, bằng cách chỉ tính gradient — hướng dốc nhất — tại vị trí hiện tại.
| Vấn đề | Điều xảy ra |
|---|---|
| Saddle point | Điểm yên ngựa: gradient gần 0 nhưng không phải đáy. SGD thuần dễ kẹt. Momentum giúp trượt qua. |
| Noisy gradient | Mỗi batch chỉ vài triệu token. Gradient trên batch lệch trung bình thật. Batch to → ít nhiễu nhưng đắt. |
| Exploding loss | Một batch dị thường có thể đẩy gradient lên 1000×. Không clip, 34 ngày công sức tan theo một bước. |
Bài toán của OpenAI không phải “tìm thuật toán mới”. Là giữ gradient descent ổn định qua 300 tỉ token dữ liệu, trên 1.024 GPU, trong 34 ngày, với chi phí 12 triệu USD. Sai learning rate 3× có thể tốn hàng triệu USD. Vì thế mỗi hyperparameter — η, β₁, β₂, batch size, clip threshold — đều được chọn từ hàng trăm thí nghiệm trên mô hình nhỏ.
Vòng lặp của một bước huấn luyện GPT-3
1. Lấy một mini-batch ngẫu nhiên
Thay vì dùng toàn bộ 300 tỉ token cho mỗi bước (không thể nào), OpenAI chia dữ liệu thành các mini-batch cỡ 3,2 triệu token. Mỗi GPU xử lý một phần, gradient cục bộ được tổng hợp qua all-reduce.