Giới thiệu
Tháng 1 năm 2024, Meta bắt đầu huấn luyện LLaMA 3.1 405B — mô hình ngôn ngữ có 405 tỉ tham số. 16.384 GPU H100 chạy liên tục 54 ngày. Mỗi giây trôi qua, mỗi tham số đều được hỏi một câu duy nhất: “Nếu tôi nhích một tí, loss thay đổi bao nhiêu?”
Đó chính là đạo hàm. Và để trả lời câu hỏi đó cho cả 405 tỉ tham số trong vài trăm mili-giây, Meta dùng một vòng lặp 5 bước không thay đổi từ thời Rosenblatt.
LLaMA 3.1 405B phải học từ 15,6 nghìn tỉ token (đơn vị văn bản). Mỗi lần đi qua một batch, mô hình cần điều chỉnh 405 tỉ tham số — cộng lại là con số khổng lồ.
Vấn đề gốc rễ: không thể thử từng tham số một. Nếu mỗi lần muốn biết gradient của một tham số, ta phải chạy lại forward pass, thì sẽ cần 405 tỉ forward pass cho một bước cập nhật duy nhất — không thể nào xong trong một đời người. Chain rule biến bài toán đó từ không khả thi thành khả thi.
| Con số | Ý nghĩa |
|---|---|
| 405 tỉ tham số | Mỗi tham số là một weight cần được điều chỉnh theo gradient của nó. |
| 126 lớp nối tiếp | Mạng sâu → chain rule nhân hàng trăm đạo hàm cục bộ xuyên qua các lớp. |
| 3,8 × 10²⁵ FLOP | Tổng phép tính. Không có chain rule + song song hoá, bài toán là bất khả thi. |