ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Gradient Descent trong huấn luyện mô hình

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Huấn luyện GPT-3 tốn ~12 triệu USD chỉ cho tính toán, phần lớn là chạy gradient descent. Vặn thử learning rate, momentum, batch size — xem loss hội tụ, dao động hay nổ tung.

lesson50 minMạng nơ-ronAI Foundation

Giới thiệu

Tháng 6 năm 2020, OpenAI công bố GPT-3 — mô hình ngôn ngữ 175 tỉ tham số. Theo Lambda Labs, chi phí tính toán để huấn luyện một lần là khoảng 12 triệu USD. Phần lớn số tiền đó không tiêu vào kiến trúc sang trọng. Nó tiêu vào một việc duy nhất, lặp lại hàng triệu lần trên 1.024 GPU V100.

Việc đó tên là gradient descent — thuật toán hỏi “nếu ta nhích trọng số này xuống một chút, loss giảm bao nhiêu?” rồi trả lời bằng một bước rất nhỏ về phía đáy thung lũng mất mát. Lặp vài trăm triệu lần, mô hình đi từ ngẫu nhiên hoàn toàn tới trả lời được câu hỏi tiếng Việt. Tại sao OpenAI chọn thuật toán đơn giản này thay vì gì đó kỳ diệu hơn?

Chi phí của một run gradient descent (ước lượng GPT-3)Giá trị
Tham số cần cập nhật175 tỉ
GPU V100 chạy song song1.024
Thời gian chạy liên tục34 ngày
Chi phí tính toánkhoảng 12 triệu USD

Gradient descent sống sót vì ba lý do: rẻ trên mỗi bước, mở rộng được với bất kỳ số chiều (kể cả 175 tỉ), và có nhiều biến thể (AdamW, momentum, learning-rate schedule) giúp ổn định khi scale.

Bề mặt mất mát (loss surface) của GPT-3 sống trong không gian 175 tỉ chiều. Bạn không thể “nhìn” nó, nhưng OpenAI phải tìm một điểm thấp trong đó, bằng cách chỉ tính gradient — hướng dốc nhất — tại vị trí hiện tại.

Vấn đềĐiều xảy ra
Saddle pointĐiểm yên ngựa: gradient gần 0 nhưng không phải đáy. SGD thuần dễ kẹt. Momentum giúp trượt qua.
Noisy gradientMỗi batch chỉ vài triệu token. Gradient trên batch lệch trung bình thật. Batch to → ít nhiễu nhưng đắt.
Exploding lossMột batch dị thường có thể đẩy gradient lên 1000×. Không clip, 34 ngày công sức tan theo một bước.

Bài toán của OpenAI không phải “tìm thuật toán mới”. Là giữ gradient descent ổn định qua 300 tỉ token dữ liệu, trên 1.024 GPU, trong 34 ngày, với chi phí 12 triệu USD. Sai learning rate 3× có thể tốn hàng triệu USD. Vì thế mỗi hyperparameter — η, β₁, β₂, batch size, clip threshold — đều được chọn từ hàng trăm thí nghiệm trên mô hình nhỏ.

Vòng lặp của một bước huấn luyện GPT-3

1 / 5
  1. 1. Lấy một mini-batch ngẫu nhiên

    Thay vì dùng toàn bộ 300 tỉ token cho mỗi bước (không thể nào), OpenAI chia dữ liệu thành các mini-batch cỡ 3,2 triệu token. Mỗi GPU xử lý một phần, gradient cục bộ được tổng hợp qua all-reduce.

Simulator: huấn luyện mô hình toy

Mô hình nhỏ (một trọng số w, mục tiêu w* ≈ 1,5) học phân loại nhị phân có nhiễu. Vặn learning rate, momentum, batch size — xem loss, accuracy, phân bố trọng số đổi qua 50 epoch giả lập.

Ba mẹo thực tế giữ gradient descent ổn định

MẹoVì sao cần
Warmup — khởi động chậm vài nghìn bước đầuη tăng tuyến tính từ gần 0 tới đỉnh trong ~375 triệu token đầu. Đầu huấn luyện, trọng số là số ngẫu nhiên, gradient có thể lệch cỡ lớn. Warmup nâng dần η — như để xe ấm máy trước khi đạp ga.
Learning-rate decay — giảm dần về cuốiη giảm theo cosine xuống ~10% giá trị đỉnh cuối run. Cuối huấn luyện, bước nhảy to sẽ vọt qua đáy. Cosine schedule (hình nửa sóng) là chuẩn cho GPT-3, GPT-4, LLaMA.
Gradient clipping — phanh chống nổCắt ngưỡng norm tại 1,0 — một batch bệnh không phá cả run. Một batch với dữ liệu dị thường có thể đẩy gradient lên 1000× bình thường. Clip bó norm gradient về 1,0 trước khi áp bước.

Chẩn đoán loss curve kỳ lạ

Team huấn luyện nhìn ba biểu đồ trên TensorBoard. Bạn chọn nguyên nhân nào là hợp lý nhất?

Biểu đồ 1 — loss jagged (răng cưa): giảm được vài bước rồi nhảy tung lên cao, rồi lại giảm, lặp đi lặp lại suốt 20 epoch. Accuracy cũng nhấp nhô. Nguyên nhân khả dĩ nhất?
Biểu đồ 2 — loss plateau (nằm ngang): giảm rất nhanh trong 5 epoch đầu rồi phẳng lì 30 epoch tiếp theo, không nhúc nhích. Accuracy kẹt ở 62%. Bước nào nên thử TRƯỚC?
Biểu đồ 3 — loss = NaN sau epoch 12: loss giảm đẹp tới epoch 11, sang epoch 12 thì toàn biểu đồ đầy NaN. Team nên làm gì?

Bảng tra nhanh: loss curve → biện pháp

Loss curveBiện pháp
Loss giảm êmGiữ nguyên. Theo dõi accuracy và weight histogram để phát hiện sớm vấn đề. Đừng vội giảm η cho tới khi plateau rõ ràng.
Loss răng cưa, dao độngGiảm η 1,5×–2×, hoặc tăng batch size 2× để giảm noise. Nếu vẫn dao động, tăng momentum để bước đi “nặng” hơn.
Loss plateau, không giảmCó thể saddle point: bật / tăng momentum. Có thể η quá nhỏ: nhân η cho 2–3. Có thể dataset học hết: lúc dừng huấn luyện.
Loss tăng dần (chưa NaN)η hơi lớn — mỗi bước làm loss tăng. Giảm η ngay, hoặc rollback checkpoint. Nếu mới tăng vài bước, bật warmup có thể xử lý.
Loss nổ / NaN đột ngộtRollback checkpoint trước khi nổ. Giảm η 3–5×. Bật / siết gradient clipping. Kiểm tra batch gần nhất có bất thường không.
Accuracy tăng, loss phẳngCross-entropy và độ chính xác đo hai thứ khác nhau. Mô hình vẫn học đúng, chỉ “tự tin” chưa đủ. Thường là tín hiệu ổn.

Bốn điều rút ra từ bài này

  • Huấn luyện GPT-3 là một vòng lặp gradient descent chạy 500 tỉ lần. 12 triệu USD phần lớn tiêu cho bước backprop tính gradient.
  • Ba hyperparameter quyết định sống chết: learning rate (quá to → nổ, quá nhỏ → lãng phí), momentum (giúp qua saddle point), batch size (batch to → noise thấp nhưng đắt).
  • Ba mẹo cứu cánh: warmup (khởi động chậm), learning-rate decay (rón rén cuối run), gradient clipping (phanh chống nổ).
  • Loss curve là bảng điều khiển: jagged → giảm η, plateau → bật momentum, NaN → rollback + siết clip. Đọc curve là kỹ năng cốt lõi của kỹ sư huấn luyện.

Không có gradient descent, không có cách nào điều chỉnh 175 tỉ trọng số theo một tín hiệu loss duy nhất. Mọi kỹ thuật thay thế (grid search, đạo hàm số, tiến hoá) đều có độ phức tạp tăng theo số chiều — bất khả thi ở quy mô tỉ tham số.

Không có AdamW, mô hình sẽ cần tinh chỉnh learning rate thủ công cho từng nhóm tham số. Không có warmup, bước đầu dễ làm gradient nổ. Không có learning-rate decay, mô hình dao động mãi quanh đáy. Không có gradient clipping, một batch xấu huỷ cả 34 ngày huấn luyện.

Bài học rút ra: gradient descent không phải công thức kỳ diệu. Nó đơn giản đến nỗi một thuật toán 70 năm tuổi vẫn làm nền tảng cho GPT-3, GPT-4 và mọi mô hình sau đó. Cái khó nằm ở việc giữ nó ổn định suốt 34 ngày trên 1.024 GPU — và đó là nơi AdamW, warmup, decay, clipping cộng dồn thành 12 triệu USD tiêu đúng chỗ.

Continue the path

Lesson 83 of 106