ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Epoch và batch khi huấn luyện GPT

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

GPT-4 đọc khoảng 13 nghìn tỉ token — một lượt duy nhất, chia thành hàng triệu batch. Xem cách các lab AI vặn batch size, lên lịch epoch và tránh hết RAM GPU.

lesson50 minMạng nơ-ronAI Foundation

Giới thiệu

Khi bạn chat với GPT-4, bạn đang nói chuyện với một mô hình đã “đọc” khoảng 13 nghìn tỉ token văn bản trên internet — tương đương khoảng 50 triệu cuốn sách, gấp hàng nghìn lần số chữ một người có thể đọc trong cả đời. Câu hỏi tự nhiên: làm thế nào để nhét ngần ấy dữ liệu vào một mô hình trong vài tháng huấn luyện?

Câu trả lời gọi là epoch (lượt duyệt qua toàn bộ dữ liệu) và batch (lô — nhóm mẫu xử lý cùng lúc). GPT-4 thường chỉ chạy một hoặc hai epoch — vì một lượt đã đủ nhiều. Nhưng mỗi lượt đó được chặt thành hàng triệu batch, mỗi batch là một bước cập nhật trọng số trên hàng ngàn GPU chạy song song. Bài này sẽ cho bạn thấy cách các lab AI thực sự vặn những con số đó, và vì sao một sai lầm nhỏ trong batch size có thể đốt hàng chục triệu đô-la vô ích.

Thách thứcCon số
Khối dữ liệu khổng lồ13 nghìn tỉ token ≈ 50 triệu cuốn sách. Không một GPU nào chứa hết cùng lúc.
Hạn chế RAM GPUH100 có 80 GB. Một batch 4 triệu token đã chiếm ~100 GB → phải chia tiếp.
Chi phí đốt tiềnMỗi ngày GPU-cluster ≈ hàng trăm nghìn đô. Chọn sai batch = cháy tiền.

Hãy hình dung bạn có 13 nghìn tỉ token văn bản. Không GPU nào trên trái đất có đủ RAM để ôm toàn bộ dữ liệu cùng lúc. Ngay cả một chiếc H100 (card đồ hoạ chuyên dụng cho AI, RAM 80 GB) cũng chỉ chứa nổi vài triệu token. Vậy mô hình “đọc” kiểu gì?

Và đây mới là câu hỏi đắt giá: nên lặp lại dữ liệu nhiều lần (nhiều epoch, dữ liệu ít) hay đọc một lượt thật kỹ (một epoch, dữ liệu khổng lồ)? Batch nên to bao nhiêu để không hết RAM nhưng vẫn đủ ổn định? Mỗi quyết định ảnh hưởng trực tiếp tới chi phí hàng chục đến hàng trăm triệu đô-la cho một đợt huấn luyện — và quyết định chất lượng mô hình cuối.

Các khái niệm then chốt

1 / 5
  1. 1. Chia dữ liệu thành batch, mỗi batch là một bước cập nhật

    Thay vì nạp cả 13 nghìn tỉ token cùng lúc, lab AI chia dữ liệu thành những khối nhỏ gọi là *batch*. Với LLaMA 2, mỗi batch chứa khoảng **4 triệu token** — tương đương 1.000 chuỗi, mỗi chuỗi 4.096 token. Sau khi xem xong một batch, mô hình cập nhật trọng số một lần, rồi đọc batch kế tiếp.

Scaling laws: loss giảm dần theo compute

Trục hoành là tổng phép tính (compute, thang log). Trục tung là loss (sai số). Đường cong cho thấy quy luật: “nhân đôi compute → loss giảm theo một tỉ lệ dự đoán được”. Mỗi khi tăng gấp 10 lần compute, loss giảm khoảng 15–20%. Các lab lên kế hoạch huấn luyện dựa trên những đường cong như thế này — trước khi chi tiền.

Vặn batch size — nhìn RAM GPU và nhịp gradient thay đổi

Bạn đang ngồi trên một GPU H100 (RAM 80 GB). Đổi batch size (tính bằng token). Batch quá nhỏ → gradient nhiễu; vừa phải → an toàn; quá lớn → GPU hết RAM.

Lên lịch huấn luyện thực tế cho một mô hình 1 tỉ tham số

Giả sử bạn là một đội startup muốn huấn luyện một mô hình 1 tỉ tham số. Dưới đây là từng bước một đội thật sự đi qua — từ tính ngân sách token đến chạy epoch cuối.

Các bước

1 / 5
  1. 1. Bước 1 — tính ngân sách token

    Mô hình 1 tỉ tham số theo tỉ lệ Chinchilla cần **~20 tỉ token**. Bạn chuẩn bị dữ liệu: Common Crawl đã lọc + Wikipedia + sách + code — tổng ~25 tỉ token để dư phòng. Đây là bước quan trọng nhất — thiếu dữ liệu thì mô hình dù to cũng chỉ là con vẹt. Kiểm tra thực tế: Chinchilla 70B dùng 1,4 nghìn tỉ token (tỉ lệ 20). LLaMA 2 7B dùng 2 nghìn tỉ token (tỉ lệ 286!) vì đa ngôn ngữ đòi hỏi thêm dữ liệu.

Bài học: nếu chạy 1 epoch, đừng lặp dữ liệu quá 1–2 lần. Nghiên cứu 2023 cho thấy lặp quá 4 lần thì mô hình bắt đầu thuộc lòng thay vì học.

Thử thách: bạn là nhà nghiên cứu với GPU 24 GB

Một tình huống có thật: bạn muốn huấn luyện mô hình 1 tỉ tham số với batch size 1 triệu token, nhưng bạn chỉ có một GPU 24 GB — thiếu ~10 lần RAM so với nhu cầu (một batch 1 triệu token + optimizer states tiêu tốn khoảng 240 GB).

Giải pháp nào khả thi và giữ nguyên chất lượng?
Bạn chạy xong 1 epoch trên 20 tỉ token, loss vẫn cao hơn dự đoán. Chọn chiến thuật tiếp theo có lợi nhất:
Cộng sự đề xuất: 'Thay vì 1 epoch trên 20 tỉ token, hãy chạy 4 epoch trên 5 tỉ token để tiết kiệm chi phí thu thập dữ liệu'. Bạn phản biện thế nào?

Hãy tưởng tượng OpenAI quên quy luật Chinchilla và huấn luyện GPT-4 với tỉ lệ 1,7 token/tham số như GPT-3. Với 1,8 nghìn tỉ tham số, họ sẽ chỉ dùng ~3 nghìn tỉ token — và kết quả sẽ là một mô hình đói dữ liệu trầm trọng, hiệu năng kém hơn nhiều so với phiên bản thực tế dùng 13 nghìn tỉ token.

Theo chiều ngược lại, nếu không có khái niệm batch và gradient accumulation, các đội nhỏ sẽ không bao giờ huấn luyện được mô hình tỉ tham số — chỉ những công ty có cluster GPU khổng lồ mới tham gia cuộc chơi. Đây chính là lý do batch và epoch không phải chỉ là chi tiết kỹ thuật: chúng là đòn bẩy dân chủ hoá huấn luyện AI.

4 điều rút ra từ cách GPT được huấn luyện

  • Epoch = một lượt duyệt toàn bộ dữ liệu. GPT-4 chỉ chạy 1–2 epoch vì 13 nghìn tỉ token đã quá đủ cho một lượt.
  • Batch = một khối dữ liệu xử lý cùng lúc. LLaMA 2 dùng batch 4 triệu token → ~500 nghìn iteration cho 1 epoch.
  • Tỉ lệ vàng Chinchilla: ~20 token dữ liệu cho mỗi tham số. Thiếu thì mô hình đói; thừa thì cần lặp và dễ thuộc lòng.
  • Hết RAM GPU? Dùng gradient accumulation: chia thành mini-batch, gom gradient rồi mới cập nhật. Toán học tương đương, chỉ chậm hơn.

GPT-4: 13 nghìn tỉ token, 2 tháng, hàng nghìn GPU — tất cả được điều khiển bởi hai khái niệm đơn giản: epoch và batch.

Continue the path

Lesson 87 of 106