ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Epoch và batch — Chia nhỏ đề thi để mô hình không ngộp

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Máy học không nhồi cả 1000 đề thi một phát. Nó chia thành nhiều buổi (epoch), mỗi buổi nhiều đợt nhỏ (batch). Xem sự thay đổi của đường loss khi bạn kéo thanh batch size.

lesson50 minMạng nơ-ronAI Foundation

Bắt đầu từ hình ảnh

Ôn thi không bao giờ là một phát 100 đề

Tưởng tượng bạn đang ôn thi đại học với kho 1000 câu. Bạn sẽ không ngồi xuống làm tất cả trong một buổi — vừa đuối, vừa không nhớ nổi. Cách mà học sinh giỏi thường làm:

  • Chia 1000 câu thành nhiều đợt nhỏ khoảng 30 câu. Mỗi đợt là một batch.
  • Làm hết các đợt trong một buổi học — đó là một epoch.
  • Hôm sau tráo thứ tự câu, học lại cả kho. Đó là epoch thứ hai. Mỗi lần giải xong một đợt là một iteration — một nhịp cập nhật kiến thức.

Mạng nơ-ron học cũng hệt vậy. Dataset = kho câu hỏi. Batch = đợt nhỏ. Epoch = một vòng qua toàn bộ. Iteration = một lần cập nhật trọng số.

Thử đoán

Dataset có 1000 mẫu. Bạn chọn batch size = 100 và train 5 epoch. Bao nhiêu lần mô hình cập nhật trọng số?

Khám phá

Một khu vui chơi huấn luyện: các chấm là 1000 mẫu dữ liệu. Mỗi epoch tráo thứ tự một lần. Chấm nào đang sáng màu là batch đang được mô hình học. Đường loss đi xuống mỗi khi một batch được xử lý.

Khoảnh khắc vỡ ra

Ba khái niệm tưởng lạ thật ra chỉ là ba tên gọi cho một ý rất đơn giản:

Thuật ngữNghĩa
BatchMột đợt nhỏ dữ liệu
IterationMột lần học xong một batch và cập nhật trọng số
EpochMột lần duyệt hết toàn bộ dataset

Máy học bằng cách lặp đi lặp lại — giống bạn ôn đề: không phải một phát hiểu hết, mà là hàng trăm nhịp chỉnh nhẹ.

Đi sâu: ba kiểu chia batch

Cộng đồng deep learning chia cách cập nhật trọng số thành ba kiểu chính. Mỗi biểu đồ vẽ đường loss của cùng một mô hình, chỉ khác batch size.

KiểuBatch sizeĐặc điểm
SGD1Gradient của SGD có phương sai lớn vì chỉ dựa trên 1 mẫu. Nhanh mỗi bước, nhưng đường loss nảy lung tung.
Mini-batch32–256Trung bình trên 32 mẫu → gradient ổn định hơn nhưng vẫn giữ một ít nhiễu có ích. Tăng batch từ 32 lên 128 (×4) làm nhiễu giảm khoảng ×2. Cái giá: RAM gấp 4, và ít nhiễu đôi khi khiến mô hình kẹt ở minimum “sắc” khó generalize.
Full-batchN (toàn bộ)Full-batch dùng cả dataset cho mỗi bước — gradient cực chính xác nhưng phải nhìn toàn bộ mới được cập nhật một lần. Khi batch = kích thước dataset, mỗi epoch chỉ có đúng một iteration. Chậm, thiếu nhiễu, dễ kẹt.

Thử thách và giải thích

Dataset có 10.000 mẫu, bạn chọn batch size = 100. Một epoch có bao nhiêu iteration?

Giờ bạn đã thấy rõ ba thuật ngữ. Đóng gói chúng bằng một công thức rất ngắn: với N là tổng số mẫu, B là batch size, E là số epoch, thì số lần cập nhật trọng số trong cả khoá huấn luyện là:

iterations=⌈NB⌉×E\text{iterations} = \left\lceil \frac{N}{B} \right\rceil \times E

Dấu trần (ceiling) xuất hiện vì batch cuối của mỗi epoch có thể không đủ B mẫu. Ví dụ dataset 1000, batch 300 → 4 iteration/epoch (batch thứ tư chỉ có 100 mẫu).

Mini-batch cập nhật trọng số như thế nào?

Mỗi iteration, mô hình chọn một batch gồm B mẫu, tính độ lệch (loss) trung bình trên batch, rồi dùng đạo hàm của loss đó để chỉnh trọng số đi một bước nhỏ.

wt+1=wt−η⋅1B∑i=1B∇Li(wt)w_{t+1} = w_t - \eta \cdot \frac{1}{B} \sum_{i=1}^{B} \nabla L_i(w_t)

Nói bằng tiếng Việt: trọng số mới = trọng số cũ trừ đi một bước nhỏ theo hướng trung bình của độ dốc trên B mẫu. η là learning rate — độ dài bước. B càng lớn, trung bình càng “đại diện” cho toàn dataset → đường loss càng mượt. B càng nhỏ, trung bình chỉ dựa trên ít mẫu → nhiễu lớn, nhưng mỗi bước tính cực nhanh.

Gradient accumulation — thủ thuật giả vờ batch to khi GPU nhỏ

Bạn có GPU chỉ chạy nổi batch = 16, nhưng bài báo đòi batch = 64. Thay vì mua GPU mới, bạn có thể: chạy forward + backward cho 4 batch = 16 liên tiếp, cộng dồn gradient, rồi mới gọi cập nhật trọng số một lần. Kết quả gần như y hệt batch = 64 mà RAM chỉ cần cho 16 mẫu. Nhiều framework gọi đây là gradient accumulation.

Vì sao batch quá lớn đôi khi lại làm test accuracy tệ hơn?

Nghiên cứu của Keskar và cộng sự (2017) chỉ ra: khi batch rất lớn (vài nghìn trở lên), SGD gần như biến thành full-batch GD và hay hạ cánh vào sharp minima — vùng đáy hẹp, độ dốc thay đổi mạnh. Những minimum loại này nhìn thì thấp nhưng generalize kém sang dữ liệu test. Nhiễu vừa phải của mini-batch đóng vai trò regularize, giúp tìm vùng đáy rộng và “êm” hơn.

Tóm tắt

Năm điều cần nhớ về epoch, batch và iteration

  • Batch là một đợt nhỏ dữ liệu. Iteration là một nhịp cập nhật trọng số trên một batch. Epoch là một vòng qua toàn bộ dataset.
  • Công thức iteration: ⌈N / B⌉ × E. Ví dụ 1000 mẫu, batch 100, 5 epoch ⇒ 50 lần cập nhật.
  • Tráo dữ liệu trước mỗi epoch để các batch khác nhau qua các vòng, gradient đa dạng, thường generalize tốt hơn.
  • Batch nhỏ (≤ 32) cho đường loss zig-zag nhưng chính nhiễu đó có tác dụng regularize. Batch lớn (128+) cho đường loss mượt, cần nhiều RAM.
  • Full-batch chỉ hợp với dataset nhỏ. Với dataset lớn, hãy dùng mini-batch — và nếu thiếu RAM, dùng gradient accumulation để giả vờ batch to.

Continue the path

Lesson 86 of 106