Dự đoán
Ý tưởng quen thuộc: khi xây nhà, móng chịu lực dùng vật liệu đắt nhất (FP32), tường ngăn dùng gạch nhẹ (FP16). Cả nhà nhẹ hơn mà cấu trúc chịu lực vẫn vững.
Evaluating routing across providers.
AI Builder
Kỹ thuật kết hợp FP16 và FP32 trong huấn luyện để tăng tốc và giảm bộ nhớ mà vẫn giữ chính xác.
Ý tưởng quen thuộc: khi xây nhà, móng chịu lực dùng vật liệu đắt nhất (FP32), tường ngăn dùng gạch nhẹ (FP16). Cả nhà nhẹ hơn mà cấu trúc chịu lực vẫn vững.
Các định dạng lưu cùng một số thực với độ chính xác khác nhau. Sai số làm tròn là lý do mixed precision phải chọn lọc chỗ nào dùng định dạng nào.
| Định dạng | Cấu trúc bit | Dải và độ chính xác |
|---|---|---|
| FP16 | 1 dấu, 5 mũ, 10 mantissa | Min normal khoảng 6,1e-5, max 65504; mantissa chính xác nhất trong nhóm 16 bit; dải hẹp nên cần loss scaling |
| BF16 | 1 dấu, 8 mũ, 7 mantissa | Cùng dải với FP32; mantissa chỉ cho khoảng 2 chữ số thập phân; gần như không cần loss scaling |
| FP8 E4M3 | 1 dấu, 4 mũ, 3 mantissa | Max khoảng 448; dùng cho trọng số và kích hoạt |
| FP8 E5M2 | 1 dấu, 5 mũ, 2 mantissa | Max khoảng 57344; dùng cho gradient, đuôi phân phối dài |
Khi gradient lưu ở FP16 thuần, nhiều giá trị nhỏ bị flush về 0 (underflow). Loss scaling nhân loss với một hệ số S trước backward để đưa gradient về dải biểu diễn được, rồi chia lại trước khi cập nhật.
| Gradient gốc | Nhân với S = 1024 | Kết quả trong FP16 |
|---|---|---|
| 1e-8 (dưới dải FP16) | 1e-5 (trong dải FP16) | Được giữ lại, không bị flush về 0 |
Chú ý: BF16 không bao giờ underflow với các giá trị này, vì dải exponent của BF16 rộng như FP32. Nên khi huấn luyện LLM hầu như không cần loss scaling.
Không phải mọi phép tính đều cần chính xác như nhau. Nhân ma trận (forward và backward) chịu được sai số nhỏ, nên dùng FP16 hoặc BF16 để nhanh hơn 2 đến 3 lần trên Tensor Core. Nhưng cập nhật trọng số cần tích luỹ những thay đổi cực nhỏ qua hàng triệu bước, nên phải dùng FP32 để không mất từng hạt gradient. Mixed precision là chọn đúng định dạng cho đúng việc.
Mixed precision training (Micikevicius và cộng sự, 2018) kết hợp nhiều định dạng số thực trong cùng quá trình huấn luyện, để tận dụng tốc độ Tensor Core mà vẫn giữ ổn định. Khác với lượng tử hoá (thường cho suy luận), mixed precision dùng khi đang huấn luyện và phụ thuộc vào kiến trúc GPU.
1. Master weights FP32. Giữ một bản sao FP32 của trọng số để tích luỹ các bước cập nhật nhỏ:
Đầu mỗi bước cast sang FP16 để forward và backward; cuối bước unscale gradient rồi cập nhật bản FP32.
2. Loss scaling. Gradient thường nằm trong khoảng 1e-9 đến 1e-3, còn FP16 chỉ phủ khoảng 6e-5 đến 65504. Nhân loss với S trước backward để dịch phân phối gradient lên dải FP16:
3. Tính toán FP16 hoặc BF16. Forward và backward chạy ở 16 bit trên Tensor Core, nhưng bộ tích luỹ (phép cộng) vẫn ở FP32: D = A·B + C, với A, B ở FP16 và C, D ở FP32. Cách này giữ độ chính xác khi cộng hàng nghìn phần tử.
import torch
from torch import nn
from torch.amp import autocast, GradScaler
from torch.utils.data import DataLoader
device = "cuda"
model = MyTransformer().to(device)
optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4)
criterion = nn.CrossEntropyLoss()
# GradScaler duy nhất cho toàn bộ quá trình train
scaler = GradScaler()
for epoch in range(num_epochs):
for batch in DataLoader(train_ds, batch_size=32):
optimizer.zero_grad(set_to_none=True)
# 1) Forward + loss ở FP16 (hoặc BF16)
with autocast(device_type=device, dtype=torch.float16):
logits = model(batch.input_ids)
loss = criterion(logits, batch.labels)
# 2) Nhân loss lên S rồi backward (gradient đã được scale)
scaler.scale(loss).backward()
# 3) Unscale + clip gradient nếu cần
scaler.unscale_(optimizer)
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
# 4) Step: nếu overflow -> skip, sau đó update scale
scaler.step(optimizer)
scaler.update()Chiến lược này tự tìm scale phù hợp cho từng pha huấn luyện: đầu huấn luyện gradient lớn, về sau gradient nhỏ dần và scale tự tăng.
| Tiêu chí | FP16 | BF16 | FP8 |
|---|---|---|---|
| Phạm vi | Dải hẹp, cần loss scaling | Dải như FP32, gần như không cần loss scaling | Hai biến thể E4M3 và E5M2 cho kích hoạt và gradient |
| Độ phân giải | Tốt nhất trong nhóm 16 bit | Thấp, khoảng 2 chữ số thập phân | Rất thấp |
| Phần cứng | Từ Volta | Từ Ampere | Từ Hopper (H100) |
Khi huấn luyện LLM hiện đại, công thức phổ biến: forward ở E4M3, backward ở E5M2, master weight FP32, optimizer state có thể là BF16 hoặc FP32.