Giới thiệu
Phần lớn training run đạt 15-30% peak FLOPS. Thủ phạm thường là: (1) memory bandwidth bottleneck, (2) kernel launch overhead cho batch nhỏ, (3) data loader chậm làm GPU idle. Profiler cho bạn bằng chứng cụ thể để biết gỡ chỗ nào trước.
Hãy hình dung một nhà máy cơ khí có hàng nghìn máy CNC chạy song song — đó là GPU. Phía trong phân xưởng là kho nguyên liệu nhỏ nhưng cực nhanh (SRAM, vài MB) và bên ngoài là kho tổng khổng lồ nhưng xa hơn (HBM, vài chục GB). Mỗi khi máy CNC cần thêm nguyên liệu, xe nâng phải chạy ra kho tổng, lấy pallet, và mang về. Nếu máy CNC cứ phải chờ xe nâng, sản lượng tuột dốc dù bạn có thêm bao nhiêu máy đi nữa.
Đó chính là vấn đề memory bandwidth: tốc độ tính toán của Tensor Core nhanh hơn tốc độ HBM khoảng 50-100 lần. Phần lớn công việc của kỹ sư tối ưu GPU là sắp xếp lại timeline sao cho xe nâng và máy CNC không phải đợi nhau. Profiler là camera quan sát toàn bộ phân xưởng — không có nó, bạn chỉ đang đoán.
Các tối ưu nổi tiếng đều có bóng dáng trong ẩn dụ này. Mixed precision giống như dùng pallet nhẹ hơn — xe nâng chạy nhanh hơn. Gradient checkpointing là "vứt bớt bán thành phẩm, tự gia công lại khi cần" — đánh đổi thời gian máy lấy không gian kho. Kernel fusion (ví dụ FlashAttention) là "làm xong cả 3 công đoạn trước khi trả pallet về kho tổng". Data parallelism là mở thêm nhà máy song song, nhưng đêm nào các nhà máy cũng phải họp để chia sẻ bản vẽ (all-reduce gradient).