Hãy tưởng tượng một chuỗi nhà hàng phở: khách hàng là client, lễ tân là load balancer, từng đầu bếp là một replica mô hình, và bếp chính là GPU. Khi đông khách, lễ tân phân bàn đều cho các đầu bếp. Khi một đầu bếp làm nhiều tô cùng lúc cho tiết kiệm củi, đó là batching. Khi quản lý thấy hàng chờ dài, anh gọi thêm đầu bếp mới — đó là autoscale.
Trong bối cảnh AI hiện đại, mỗi request thường là một chuỗi prompt token cần sinh ra tiếp theo một chuỗi completion token. GPU xử lý nhanh nhưng kích hoạt kernel đắt, cho nên mô hình muốn được gửi batch lớn để khấu hao chi phí khởi động kernel. Đây là lý do batching là trái tim của serving LLM.