Dự đoán
Tối ưu software (KV cache, speculative, continuous batching, quantization) có thể giảm chi phí 10–50× mà KHÔNG phải đổi model hay thêm GPU. Đây là cách các nền tảng lớn (OpenAI, Anthropic, vLLM-based services tại VN) serving thực tế.
Evaluating routing across providers.
AI Builder
Các kỹ thuật tăng tốc và giảm chi phí khi chạy mô hình AI: KV caching, speculative decoding, batching, quantization và Pareto frontier của throughput-latency.
Tối ưu software (KV cache, speculative, continuous batching, quantization) có thể giảm chi phí 10–50× mà KHÔNG phải đổi model hay thêm GPU. Đây là cách các nền tảng lớn (OpenAI, Anthropic, vLLM-based services tại VN) serving thực tế.
Batching không giảm latency/request — nó tăng throughput (req/s). Chọn batch size để so sánh throughput ở batch 1, 4, 16, 64.
Pareto frontier là tập điểm không thể cải thiện một trục (latency hoặc throughput) mà không hy sinh trục còn lại. Các điểm KHÔNG trên frontier là tối ưu kém — có cấu hình tốt hơn ở cả hai trục.
Kết hợp KV + INT8 + speculative giảm decode (stage chiếm ~70%) đáng kể — ước tính latency còn 130–170 ms. Batch=4 tăng throughput 4× mà không đẩy latency vượt SLA. Batch=64 (đáp án A) sẽ đẩy p95 lên 400+ ms → vi phạm SLA dù throughput cao. Chỉ INT4 (C) không đủ — decode vẫn là bottleneck.
INT4 giảm 8× so với FP32 (hay 4× so với FP16): 140 GB → 35 GB. Còn lại 45 GB cho KV cache, activation, và overhead — đủ chạy batch lớn. INT8 (70 GB) fit nhưng chỉ còn 10 GB cho KV cache → batch rất nhỏ. Đây là lý do INT4 phổ biến cho serving model lớn.
Tối ưu suy luận (Inference Optimization) là nghệ thuật serving model AI với latency thấp, throughput cao, và chi phí nhỏ — mà KHÔNG đổi kiến trúc model hay huấn luyện lại.
1. Tại sao decoding chậm?
Mỗi token mới phải đi qua toàn bộ model — forward pass của model N tầng có độ phức tạp O(N · d²) với d là hidden size. Với Llama-70B, mỗi token mất ~2–5 ms trên A100. Sinh 512 token → 1–2.5 giây trần. Và không thể song song hoá vì token t+1 cần token t đã sinh (autoregressive).
2. KV Cache — giảm O(N²) xuống O(N)
Self-attention ở mỗi layer:
Khi sinh token thứ t, chỉ Qt mới — còn K1..t-1 và V1..t-1 đã tính ở bước trước. Lưu chúng trong "KV cache" trên GPU memory, mỗi bước chỉ append Kt, Vt. Tiết kiệm ~2.5× trên decoding stage. Xem chi tiết tại KV Cache.
Tổng bộ nhớ KV cache:
Ví dụ Llama-2 70B: 80 layers, 64 heads, 128 d_head, seq=4096, batch=1, FP16 (2 bytes).
KV = 2 × 80 × 64 × 128 × 4096 × 1 × 2 ≈ 10.7 GB nếu coi mỗi head là một KV head (MHA). Llama-2 70B dùng GQA với 8 KV heads, nên thực tế ≈ 1.3 GB cho 1 request (theo cấu hình công bố của mô hình).
Đây là lý do batch lớn rất tốn bộ nhớ — và là động lực cho PagedAttention.
3. Speculative Decoding — dự đoán trước
Ý tưởng (Leviathan et al., 2023): dùng một draft model nhỏ (ví dụ 1B params) sinh k token liên tiếp. Sau đó target model lớn (70B) verify k token trong MỘT forward pass — đây là khâu song song hoá được. Nếu accept m ≤ k token, speedup ≈ m.
với αj là xác suất draft token thứ j được accept. Thực nghiệm cho thấy α ≈ 0.7–0.85, dẫn tới speedup 2–3× (theo nguồn bài, chưa kiểm chứng).
4. Continuous Batching
Static batching: đợi N request, xử lý cùng lúc, đợi request dài nhất xong. Lãng phí GPU vì các request ngắn kết thúc sớm nhưng slot vẫn chiếm.
Continuous batching (Orca, vLLM): ngay khi một request xong, thay bằng request mới trong cùng batch. GPU utilization tăng từ ~30% lên 90%+. Xem Model Serving và GPU Optimization.
5. Quantization
Giảm số bit/tham số. FP16 → INT8 → INT4:
Techniques: GPTQ, AWQ, SmoothQuant. Chất lượng thường giảm < 1% với INT8, 1–3% với INT4 (theo nguồn bài, chưa kiểm chứng). Chi tiết tại Quantization.
6. Pareto frontier — chọn config phù hợp
Không có "config tốt nhất" — chỉ có config tốt nhất cho một use case:
Một config x được gọi là Pareto-optimal nếu không tồn tại config y sao cho:
với ít nhất một bất đẳng thức là strict. Pareto frontier là tập các config Pareto-optimal. Trong thực tế, chọn điểm trên frontier gần nhất với ràng buộc SLA của bạn.
from vllm import LLM, SamplingParams
# Model đã quantize AWQ 4-bit: 70B params chỉ 35GB
# vLLM tự động xử lý continuous batching + PagedAttention
llm = LLM(
model="TheBloke/Llama-3-70B-AWQ",
quantization="awq", # 4-bit AWQ
tensor_parallel_size=2, # 2 GPU A100
max_model_len=8192,
gpu_memory_utilization=0.95,
enable_prefix_caching=True, # Cache common system prompts
speculative_model="facebook/opt-1.3b", # Draft model nhỏ
num_speculative_tokens=5, # Propose 5 token mỗi lần
enable_chunked_prefill=True, # Chia prefill thành chunk nhỏ
)
params = SamplingParams(
temperature=0.7,
top_p=0.9,
max_tokens=512,
)
# Gửi nhiều request cùng lúc — vLLM sẽ batch tự động
prompts = [
"Giải thích AI cho học sinh lớp 5",
"Viết đoạn code Python đọc CSV",
"Tóm tắt cuốn sách Sapiens",
# ... hàng trăm request
]
outputs = llm.generate(prompts, params)
# Metrics thực tế trên 2×A100 80GB:
# - Baseline naive FP16: ~200 tokens/s total
# - Với vLLM + AWQ + spec: ~2000–3000 tokens/s total
# - Chi phí giảm ~15× so với HuggingFace pipeline ngây thơ# Khởi động vLLM OpenAI-compatible server
python -m vllm.entrypoints.openai.api_server \
--model TheBloke/Llama-3-70B-AWQ \
--quantization awq \
--tensor-parallel-size 2 \
--max-model-len 8192 \
--gpu-memory-utilization 0.95 \
--enable-prefix-caching \
--enable-chunked-prefill \
--host 0.0.0.0 \
--port 8000
# Client gọi như OpenAI API
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3-70b",
"messages": [{"role": "user", "content": "Chào bạn"}],
"temperature": 0.7,
"max_tokens": 256
}'
# Benchmark throughput với vllm benchmark tool
python benchmarks/benchmark_serving.py \
--backend vllm \
--model TheBloke/Llama-3-70B-AWQ \
--num-prompts 1000 \
--request-rate 50
# Kết quả điển hình trên 2×A100:
# Successful requests: 1000
# Total tokens: 256000
# Throughput: 2800 tokens/s
# Mean TTFT: 180 ms
# Mean TPOT: 28 ms
# P95 latency: 240 msKhi kết hợp tối ưu suy luận với chiến lược chi phí (spot instance, multi-region, autoscaling) và model serving (canary deploy, A/B test), bạn có được một hệ thống AI production-grade phục vụ hàng triệu người dùng với chi phí kiểm soát được.
Bốn kỹ thuật không cộng — chúng nhân. (các hệ số theo nguồn bài, chưa kiểm chứng) KV cache ×2.5, speculative ×2.2, quantization ×1.8 — kết hợp cho ~10× chỉ trên decoding. Thêm batching nâng throughput ×50 mà không cần GPU mới. Đây là lý do model 70B có thể serve tại $0.0003/1K token trên hạ tầng cloud thương mại — điều tưởng chừng không thể nếu chỉ nhìn vào "baseline FP32".