AI Builder
Bộ nhớ đệm KV
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Kỹ thuật lưu trữ key-value đã tính để tránh tính lại khi sinh token mới, tăng tốc suy luận LLM.
Khám phá — sinh “Hà Nội là thủ đô”
Chuỗi sinh gồm bốn token: “Hà”, “Nội”, “là”, “thủ đô”. Mỗi bước sinh một token mới. So sánh số phép tính khi không có cache và khi có cache:
| Bước sinh | Không có KV cache | Có KV cache |
|---|---|---|
| Token 1 (“Hà”) | Tính attention cho 1 token | Tính Q, K, V cho “Hà”, lưu K, V |
| Token 2 (“Nội”) | Tính lại attention cho 2 token | Chỉ tính K, V cho “Nội”, lấy K, V của “Hà” từ cache |
| Token thứ n | Tính lại cho cả n token | Chỉ tính Q, K, V cho token mới; dùng toàn bộ cache |
Tổng số phép tính không có cache tăng theo n². Có cache thì mỗi bước chỉ thêm một phần nhỏ, nên tiết kiệm tới khoảng 99% phép tính ở token thứ 100.
Khoảnh khắc aha
KV cache lưu Key và Value đã tính cho mọi token cũ. Khi sinh token mới, chỉ cần tính K và V cho token đó rồi tra cache, không tính lại 99 token trước.
Bên trong KV cache
Token 1: tính K₁, V₁ và lưu cache
Tính Q₁, K₁, V₁ cho “Hà”. Attention: Q₁ × K₁ᵀ, softmax, rồi nhân với V₁. Lưu K₁ và V₁ vào cache. Cache lúc này: [K₁, V₁].
Token 2: tính K₂, V₂ và dùng K₁, V₁ từ cache
Tính Q₂, K₂, V₂ cho “Nội”. Attention: Q₂ × [K₁, K₂]ᵀ, softmax, rồi nhân với [V₁, V₂]. K₁ và V₁ lấy từ cache, không tính lại. Cache: [K₁, V₁, K₂, V₂].
Token n: chỉ tính Kₙ, Vₙ và dùng toàn bộ cache
Chỉ tính Qₙ, Kₙ, Vₙ cho token mới. Attention dùng tất cả K và V từ cache:
Cache tăng dần theo từng bước: [K₁, V₁, …, Kₙ, Vₙ].
Thử thách
Giải thích
KV cache là kỹ thuật tối ưu suy luận cho Transformer: lưu lại Key và Value đã tính trong lớp self-attention để không tính lại khi sinh mỗi token mới. Độ lớn cache tỉ lệ thuận với context window, và đó cũng là yếu tố giới hạn độ dài context của LLM.
Pseudocode minh hoạ
kv_cache_concept.py
# Pseudocode minh họa KV Cache
kv_cache = {"keys": [], "values": []}
for token in generated_tokens:
# Tính Q, K, V cho token mới
q_new = compute_query(token)
k_new = compute_key(token)
v_new = compute_value(token)
# Thêm vào cache
kv_cache["keys"].append(k_new)
kv_cache["values"].append(v_new)
# Attention dùng TẤT CẢ keys/values từ cache
all_keys = torch.stack(kv_cache["keys"])
all_values = torch.stack(kv_cache["values"])
# Chỉ cần 1 query mới × tất cả keys
attention = softmax(q_new @ all_keys.T / sqrt(d))
output = attention @ all_valuesTóm tắt
- KV cache lưu Key và Value đã tính, tránh tính lại khi sinh token mới.
- Giảm từ O(n²) xuống O(n) phép tính mỗi bước; tiết kiệm phần lớn phép tính ở token thứ 100.
- Đánh đổi: tốn bộ nhớ GPU; cache tăng dần theo độ dài context.
- GQA và MQA giảm cache nhiều lần bằng cách chia sẻ K và V giữa các attention head.