ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← LLM & NLP

AI Builder

Bộ nhớ đệm KV

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Kỹ thuật lưu trữ key-value đã tính để tránh tính lại khi sinh token mới, tăng tốc suy luận LLM.

lesson90 minLLM & NLPAI Engineer

Thử đoán

LLM sinh text từng token một. Khi sinh token thứ 100, nó cần tính attention giữa token 100 với 99 token trước. Có phải tính lại attention cho 99 token cũ không?

Khám phá — sinh “Hà Nội là thủ đô”

Chuỗi sinh gồm bốn token: “Hà”, “Nội”, “là”, “thủ đô”. Mỗi bước sinh một token mới. So sánh số phép tính khi không có cache và khi có cache:

Bước sinhKhông có KV cacheCó KV cache
Token 1 (“Hà”)Tính attention cho 1 tokenTính Q, K, V cho “Hà”, lưu K, V
Token 2 (“Nội”)Tính lại attention cho 2 tokenChỉ tính K, V cho “Nội”, lấy K, V của “Hà” từ cache
Token thứ nTính lại cho cả n tokenChỉ tính Q, K, V cho token mới; dùng toàn bộ cache

Tổng số phép tính không có cache tăng theo n². Có cache thì mỗi bước chỉ thêm một phần nhỏ, nên tiết kiệm tới khoảng 99% phép tính ở token thứ 100.

Khoảnh khắc aha

KV cache lưu Key và Value đã tính cho mọi token cũ. Khi sinh token mới, chỉ cần tính K và V cho token đó rồi tra cache, không tính lại 99 token trước.

Bên trong KV cache

Token 1: tính K₁, V₁ và lưu cache

Tính Q₁, K₁, V₁ cho “Hà”. Attention: Q₁ × K₁ᵀ, softmax, rồi nhân với V₁. Lưu K₁ và V₁ vào cache. Cache lúc này: [K₁, V₁].

Token 2: tính K₂, V₂ và dùng K₁, V₁ từ cache

Tính Q₂, K₂, V₂ cho “Nội”. Attention: Q₂ × [K₁, K₂]ᵀ, softmax, rồi nhân với [V₁, V₂]. K₁ và V₁ lấy từ cache, không tính lại. Cache: [K₁, V₁, K₂, V₂].

Token n: chỉ tính Kₙ, Vₙ và dùng toàn bộ cache

Chỉ tính Qₙ, Kₙ, Vₙ cho token mới. Attention dùng tất cả K và V từ cache:

AttentionN=softmax(QN⋅[K1,...,KN]Tdk)⋅[V1,...,VN]\text{Attention}_N = \text{softmax}\left(\frac{Q_N \cdot [K_1, ..., K_N]^T}{\sqrt{d_k}}\right) \cdot [V_1, ..., V_N]

Cache tăng dần theo từng bước: [K₁, V₁, …, Kₙ, Vₙ].

Thử thách

KV cache tăng dần mỗi token nên tốn bộ nhớ. Context 200 nghìn token sẽ tốn cache rất lớn. Giải pháp nào được dùng phổ biến?

Giải thích

KV cache là kỹ thuật tối ưu suy luận cho Transformer: lưu lại Key và Value đã tính trong lớp self-attention để không tính lại khi sinh mỗi token mới. Độ lớn cache tỉ lệ thuận với context window, và đó cũng là yếu tố giới hạn độ dài context của LLM.

Pseudocode minh hoạ

kv_cache_concept.py

# Pseudocode minh họa KV Cache
kv_cache = {"keys": [], "values": []}

for token in generated_tokens:
    # Tính Q, K, V cho token mới
    q_new = compute_query(token)
    k_new = compute_key(token)
    v_new = compute_value(token)

    # Thêm vào cache
    kv_cache["keys"].append(k_new)
    kv_cache["values"].append(v_new)

    # Attention dùng TẤT CẢ keys/values từ cache
    all_keys = torch.stack(kv_cache["keys"])
    all_values = torch.stack(kv_cache["values"])

    # Chỉ cần 1 query mới × tất cả keys
    attention = softmax(q_new @ all_keys.T / sqrt(d))
    output = attention @ all_values

Tóm tắt

  • KV cache lưu Key và Value đã tính, tránh tính lại khi sinh token mới.
  • Giảm từ O(n²) xuống O(n) phép tính mỗi bước; tiết kiệm phần lớn phép tính ở token thứ 100.
  • Đánh đổi: tốn bộ nhớ GPU; cache tăng dần theo độ dài context.
  • GQA và MQA giảm cache nhiều lần bằng cách chia sẻ K và V giữa các attention head.

Continue the module

Lesson 6 of 10