ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kiến trúc

AI Builder

Chú ý đa đầu

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Chạy nhiều cơ chế attention song song, mỗi đầu học một kiểu quan hệ khác nhau

lesson90 minKiến trúcAI Engineer

Dự đoán

Câu “Tôi yêu Việt Nam”. Self-attention chỉ dùng một bộ trọng số Q, K, V. Nó có thể vừa nắm cú pháp (“Tôi” là chủ ngữ), vừa nắm ngữ nghĩa (“yêu” gắn với “Việt Nam”), vừa nắm vị trí không? Có cách nào tốt hơn?

Khám phá — mỗi head là một camera

Hãy tưởng tượng bạn xem bóng đá trên TV. Camera 1 quay toàn cảnh (vị trí), camera 2 zoom vào cầu thủ (chi tiết), camera 3 quay khán đài (bối cảnh). Đạo diễn kết hợp tất cả để bạn hiểu trận đấu đầy đủ. Mỗi head attention là một camera.

HeadNhìn vàoVí dụ
Head vị tríTừ gần nhấtChú ý từ đứng ngay bên cạnh
Head ngữ nghĩaTừ liên quan nghĩa, dù xaChú ý từ có quan hệ nghĩa dù cách nhiều vị trí
Head cú phápQuan hệ chủ–vị, bổ nghĩaChú ý chủ ngữ với động từ

Mỗi head nhìn cùng một câu nhưng theo góc khác nhau. Kết hợp tất cả cho bức tranh đầy đủ.

Khoảnh khắc Aha

Multi-Head Attention = chạy h bộ attention song song, mỗi bộ trong không gian con d_k = d_model / h. Tổng tham số gần bằng single-head attention, nhưng mỗi head chuyên biệt một kiểu quan hệ, nên phong phú hơn nhiều.

Theo nguồn bài, GPT-3 có 96 head. Nghiên cứu cho thấy bỏ một số head thì hiệu năng gần như không đổi, cho thấy mỗi head có chuyên môn riêng và hệ thống khá bền.

Thử thách

d_model = 768, số head = 12. Mỗi head có d_k bằng bao nhiêu? Tổng số tham số của Q, K, V projection cho tất cả head là bao nhiêu?

Giải thích chi tiết

Multi-Head Attention chạy h phép self-attention song song trong các không gian con khác nhau, mỗi phép có bộ trọng số riêng. Đây là khối cốt lõi của Transformer:

MultiHead(Q,K,V)=Concat(head1,…,headh)⋅WO\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_h) \cdot W^O
headi=Attention(QWiQ,KWiK,VWiV)\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)

W_i^Q, W_i^K, W_i^V có kích thước d_model × d_k, W^O có kích thước h·d_k × d_model, và d_k = d_model / h.

Code multi-head attention bằng PyTorch:

multi_head_attention.py

import torch
import torch.nn as nn

class MultiHeadAttention(nn.Module):
    def __init__(self, d_model=512, n_heads=8):
        super().__init__()
        self.n_heads = n_heads
        self.d_k = d_model // n_heads  # 512/8 = 64

        # Q, K, V projections (gộp tất cả heads)
        self.W_q = nn.Linear(d_model, d_model)  # 512→512
        self.W_k = nn.Linear(d_model, d_model)
        self.W_v = nn.Linear(d_model, d_model)
        self.W_o = nn.Linear(d_model, d_model)  # Output projection

    def forward(self, x):
        B, N, D = x.shape  # batch, seq_len, d_model

        # Project và split thành heads
        Q = self.W_q(x).view(B, N, self.n_heads, self.d_k).transpose(1, 2)
        K = self.W_k(x).view(B, N, self.n_heads, self.d_k).transpose(1, 2)
        V = self.W_v(x).view(B, N, self.n_heads, self.d_k).transpose(1, 2)
        # Shape: (B, n_heads, N, d_k)

        # Attention cho tất cả heads song song
        scores = Q @ K.transpose(-2, -1) / (self.d_k ** 0.5)
        weights = scores.softmax(dim=-1)
        attn = weights @ V  # (B, n_heads, N, d_k)

        # Concat heads và project
        out = attn.transpose(1, 2).reshape(B, N, D)
        return self.W_o(out)  # (B, N, d_model)

Ghi chú khi đọc code

  • Q, K, V được chiếu một lần rồi tách thành h head bằng view và transpose, nên tất cả head chạy song song trong một phép nhân.
  • Scale chia cho √d_k để giữ softmax không bão hoà, giống self-attention thường.
  • W_o trộn các head đã nối lại thành d_model chiều; nếu bỏ W_o, đầu ra có kích thước h · d_k và không có bước trộn thông tin giữa các head.

Thuật ngữ liên quan

  • Số head trong các mô hình thực tế: theo nguồn bài, GPT-3 có 96 head, BERT-base có 12 head, GPT-4 có hơn 120 head (số GPT-4 chưa được công bố chính thức, cần kiểm chứng).
  • Multi-Query và Grouped-Query Attention: biến thể chia sẻ K và V giữa các head để giảm bộ nhớ KV cache khi suy luận.

Tóm tắt

  • Multi-Head = h bộ attention song song, mỗi bộ chuyên một kiểu quan hệ (cú pháp, ngữ nghĩa, vị trí…).
  • d_k = d_model / h: mỗi head nhỏ hơn nhưng tổng tham số gần bằng single-head attention.
  • Concat h head rồi nhân W^O để ra output có d_model chiều. W^O trộn thông tin từ tất cả head.
  • Nhiều head cho nhiều kiểu quan hệ. GPT-3 có 96 head; BERT-base có 12 head.
  • Mỗi head hoạt động trong không gian con riêng, tạo thành một tập hợp attention đa dạng và bền hơn.
Khi tăng số head mà giữ nguyên d_model, điều gì thay đổi?

Continue the module

Lesson 6 of 12