AI Builder
Chú ý đa đầu
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Chạy nhiều cơ chế attention song song, mỗi đầu học một kiểu quan hệ khác nhau
Khám phá — mỗi head là một camera
Hãy tưởng tượng bạn xem bóng đá trên TV. Camera 1 quay toàn cảnh (vị trí), camera 2 zoom vào cầu thủ (chi tiết), camera 3 quay khán đài (bối cảnh). Đạo diễn kết hợp tất cả để bạn hiểu trận đấu đầy đủ. Mỗi head attention là một camera.
| Head | Nhìn vào | Ví dụ |
|---|---|---|
| Head vị trí | Từ gần nhất | Chú ý từ đứng ngay bên cạnh |
| Head ngữ nghĩa | Từ liên quan nghĩa, dù xa | Chú ý từ có quan hệ nghĩa dù cách nhiều vị trí |
| Head cú pháp | Quan hệ chủ–vị, bổ nghĩa | Chú ý chủ ngữ với động từ |
Mỗi head nhìn cùng một câu nhưng theo góc khác nhau. Kết hợp tất cả cho bức tranh đầy đủ.
Khoảnh khắc Aha
Multi-Head Attention = chạy h bộ attention song song, mỗi bộ trong không gian con d_k = d_model / h. Tổng tham số gần bằng single-head attention, nhưng mỗi head chuyên biệt một kiểu quan hệ, nên phong phú hơn nhiều.
Theo nguồn bài, GPT-3 có 96 head. Nghiên cứu cho thấy bỏ một số head thì hiệu năng gần như không đổi, cho thấy mỗi head có chuyên môn riêng và hệ thống khá bền.
Thử thách
Giải thích chi tiết
Multi-Head Attention chạy h phép self-attention song song trong các không gian con khác nhau, mỗi phép có bộ trọng số riêng. Đây là khối cốt lõi của Transformer:
W_i^Q, W_i^K, W_i^V có kích thước d_model × d_k, W^O có kích thước h·d_k × d_model, và d_k = d_model / h.
Code multi-head attention bằng PyTorch:
multi_head_attention.py
import torch
import torch.nn as nn
class MultiHeadAttention(nn.Module):
def __init__(self, d_model=512, n_heads=8):
super().__init__()
self.n_heads = n_heads
self.d_k = d_model // n_heads # 512/8 = 64
# Q, K, V projections (gộp tất cả heads)
self.W_q = nn.Linear(d_model, d_model) # 512→512
self.W_k = nn.Linear(d_model, d_model)
self.W_v = nn.Linear(d_model, d_model)
self.W_o = nn.Linear(d_model, d_model) # Output projection
def forward(self, x):
B, N, D = x.shape # batch, seq_len, d_model
# Project và split thành heads
Q = self.W_q(x).view(B, N, self.n_heads, self.d_k).transpose(1, 2)
K = self.W_k(x).view(B, N, self.n_heads, self.d_k).transpose(1, 2)
V = self.W_v(x).view(B, N, self.n_heads, self.d_k).transpose(1, 2)
# Shape: (B, n_heads, N, d_k)
# Attention cho tất cả heads song song
scores = Q @ K.transpose(-2, -1) / (self.d_k ** 0.5)
weights = scores.softmax(dim=-1)
attn = weights @ V # (B, n_heads, N, d_k)
# Concat heads và project
out = attn.transpose(1, 2).reshape(B, N, D)
return self.W_o(out) # (B, N, d_model)Ghi chú khi đọc code
- Q, K, V được chiếu một lần rồi tách thành h head bằng view và transpose, nên tất cả head chạy song song trong một phép nhân.
- Scale chia cho √d_k để giữ softmax không bão hoà, giống self-attention thường.
- W_o trộn các head đã nối lại thành d_model chiều; nếu bỏ W_o, đầu ra có kích thước h · d_k và không có bước trộn thông tin giữa các head.
Thuật ngữ liên quan
- Số head trong các mô hình thực tế: theo nguồn bài, GPT-3 có 96 head, BERT-base có 12 head, GPT-4 có hơn 120 head (số GPT-4 chưa được công bố chính thức, cần kiểm chứng).
- Multi-Query và Grouped-Query Attention: biến thể chia sẻ K và V giữa các head để giảm bộ nhớ KV cache khi suy luận.
Tóm tắt
- Multi-Head = h bộ attention song song, mỗi bộ chuyên một kiểu quan hệ (cú pháp, ngữ nghĩa, vị trí…).
- d_k = d_model / h: mỗi head nhỏ hơn nhưng tổng tham số gần bằng single-head attention.
- Concat h head rồi nhân W^O để ra output có d_model chiều. W^O trộn thông tin từ tất cả head.
- Nhiều head cho nhiều kiểu quan hệ. GPT-3 có 96 head; BERT-base có 12 head.
- Mỗi head hoạt động trong không gian con riêng, tạo thành một tập hợp attention đa dạng và bền hơn.