AI Builder
Mã hóa vị trí
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Thêm thông tin vị trí vào embedding vì Transformer không có khái niệm thứ tự
Khám phá — ma trận PE như số nhà trên phố
Hãy tưởng tượng mỗi căn nhà trên phố có một số nhà. Thay vì số đơn giản 1, 2, 3, ta dùng một hệ thống giống đồng hồ: kim giây quay nhanh (phân biệt nhà gần nhau), kim giờ quay chậm (phân biệt đầu phố với cuối phố).
| Cột trong ma trận PE | Hành vi | Ý nghĩa |
|---|---|---|
| Cột đầu (chẵn, tần số cao) | Thay đổi nhanh theo vị trí | Phân biệt từng vị trí liền kề |
| Cột cuối (tần số thấp) | Thay đổi chậm | Phân biệt nhóm vị trí ở xa nhau |
Mỗi cột có tần số khác nhau, nên tổ hợp các cột tạo ra một mã duy nhất cho từng vị trí, giống hệ nhị phân.
Khoảnh khắc Aha
Positional Encoding gắn một “mã vạch” duy nhất cho mỗi vị trí bằng sin và cos ở nhiều tần số. Tần số cao phân biệt vị trí gần, tần số thấp phân biệt vị trí xa. Giống hệ nhị phân: 0110 và 0111 chỉ khác bit cuối.
Cộng PE vào word embedding: input = embedding + PE. Từ “mèo” ở vị trí 0 sẽ có vector khác với “mèo” ở vị trí 5.
Biến thể hiện đại
| Biến thể | Dùng ở đâu | Đặc điểm |
|---|---|---|
| Sinusoidal PE | Transformer gốc (2017) | Cộng sin và cos vào embedding; cố định, không học; ngoại suy được cho chuỗi dài hơn lúc train |
| Learned PE | BERT, GPT-2 | Embedding vị trí học được (bảng tra); linh hoạt hơn nhưng giới hạn độ dài (BERT tối đa 512 token) |
| RoPE | LLaMA, GPT-NeoX (từ 2021) | Xoay Q và K theo vị trí; mã hoá khoảng cách tương đối trực tiếp vào attention score; ngoại suy tốt hơn |
| ALiBi | BLOOM (từ 2022) | Thêm bias tuyến tính vào attention score theo khoảng cách; rất đơn giản; ngoại suy tốt |
Thử thách
Giải thích chi tiết
Positional Encoding thêm thông tin vị trí vào word embedding, vì self-attention không có khái niệm thứ tự (permutation equivariant). Đây là lý do Transformer luôn cần một dạng mã hoá vị trí trước khi vào các lớp attention.
Công thức sinusoidal:
Bước sóng thay đổi từ 2π (chiều đầu, tần số cao) đến 2π · 10000 (chiều cuối, tần số thấp).
positional_encoding.py
import torch
import math
class SinusoidalPE(torch.nn.Module):
def __init__(self, d_model, max_len=5000):
super().__init__()
pe = torch.zeros(max_len, d_model)
position = torch.arange(0, max_len).unsqueeze(1).float()
div_term = torch.exp(
torch.arange(0, d_model, 2).float()
* -(math.log(10000.0) / d_model)
)
pe[:, 0::2] = torch.sin(position * div_term) # Chiều chẵn
pe[:, 1::2] = torch.cos(position * div_term) # Chiều lẻ
self.register_buffer('pe', pe.unsqueeze(0)) # (1, max_len, d_model)
def forward(self, x):
# x: (batch, seq_len, d_model)
return x + self.pe[:, :x.size(1)] # Cộng PE vào embedding
# Sử dụng
pe = SinusoidalPE(d_model=512)
x = word_embedding(tokens) # (batch, seq_len, 512)
x = pe(x) # embedding + positional encodingTóm tắt
- Self-attention không biết thứ tự nên cần PE để phân biệt “mèo bắt chuột” với “chuột bắt mèo”.
- Sinusoidal PE dùng sin và cos ở nhiều tần số: tần số cao phân biệt gần, tần số thấp phân biệt xa.
- input = word embedding + positional encoding.
- Biến thể: Learned PE (BERT), RoPE (LLaMA, xoay Q và K theo vị trí), ALiBi (bias theo khoảng cách).
- RoPE phổ biến nhất hiện nay: mã hoá khoảng cách tương đối, ngoại suy tốt cho context dài.