ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kiến trúc

AI Builder

Mã hóa vị trí

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Thêm thông tin vị trí vào embedding vì Transformer không có khái niệm thứ tự

lesson90 minKiến trúcAI Engineer

Dự đoán

“Mèo bắt chuột” và “Chuột bắt mèo” có nghĩa hoàn toàn khác nhau. Nhưng self-attention xử lý mọi từ song song và không biết thứ tự, nên sẽ cho hai câu này output giống nhau. Làm sao sửa?

Khám phá — ma trận PE như số nhà trên phố

Hãy tưởng tượng mỗi căn nhà trên phố có một số nhà. Thay vì số đơn giản 1, 2, 3, ta dùng một hệ thống giống đồng hồ: kim giây quay nhanh (phân biệt nhà gần nhau), kim giờ quay chậm (phân biệt đầu phố với cuối phố).

Cột trong ma trận PEHành viÝ nghĩa
Cột đầu (chẵn, tần số cao)Thay đổi nhanh theo vị tríPhân biệt từng vị trí liền kề
Cột cuối (tần số thấp)Thay đổi chậmPhân biệt nhóm vị trí ở xa nhau

Mỗi cột có tần số khác nhau, nên tổ hợp các cột tạo ra một mã duy nhất cho từng vị trí, giống hệ nhị phân.

Khoảnh khắc Aha

Positional Encoding gắn một “mã vạch” duy nhất cho mỗi vị trí bằng sin và cos ở nhiều tần số. Tần số cao phân biệt vị trí gần, tần số thấp phân biệt vị trí xa. Giống hệ nhị phân: 0110 và 0111 chỉ khác bit cuối.

Cộng PE vào word embedding: input = embedding + PE. Từ “mèo” ở vị trí 0 sẽ có vector khác với “mèo” ở vị trí 5.

Biến thể hiện đại

Biến thểDùng ở đâuĐặc điểm
Sinusoidal PETransformer gốc (2017)Cộng sin và cos vào embedding; cố định, không học; ngoại suy được cho chuỗi dài hơn lúc train
Learned PEBERT, GPT-2Embedding vị trí học được (bảng tra); linh hoạt hơn nhưng giới hạn độ dài (BERT tối đa 512 token)
RoPELLaMA, GPT-NeoX (từ 2021)Xoay Q và K theo vị trí; mã hoá khoảng cách tương đối trực tiếp vào attention score; ngoại suy tốt hơn
ALiBiBLOOM (từ 2022)Thêm bias tuyến tính vào attention score theo khoảng cách; rất đơn giản; ngoại suy tốt

Thử thách

Train với tối đa 2048 token, test với 4096 token. Sinusoidal PE hay Learned PE xử lý tốt hơn?

Giải thích chi tiết

Positional Encoding thêm thông tin vị trí vào word embedding, vì self-attention không có khái niệm thứ tự (permutation equivariant). Đây là lý do Transformer luôn cần một dạng mã hoá vị trí trước khi vào các lớp attention.

Công thức sinusoidal:

PE(pos,2i)=sin⁡ ⁣(pos100002i/dmodel)PE_{(pos, 2i)} = \sin\!\left(\frac{pos}{10000^{2i/d_{model}}}\right)
PE(pos,2i+1)=cos⁡ ⁣(pos100002i/dmodel)PE_{(pos, 2i+1)} = \cos\!\left(\frac{pos}{10000^{2i/d_{model}}}\right)

Bước sóng thay đổi từ 2π (chiều đầu, tần số cao) đến 2π · 10000 (chiều cuối, tần số thấp).

positional_encoding.py

import torch
import math

class SinusoidalPE(torch.nn.Module):
    def __init__(self, d_model, max_len=5000):
        super().__init__()
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len).unsqueeze(1).float()
        div_term = torch.exp(
            torch.arange(0, d_model, 2).float()
            * -(math.log(10000.0) / d_model)
        )
        pe[:, 0::2] = torch.sin(position * div_term)  # Chiều chẵn
        pe[:, 1::2] = torch.cos(position * div_term)  # Chiều lẻ
        self.register_buffer('pe', pe.unsqueeze(0))    # (1, max_len, d_model)

    def forward(self, x):
        # x: (batch, seq_len, d_model)
        return x + self.pe[:, :x.size(1)]  # Cộng PE vào embedding

# Sử dụng
pe = SinusoidalPE(d_model=512)
x = word_embedding(tokens)  # (batch, seq_len, 512)
x = pe(x)  # embedding + positional encoding

Tóm tắt

  • Self-attention không biết thứ tự nên cần PE để phân biệt “mèo bắt chuột” với “chuột bắt mèo”.
  • Sinusoidal PE dùng sin và cos ở nhiều tần số: tần số cao phân biệt gần, tần số thấp phân biệt xa.
  • input = word embedding + positional encoding.
  • Biến thể: Learned PE (BERT), RoPE (LLaMA, xoay Q và K theo vị trí), ALiBi (bias theo khoảng cách).
  • RoPE phổ biến nhất hiện nay: mã hoá khoảng cách tương đối, ngoại suy tốt cho context dài.

Continue the module

Lesson 7 of 12