AI Builder
BERT - Biểu diễn mã hoá hai chiều
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Mô hình ngôn ngữ tiền huấn luyện hai chiều, hiểu ngữ cảnh từ cả trái lẫn phải để biểu diễn ngôn ngữ sâu sắc.
Ngữ cảnh đời thường
Hãy hình dung đang đọc một tờ báo mà một vết mực che mất một từ: “Hôm qua tôi đi [●●●] để xem phim mới chiếu.” Bạn không cần đoán mò: bộ não kết hợp thông tin trước (“đi”) và sau (“xem phim”) để suy ra “rạp”. Đó là cách BERT học ngôn ngữ: đọc hai chiều cùng lúc.
So với GPT, đọc truyện đang diễn ra và phải đoán câu kế tiếp. BERT giống nghe một đoạn ghi âm đã hoàn chỉnh rồi bị che vài chữ, và có quyền tua tới tua lui để hiểu.
Trong tiếng Việt, nghĩa của một từ thường phụ thuộc vào từ đứng sau. “Sông Hương” chỉ rõ là tên sông khi thấy “Huế” phía sau. BERT tận dụng tín hiệu này để tạo embedding phụ thuộc ngữ cảnh: mỗi từ có một vector khác nhau tuỳ câu.
Theo nguồn bài, nhiều hệ thống tiếng Việt như tìm kiếm nội dung và tóm tắt báo chí dùng biến thể BERT như PhoBERT để hiểu truy vấn (chưa kiểm chứng từng hệ thống).
Masked Language Modeling
BERT được huấn luyện bằng cách che ngẫu nhiên khoảng 15% token rồi đoán lại. Ví dụ: “Tôi [MASK] phở sáng nay” — từ nào có xác suất cao nhất? Phần thử dự đoán top-3 bằng mô hình thật nằm trong đoạn code ở mục Kiến trúc và giải thích sâu.
Khoảnh khắc Aha
BERT là một đứa trẻ đọc hai chiều: khi mất một chữ trong câu, nó biết nhìn cả trước và sau để đoán. Sau khi luyện đọc kiểu này trên hàng tỷ câu, nó có một bộ não ngôn ngữ mà mọi tác vụ hiểu văn bản — từ phân loại đến nhận dạng thực thể — đều có thể mượn dùng, chỉ cần gắn thêm một lớp đầu ra nhỏ và tinh chỉnh vài giờ.
Thử thách nhanh
Kiến trúc và tầng biểu diễn
| Thông số BERT-base | Giá trị |
|---|---|
| Số tham số | 110 triệu |
| Số lớp Transformer | 12 |
| Hidden size | 768 (vector mỗi token) |
| Attention heads | 12 (mỗi lớp) |
Mỗi câu đi qua 12 lớp Transformer. Mỗi lớp học một mức trừu tượng khác nhau; các lớp đầu thường gắn với cú pháp, các lớp sau với ngữ nghĩa (nhận định chung).
Fine-tune và giải thích sâu
Cùng một BERT đã pre-train, chỉ cần thêm một lớp đầu ra khác nhau tuỳ tác vụ:
Luồng fine-tune
1. Đầu vào
Câu hoặc cặp câu được tách thành token, có [CLS] ở đầu và [SEP] ngăn cách.
BERT (Bidirectional Encoder Representations from Transformers) là mô hình ngôn ngữ tiền huấn luyện do Google công bố năm 2018 (Devlin và cộng sự). Điểm đột phá: dùng Transformer encoder đọc hai chiều cùng lúc, kết hợp tác vụ Masked Language Modeling để học biểu diễn ngữ nghĩa sâu mà không cần nhãn.
Công thức cốt lõi là self-attention trong một lớp encoder:
BERT dùng attention đầy đủ, không có causal mask, nên mỗi token thấy được mọi token khác trong câu.
Hàm mất mát MLM: dự đoán các token bị che từ phần còn lại:
Trong quá trình tiền huấn luyện, token được chọn để che được thay theo tỉ lệ 80/10/10: 80% thành [MASK], 10% thành token ngẫu nhiên, 10% giữ nguyên. Tỉ lệ này giúp mô hình không chỉ xử lý [MASK]; nó phải luôn sẵn sàng cập nhật biểu diễn cho mọi token.
Tải và dùng BERT với Hugging Face
Tải và dùng BERT với Hugging Face
# Cài: pip install transformers torch
from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch
# Tải mô hình tiếng Việt tiền huấn luyện
name = "vinai/phobert-base"
tokenizer = AutoTokenizer.from_pretrained(name)
model = AutoModelForMaskedLM.from_pretrained(name)
# Che một từ trong câu để BERT đoán lại
text = "Hà Nội là thủ đô của <mask>"
inputs = tokenizer(text, return_tensors="pt")
# Tìm vị trí của token [MASK]
mask_idx = (inputs.input_ids == tokenizer.mask_token_id).nonzero(as_tuple=True)[1]
# Chạy forward pass (không tính gradient)
with torch.no_grad():
logits = model(**inputs).logits
# Lấy top-5 token dự đoán ở vị trí mask
top5 = logits[0, mask_idx].topk(5, dim=-1).indices[0]
for tid in top5:
print(tokenizer.decode([tid]).strip())
# Kỳ vọng: Việt_Nam, Đông_Dương, Đông_Á, ...Fine-tune BERT cho phân loại cảm xúc
Fine-tune BERT cho phân loại cảm xúc (PyTorch)
from transformers import (
AutoTokenizer,
AutoModelForSequenceClassification,
Trainer,
TrainingArguments,
)
from datasets import load_dataset
# Dữ liệu review phim tiếng Việt (vd uit-vsfc, vlsp)
ds = load_dataset("uit-nlp/vietnamese_students_feedback")
# Khởi tạo tokenizer và mô hình, num_labels=3 (neg/neu/pos)
tok = AutoTokenizer.from_pretrained("vinai/phobert-base")
model = AutoModelForSequenceClassification.from_pretrained(
"vinai/phobert-base", num_labels=3
)
# Hàm tiền xử lý: tokenize + padding
def preprocess(batch):
return tok(batch["sentence"], truncation=True, padding="max_length", max_length=128)
ds = ds.map(preprocess, batched=True)
ds = ds.rename_column("sentiment", "labels")
# Cấu hình huấn luyện (lr nhỏ, ít epoch — đặc trưng fine-tune)
args = TrainingArguments(
output_dir="./out",
num_train_epochs=3,
per_device_train_batch_size=16,
learning_rate=2e-5,
weight_decay=0.01,
evaluation_strategy="epoch",
)
trainer = Trainer(model=model, args=args, train_dataset=ds["train"], eval_dataset=ds["validation"])
trainer.train()
# Sau 3 epoch thường đạt ~88% accuracy trên test setTrích xuất embedding để tìm kiếm
Trích xuất embeddings từ BERT để tìm kiếm
from transformers import AutoTokenizer, AutoModel
import torch
# Tải mô hình PhoBERT
tok = AutoTokenizer.from_pretrained("vinai/phobert-base")
model = AutoModel.from_pretrained("vinai/phobert-base")
model.eval()
def embed(sentences):
"""Trả về vector 768 chiều cho mỗi câu (mean-pooled)."""
enc = tok(sentences, padding=True, truncation=True, return_tensors="pt", max_length=128)
with torch.no_grad():
out = model(**enc).last_hidden_state # (B, T, 768)
# Mean pooling, bỏ qua padding
mask = enc.attention_mask.unsqueeze(-1) # (B, T, 1)
pooled = (out * mask).sum(1) / mask.sum(1)
return torch.nn.functional.normalize(pooled, dim=-1)
queries = ["sông nào chảy qua Huế?", "thủ đô của Việt Nam"]
docs = ["Sông Hương chảy qua thành phố Huế",
"Hà Nội là thủ đô của Việt Nam",
"Sài Gòn là thành phố lớn nhất"]
qv = embed(queries)
dv = embed(docs)
scores = qv @ dv.T # cosine similarity
print(scores.argmax(dim=1)) # tensor([0, 1]) — khớp đúng!Lịch sử: từ word2vec đến BERT
- 2013, word2vec: Mikolov giới thiệu embedding tĩnh, một vector cho mỗi từ, huấn luyện bằng skip-gram hoặc CBOW.
- 2014, GloVe: Stanford đưa ra phương pháp dựa trên ma trận đồng xuất hiện. Vẫn là embedding tĩnh.
- 2017, Transformer: Vaswani và cộng sự giới thiệu kiến trúc Transformer; self-attention thay thế RNN và LSTM.
- 2018, ELMo: AllenNLP giới thiệu embedding động dựa trên BiLSTM, bước đầu hướng đến contextual embedding.
- 2018, GPT: OpenAI công bố Transformer decoder tiền huấn luyện, mở đường cho pre-training.
- 2018, BERT: Google công bố encoder hai chiều với MLM, vượt trội trên nhiều benchmark NLP.
Các biến thể sau BERT
- RoBERTa (2019, Meta): bỏ NSP, tăng dữ liệu, huấn luyện lâu hơn, dynamic masking.
- ALBERT (2020, Google): chia sẻ tham số giữa các lớp và phân rã ma trận embedding, giảm mạnh kích thước mô hình.
- DistilBERT (2019): knowledge distillation để giảm khoảng 40% kích thước, giữ khoảng 97% hiệu năng (theo nguồn bài).
- DeBERTa (2021, Microsoft): tách disentangled attention giữa nội dung và vị trí.
- PhoBERT (2020, VinAI): pre-train trên 20 GB văn bản tiếng Việt; theo nguồn bài vượt mBERT cho hầu hết tác vụ tiếng Việt.
Ứng dụng thực tế
- Google Search dùng BERT để hiểu truy vấn tự nhiên từ năm 2019.
- Chatbot chăm sóc khách hàng: phân loại ý định, trích xuất thực thể.
- Tóm tắt bài báo: BERTSUM, PreSumm.
- Phát hiện tin giả và bình luận độc hại.
- Y tế: BioBERT, ClinicalBERT. Tài chính: FinBERT.
Bẫy thường gặp
- Dùng embedding của [CLS] mà không fine-tune sẽ cho kết quả kém.
- Quên truncate: câu quá 512 token bị mất thông tin.
- Huấn luyện tokenizer riêng thay vì dùng tokenizer đi kèm mô hình.
- Không chuẩn hoá văn bản (Unicode NFC, lowercase) trước khi đưa vào.
- Fine-tune trên dữ liệu domain khác xa pre-training: nên dùng domain-specific BERT.
So sánh với lựa chọn khác
- So với GPT: BERT giỏi hiểu (phân loại, trích xuất), GPT giỏi sinh. Dùng BERT khi cần phân loại hoặc trích xuất; dùng GPT khi cần viết.
- So với T5: T5 là encoder-decoder, linh hoạt cho mọi tác vụ text-to-text nhưng nặng hơn.
- So với Sentence-BERT: SBERT tinh chỉnh BERT cho embedding câu, cosine similarity tốt hơn. Dùng SBERT khi cần semantic search.
- So với LLM hiện đại: LLM có zero-shot mạnh hơn nhưng chi phí cao. BERT đã fine-tune vẫn cạnh tranh về tốc độ và chi phí cho tác vụ cụ thể.
Vì sao BERT không sinh văn bản như GPT?
Câu trả lời nằm ở attention mask. BERT: mỗi token nhìn được toàn bộ các token khác (attention hai chiều). GPT: mỗi token chỉ nhìn các token phía trước (causal mask, tam giác dưới). Cấu trúc mask này quyết định mô hình có sinh tự hồi quy được hay không, không phải số lớp hay số tham số.
Ép BERT sinh văn bản bằng cách gán [MASK] vào vị trí cần sinh rồi lặp lại sẽ vừa chậm (mỗi bước chạy lại toàn bộ mạng) vừa kém chất lượng, vì BERT không học phân phối tiếp theo có điều kiện như GPT. Bài học: encoder tối ưu cho hiểu, decoder tối ưu cho sinh. Muốn cả hai, dùng encoder-decoder (T5, BART) hoặc LLM decoder-only hiện đại.
Embedding đầu vào của BERT
Embedding đầu vào là tổng của ba loại embedding:
- Token embedding: tra từ điển WordPiece (30 nghìn token cho BERT tiếng Anh), cho vector 768 chiều (base) hoặc 1024 chiều (large).
- Position embedding: học được, dài 512 vị trí. Đây là lý do BERT bị giới hạn 512 token.
- Segment embedding: hai giá trị (câu A = 0, câu B = 1), dùng cho tác vụ cặp câu như NSP, NLI, QA.
Ba embedding được cộng lại, đi qua LayerNorm và Dropout rồi vào lớp Transformer đầu tiên. LLM hiện đại thay position embedding học được bằng RoPE, mã hoá vị trí trực tiếp vào attention.
Tóm tắt
- BERT là Transformer encoder đọc hai chiều, tiền huấn luyện bằng MLM và NSP trên hàng tỷ câu.
- [CLS] tổng hợp biểu diễn câu cho tác vụ phân loại; [SEP] ngăn cách câu A và câu B.
- Fine-tune: giữ trọng số pre-train, thêm lớp đầu ra nhỏ, huấn luyện vài epoch với learning rate khoảng 2e-5.
- BERT-base (110 triệu, 12 lớp) đủ cho đa số tác vụ; BERT-large mạnh hơn nhưng cần nhiều dữ liệu.
- Với tiếng Việt, PhoBERT hoặc viBERT hiệu quả hơn mBERT đa ngôn ngữ.
- Điểm yếu: giới hạn 512 token, không giỏi sinh văn bản, cần fine-tune thay vì prompt.