AI Builder
So sánh Tokenizer
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.So sánh BPE, SentencePiece và WordPiece — ưu nhược điểm và ứng dụng của từng phương pháp
Khám phá — ba tokenizer, ba cách đánh dấu khoảng trắng
| Đặc điểm | BPE | WordPiece | SentencePiece |
|---|---|---|---|
| Khoảng trắng | Đánh dấu ở đầu token (ví dụ “ Nam”) | Dùng ## nối phần tiếp theo (“##Nam”) | Dùng ▁ đánh dấu đầu từ (“▁Nam”) |
| Từ mới (OOV) | Chia thành sub-token | Chia thành ##sub | Chia ở mức byte |
| Cần pre-tokenize | Có | Có | Không |
| Mô hình tiêu biểu | GPT, LLaMA, Claude | BERT, PhoBERT | T5, mBERT |
Khoảnh khắc A-ha
Ba tokenizer đều là subword: chia từ hiếm thành mảnh nhỏ. Khác biệt nằm ở cách đánh dấu khoảng trắng: BPE gắn dấu cách vào đầu token, WordPiece dùng ##, SentencePiece dùng ▁.
Quan trọng nhất: tokenizer phải được huấn luyện trên đúng ngôn ngữ. Tokenizer GPT (tiếng Anh) chia “Phở” thành 2 token, còn tokenizer PhoBERT (tiếng Việt) giữ nguyên 1 token.
Thử thách nhanh
Tiếng Việt
Tiếng Việt có thách thức riêng cho tokenizer: dấu thanh, từ ghép và ranh giới từ phức tạp. Ví dụ với tokenizer tiếng Anh:
- “Phở” → “Ph” + “ở” (2 token)
- “Nguyễn” → “Ng” + “uy” + “ễn” (3 token)
- “Việt Nam” → “Vi” + “ệt” + “ Nam” (3 token)
Từ tiếng Việt bị chia nhỏ quá mức, tốn token và tốn tiền. Với tokenizer tiếng Việt:
- “Phở” → “Phở” (1 token)
- “Nguyễn” → “Nguyễn” (1 token)
- “Việt Nam” → “Việt_Nam” (1 token)
Từ tiếng Việt giữ nguyên nên ít token hơn, hiệu quả hơn.
Lý thuyết
Ba phương pháp tokenization subword phổ biến, mỗi cái xử lý khoảng trắng và từ mới theo cách khác nhau. BPE được GPT dùng, WordPiece là lựa chọn của BERT. Chọn sai tokenizer cho ngôn ngữ sẽ làm số token tăng vọt và chi phí suy luận đắt hơn.
tokenizer_compare.py
from transformers import AutoTokenizer
text = "Phở Hà Nội rất ngon"
# 1. BPE (GPT-2)
gpt2_tok = AutoTokenizer.from_pretrained("gpt2")
print("BPE:", gpt2_tok.tokenize(text))
# ['Ph', 'ở', ' H', 'à', ' N', 'ội', ' r', 'ất', ' ngon']
# → 9 token! Tiếng Việt bị chia nhỏ
# 2. WordPiece (BERT multilingual)
bert_tok = AutoTokenizer.from_pretrained(
"bert-base-multilingual-cased")
print("WordPiece:", bert_tok.tokenize(text))
# ['Ph', '##ở', 'Hà', 'Nội', 'rất', 'ngon']
# → 6 token, tốt hơn
# 3. SentencePiece (PhoBERT - tiếng Việt)
phobert_tok = AutoTokenizer.from_pretrained("vinai/phobert-base")
print("SentencePiece:", phobert_tok.tokenize(text))
# ['Phở', 'Hà_Nội', 'rất', 'ngon']
# → 4 token! Tối ưu cho tiếng Việt
# Bài học: tokenizer phù hợp ngôn ngữ = ít token = hiệu quả!Tóm tắt
- BPE: dấu cách đầu token, chọn cặp theo tần suất. Dùng bởi GPT, LLaMA, Claude.
- WordPiece: ## đánh dấu subword, chọn cặp theo likelihood. Dùng bởi BERT, PhoBERT.
- SentencePiece: ▁ đánh dấu đầu từ, xử lý mức byte, không cần pre-tokenize. Dùng bởi T5, mBERT.
- Tiếng Việt: tokenizer tiếng Anh chia “Phở” thành 2 token, PhoBERT giữ nguyên 1 token.
- Chọn tokenizer phù hợp ngôn ngữ thì ít token hơn, tiết kiệm chi phí và hiệu quả hơn.