ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← LLM & NLP

AI Builder

So sánh Tokenizer

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

So sánh BPE, SentencePiece và WordPiece — ưu nhược điểm và ứng dụng của từng phương pháp

lesson90 minLLM & NLPAI Engineer

Thử thách

Từ “Phở” bị tokenizer của GPT chia thành “Ph” và “ở” (2 token), nhưng tokenizer của PhoBERT giữ nguyên “Phở” (1 token). Tại sao?

Khám phá — ba tokenizer, ba cách đánh dấu khoảng trắng

Đặc điểmBPEWordPieceSentencePiece
Khoảng trắngĐánh dấu ở đầu token (ví dụ “ Nam”)Dùng ## nối phần tiếp theo (“##Nam”)Dùng ▁ đánh dấu đầu từ (“▁Nam”)
Từ mới (OOV)Chia thành sub-tokenChia thành ##subChia ở mức byte
Cần pre-tokenizeCóCóKhông
Mô hình tiêu biểuGPT, LLaMA, ClaudeBERT, PhoBERTT5, mBERT

Khoảnh khắc A-ha

Ba tokenizer đều là subword: chia từ hiếm thành mảnh nhỏ. Khác biệt nằm ở cách đánh dấu khoảng trắng: BPE gắn dấu cách vào đầu token, WordPiece dùng ##, SentencePiece dùng ▁.

Quan trọng nhất: tokenizer phải được huấn luyện trên đúng ngôn ngữ. Tokenizer GPT (tiếng Anh) chia “Phở” thành 2 token, còn tokenizer PhoBERT (tiếng Việt) giữ nguyên 1 token.

Thử thách nhanh

Token “##Nam” trong WordPiece có ý nghĩa gì?

Tiếng Việt

Tiếng Việt có thách thức riêng cho tokenizer: dấu thanh, từ ghép và ranh giới từ phức tạp. Ví dụ với tokenizer tiếng Anh:

  • “Phở” → “Ph” + “ở” (2 token)
  • “Nguyễn” → “Ng” + “uy” + “ễn” (3 token)
  • “Việt Nam” → “Vi” + “ệt” + “ Nam” (3 token)

Từ tiếng Việt bị chia nhỏ quá mức, tốn token và tốn tiền. Với tokenizer tiếng Việt:

  • “Phở” → “Phở” (1 token)
  • “Nguyễn” → “Nguyễn” (1 token)
  • “Việt Nam” → “Việt_Nam” (1 token)

Từ tiếng Việt giữ nguyên nên ít token hơn, hiệu quả hơn.

Lý thuyết

Ba phương pháp tokenization subword phổ biến, mỗi cái xử lý khoảng trắng và từ mới theo cách khác nhau. BPE được GPT dùng, WordPiece là lựa chọn của BERT. Chọn sai tokenizer cho ngôn ngữ sẽ làm số token tăng vọt và chi phí suy luận đắt hơn.

Merge(vocab)=vocab∪{cặp byte phổ bieˆˊn nhaˆˊt}\text{Merge}(\text{vocab}) = \text{vocab} \cup \{\text{cặp byte phổ biến nhất}\}

tokenizer_compare.py

from transformers import AutoTokenizer

text = "Phở Hà Nội rất ngon"

# 1. BPE (GPT-2)
gpt2_tok = AutoTokenizer.from_pretrained("gpt2")
print("BPE:", gpt2_tok.tokenize(text))
# ['Ph', 'ở', ' H', 'à', ' N', 'ội', ' r', 'ất', ' ngon']
# → 9 token! Tiếng Việt bị chia nhỏ

# 2. WordPiece (BERT multilingual)
bert_tok = AutoTokenizer.from_pretrained(
    "bert-base-multilingual-cased")
print("WordPiece:", bert_tok.tokenize(text))
# ['Ph', '##ở', 'Hà', 'Nội', 'rất', 'ngon']
# → 6 token, tốt hơn

# 3. SentencePiece (PhoBERT - tiếng Việt)
phobert_tok = AutoTokenizer.from_pretrained("vinai/phobert-base")
print("SentencePiece:", phobert_tok.tokenize(text))
# ['Phở', 'Hà_Nội', 'rất', 'ngon']
# → 4 token! Tối ưu cho tiếng Việt

# Bài học: tokenizer phù hợp ngôn ngữ = ít token = hiệu quả!

Tóm tắt

  • BPE: dấu cách đầu token, chọn cặp theo tần suất. Dùng bởi GPT, LLaMA, Claude.
  • WordPiece: ## đánh dấu subword, chọn cặp theo likelihood. Dùng bởi BERT, PhoBERT.
  • SentencePiece: ▁ đánh dấu đầu từ, xử lý mức byte, không cần pre-tokenize. Dùng bởi T5, mBERT.
  • Tiếng Việt: tokenizer tiếng Anh chia “Phở” thành 2 token, PhoBERT giữ nguyên 1 token.
  • Chọn tokenizer phù hợp ngôn ngữ thì ít token hơn, tiết kiệm chi phí và hiệu quả hơn.

Continue the module

Lesson 5 of 10