ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← LLM & NLP

AI Builder

Tokenization - Tách từ

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Quá trình chia văn bản thành các đơn vị nhỏ hơn (token) để máy tính có thể xử lý ngôn ngữ tự nhiên.

lesson90 minLLM & NLPAI Engineer

Thử thách

Câu “Tôi yêu Việt Nam” có bao nhiêu “mảnh” khi máy tính cắt theo khoảng trắng?

Bốn liên tưởng

Cắt bánh chưng mời khách: có thể cắt miếng to (4 miếng cho cả nhà), miếng nhỏ (16 miếng cho khách) hoặc xắt vụn để chấm muối vừng. Tokenization cũng vậy: word-level là miếng to, subword là miếng vừa, character-level là xắt vụn. Không có cách “đúng” tuyệt đối, chỉ có lựa chọn phù hợp với ứng dụng.

Người đọc báo đọc nhanh: khi đọc báo tiếng Việt, bạn không đánh vần từng chữ cái mà nhóm ký tự thành từ (“phở”, “bún chả”). LLM cũng cần bước nhóm này. Nếu nhìn từng ký tự, chuỗi quá dài và nghĩa bị loãng. Tokenization là bước “nhóm mắt” của máy tính.

Tiếng Việt ghép từ (“Việt Nam”, “máy tính”): một từ có thể gồm nhiều tiếng. Máy không biết “Hà Nội” là một khái niệm hay hai, nên cần công cụ tách từ như VnCoreNLP hoặc RDRSegmenter. Điều này làm tokenization tiếng Việt khó hơn tiếng Anh đáng kể.

Chi phí API tính theo token: khi trả tiền cho một API LLM, hoá đơn tính theo token, không theo ký tự hay từ. Một tin nhắn 500 ký tự tiếng Việt có thể là khoảng 300 đến 700 token tuỳ tokenizer. Hiểu tokenization là hiểu cách tối ưu chi phí LLM.

Khám phá — ba cách cắt

Có nhiều cách cắt khác nhau, và mỗi cách cho kết quả khác nhau đáng ngạc nhiên. Bảng dưới so sánh cách cắt trên cùng một câu bằng word-level, character-level và subword.

Cách cắtVí dụ “Tôi yêu Việt Nam”Số token
Word-level“Tôi” “yêu” “Việt” “Nam”4
Character-level“T” “ô” “i” “y” “ê” “u” …14
Subword (BPE)“T” “ôi” “ yêu” “ Việt” “ Nam”5

Khoảnh khắc A-ha

Tokenization chia văn bản thành các mảnh nhỏ (token) để máy xử lý được. Không có cách tách nào hoàn hảo: mỗi cách là một sự đánh đổi giữa kích thước từ vựng và độ dài chuỗi.

Giống như cắt phở: cắt sợi to thì nhanh nhưng khó ăn, cắt sợi nhỏ thì nhiều mảnh hơn nhưng vừa miệng hơn.

Thử thách nhanh

Từ “Tokenization” chưa có trong từ vựng. Phương pháp nào xử lý được mà KHÔNG cần thêm từ mới?
Khi gọi một LLM qua API với max_tokens = 500, giới hạn 500 áp dụng cho gì?
Team fine-tune một Transformer trên corpus tiếng Việt 100 GB, rồi nhảy thẳng sang dùng tokenizer của LLaMA (train chủ yếu trên tiếng Anh). Điều gì có khả năng xảy ra?

Lý thuyết

Tokenization là bước đầu tiên và quan trọng nhất trong NLP. Nó chuyển văn bản thô thành chuỗi đơn vị rời rạc mà mô hình hiểu được. GPT (dùng BPE) và BERT (dùng WordPiece) phụ thuộc hoàn toàn vào bước này.

V(0)={taˆˊt cả kyˊ tự}V^{(0)} = \{\text{tất cả ký tự}\}
V(t+1)=V(t)∪{cặp xuaˆˊt hiện nhieˆˋu nhaˆˊt}V^{(t+1)} = V^{(t)} \cup \{\text{cặp xuất hiện nhiều nhất}\}

tokenization_demo.py

from transformers import AutoTokenizer

# Thử tokenize tiếng Việt với GPT-2 tokenizer (BPE)
tokenizer = AutoTokenizer.from_pretrained("gpt2")
text = "Tôi yêu Việt Nam"
tokens = tokenizer.tokenize(text)
print(f"Tokens: {tokens}")
# Tokens: ['T', 'ôi', ' yêu', ' Việt', ' Nam']

ids = tokenizer.encode(text)
print(f"Token IDs: {ids}")
# Token IDs: [51, 12762, 331, 49, 7402]

# Mỗi token được gán một số ID duy nhất
# Mô hình chỉ nhìn thấy chuỗi số, không phải chữ!

So sánh tokenizer: GPT-4 BPE vs BERT WordPiece

from transformers import AutoTokenizer

text = "Tokenization là nền tảng của NLP hiện đại."

# GPT-2 / GPT-4 — dùng BPE
gpt = AutoTokenizer.from_pretrained("gpt2")
print("GPT BPE:", gpt.tokenize(text))
# ['Token', 'ization', 'Ġl', 'à', 'Ġn', 'á»\x81n', 'Ġt', 'á»\x91ng', ...]
# Ký tự Ġ = space mở đầu token

# BERT multilingual — dùng WordPiece
bert = AutoTokenizer.from_pretrained("bert-base-multilingual-cased")
print("BERT WP:", bert.tokenize(text))
# ['Token', '##ization', 'là', 'nền', 'tảng', 'của', ...]
# Ký hiệu ## = sub-token tiếp theo

# PhoBERT — BPE tinh chỉnh cho tiếng Việt
from pyvi import ViTokenizer
segmented = ViTokenizer.tokenize(text)  # Nối từ ghép trước
pho = AutoTokenizer.from_pretrained("vinai/phobert-base", use_fast=False)
print("PhoBERT:", pho.tokenize(segmented))
# Ít token hơn đáng kể vì tokenizer train riêng cho tiếng Việt

# Đếm token — thường dùng để ước lượng chi phí API
print(f"GPT tokens:    {len(gpt.tokenize(text))}")
print(f"BERT tokens:   {len(bert.tokenize(text))}")
print(f"PhoBERT tokens:{len(pho.tokenize(segmented))}")

Thuật toán BPE: huấn luyện từng bước

BPE (Sennrich và cộng sự, 2016) là thuật toán tham lam:

  1. Khởi tạo vocabulary là tất cả ký tự trong corpus.
  2. Đếm mọi cặp token liền kề xuất hiện trong corpus.
  3. Tìm cặp xuất hiện nhiều nhất, ghép thành một token mới và thêm vào vocabulary.
  4. Lặp bước 2 và 3 đến khi đạt kích thước mong muốn (thường 32 nghìn đến 100 nghìn).

Ví dụ: corpus có “lower lower lowest lowest lowest”. Cặp (l, o) xuất hiện 5 lần, ghép thành “lo”. Cặp (lo, w) xuất hiện 5 lần, ghép thành “low”. Cặp “est” có tần suất cao, tạo “est”. Kết quả: “lowest” được tách thành [“low”, “est”].

WordPiece (dùng trong BERT) khác ở cách chọn cặp: thay vì tần suất thô, tối đa hoá likelihood của ngôn ngữ, với công thức chấm điểm:

score(x,y)=f(xy)f(x)⋅f(y)\text{score}(x, y) = \frac{f(xy)}{f(x) \cdot f(y)}

Cách này tránh ghép các token phổ biến riêng lẻ (như “the”) với token khác chỉ vì chúng hay xuất hiện cùng nhau.

SentencePiece (dùng trong T5, LLaMA) không cần pre-tokenization: coi cả văn bản là chuỗi Unicode, kể cả dấu cách. Phù hợp cho ngôn ngữ không dùng khoảng trắng như tiếng Nhật và tiếng Trung.

So sánh BPE, WordPiece, SentencePiece và Unigram

Bốn thuật toán subword phổ biến, sắp theo cách xây dựng vocabulary:

  • BPE: bottom-up, tham lam. Bắt đầu từ ký tự, ghép cặp tần suất cao nhất. Đơn giản, dùng bởi GPT-2, GPT-3, GPT-4, RoBERTa.
  • WordPiece: giống BPE nhưng chọn cặp theo likelihood thay vì tần suất. Dùng bởi BERT, DistilBERT, ELECTRA.
  • Unigram LM: top-down. Bắt đầu với vocabulary lớn rồi loại dần token có likelihood thấp. Dùng bởi ALBERT và T5.
  • SentencePiece: không phải thuật toán riêng mà là framework bao ngoài (BPE hoặc Unigram) xử lý Unicode thô. Dấu cách là token bình thường, mã hoá bằng ▁. Phù hợp ngôn ngữ không có khoảng trắng. Dùng bởi LLaMA, T5, mBART.

Khi nào dùng gì?

  • Train từ đầu với corpus nhỏ: BPE đơn giản là đủ.
  • Cần chính xác về mặt thống kê: Unigram.
  • Đa ngôn ngữ, đặc biệt ngôn ngữ không có khoảng trắng: SentencePiece.
  • Thân thiện với hệ sinh thái BERT: WordPiece.

Trong thực tế, hầu hết team dùng tokenizer đi kèm mô hình đã pre-train, không train lại.

Đo chi phí token với LLM tiếng Việt

Ví dụ: một chatbot chăm sóc khách hàng tiếng Việt gọi GPT-4 với context 2.500 ký tự mỗi lượt. Dự kiến khoảng 2.000 token input và 400 token output, tức khoảng 2.400 token mỗi lượt. Theo bảng giá trong nguồn bài (0,03 USD cho 1.000 token input và 0,06 USD cho 1.000 token output, cần cập nhật theo bảng giá hiện hành), chi phí khoảng 0,084 USD mỗi lượt. Nếu chuyển sang tokenizer tối ưu cho tiếng Việt, theo nguồn bài chi phí có thể giảm 40 đến 60%.

Token đặc biệt (special tokens)

Mỗi tokenizer thường có thêm các token đặc biệt không xuất hiện trong văn bản thường:

  • [CLS] và [SEP] (BERT): mở đầu chuỗi và phân tách câu.
  • [MASK] (BERT): vị trí cần dự đoán trong masked language modeling.
  • [PAD]: đệm để đủ độ dài batch.
  • <|endoftext|> (GPT-2): đánh dấu kết thúc document. GPT-4 dùng <|im_start|> và <|im_end|> cho chat template.
  • <s> và </s> (LLaMA, T5): tương ứng BOS (beginning of sequence) và EOS (end of sequence).

Tokenizer tiếng Việt

Tiếng Việt có các đặc thù khiến tokenization mặc định cho tiếng Anh hoạt động kém:

  1. Dấu phụ: tiếng Việt có nhiều nguyên âm có dấu. Nếu tokenizer không học đủ, một chữ như “ế” có thể tách thành 2 đến 3 byte, và BPE tiếng Anh có thể tách thành 2 đến 3 token riêng.
  2. Từ ghép: “Hà Nội”, “máy tính”, “đại học” là một khái niệm nhưng tách theo khoảng trắng sẽ thành hai từ. VnCoreNLP và RDRSegmenter nối thành “Hà_Nội” trước khi tokenize.
  3. Không viết hoa nghiêm ngặt: khác tiếng Anh, chữ cái đầu tên người hoặc địa danh không luôn viết hoa, tokenizer phân biệt chữ hoa thường dễ tách thừa.
  4. Nhiều từ Hán-Việt: “phân phối”, “xác suất”, “tích phân” là từ gốc Hán. Nếu BPE không có corpus tiếng Việt đủ lớn, chúng bị chẻ vụn.

Thí nghiệm đếm token cho câu “Tôi đang học xác suất thống kê tại Đại học Bách Khoa Hà Nội”:

TokenizerSố token (xấp xỉ)Ghi chú
GPT-2 BPEKhoảng 38Chẻ dấu tiếng Việt thành byte
GPT-4 cl100k_baseKhoảng 22Cải thiện đáng kể, vẫn nhiều hơn PhoBERT
mBERT WordPieceKhoảng 18Đa ngôn ngữ, khá hợp lý
PhoBERT BPEKhoảng 13Train riêng cho tiếng Việt, giữ từ ghép
ViT5 SentencePieceKhoảng 14SentencePiece cho sinh văn bản tiếng Việt

Số liệu xấp xỉ, theo nguồn bài. Chạy thực tế có thể lệch khoảng 2 token tuỳ phiên bản.

So sánh chi tiết

Word-level

Ưu điểm: đơn giản, trực quan, giữ nguyên nghĩa từng từ. Nhược điểm: từ vựng rất lớn (hàng trăm nghìn), không xử lý được từ mới, và lỗi chính tả.

Character-level

Ưu điểm: từ vựng rất nhỏ (khoảng 100 ký tự), không bao giờ gặp OOV. Nhược điểm: chuỗi quá dài (một từ là nhiều token), mô hình khó học quan hệ giữa các từ. Ví dụ: “T” “ô” “i” “y” “ê” “u”… cho cùng câu là 14 token, gấp khoảng 3,5 lần.

Subword (BPE)

Ưu điểm: từ vựng vừa phải, xử lý OOV bằng cách chia nhỏ, giữ từ phổ biến nguyên vẹn. Nhược điểm: cần huấn luyện tokenizer trên dữ liệu lớn, ranh giới token không phải lúc nào cũng trực quan. Ví dụ: “T” “ôi” “ yêu” “ Việt” “ Nam” là 5 token; từ phổ biến được giữ, từ hiếm bị chia nhỏ.

Tóm tắt

  • Tokenization là bước đầu tiên của NLP: chia văn bản thành token để máy xử lý.
  • Word-level đơn giản nhưng từ vựng lớn và không xử lý được từ mới (OOV).
  • Character-level có từ vựng nhỏ, không OOV, nhưng chuỗi quá dài và khó giữ ngữ nghĩa.
  • Subword (BPE, WordPiece) là chuẩn hiện đại: GPT dùng BPE, BERT dùng WordPiece.
  • Tiếng Việt cần tách từ đặc biệt vì ranh giới từ phức tạp (ví dụ “Việt Nam” là một từ nhưng hai token).
  • Mỗi mô hình có tokenizer riêng; chi phí API tính theo token nên tiếng Việt thường đắt hơn tiếng Anh, theo nguồn bài khoảng 1,5 đến 3 lần.

Continue the module

Lesson 4 of 10