ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Word Embeddings - Biểu diễn từ dạng vector

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Phương pháp chuyển đổi từ ngữ thành vector số trong không gian nhiều chiều, nắm bắt được quan hệ ngữ nghĩa.

lesson102 minNLP & MultimodalAI Researcher

Thử thách

Trong "bản đồ từ ngữ", từ nào sẽ nằm GẦN "phở" nhất?

"Phở" và "bún chả" đều là món ăn Việt Nam — chúng xuất hiện trong ngữ cảnh giống nhau (nhà hàng, ngon, Hà Nội...). Word Embeddings biến từ thành TỌA ĐỘ trên bản đồ — từ có nghĩa gần thì nằm gần nhau!

Liên tưởng

Liên tưởng 1 — Cách bạn sắp xếp kệ sách: Khi bạn sắp kệ sách ở nhà, bạn đặt sách cùng chủ đề gần nhau: tiểu thuyết gần tiểu thuyết, sách kỹ thuật gần sách kỹ thuật. Bạn không cần ai bảo — bạn "cảm" được từ nội dung. Word embedding là bản đồ tự sắp xếp như vậy cho từ ngữ: "phở" gần "bún chả", không phải vì ai dán nhãn, mà vì chúng cùng xuất hiện trong các ngữ cảnh về ẩm thực.

Liên tưởng 2 — Map định vị Sài Gòn: Trên bản đồ Sài Gòn, Bến Thành gần phố Tây (Phạm Ngũ Lão), xa quận 9. Bạn đo khoảng cách bằng km. Trong word embedding, mỗi từ là một toạ độ trong không gian 300 chiều. Bạn đo "độ giống nghĩa" bằng cosine similarity giữa hai vector.

Liên tưởng 3 — "Vua - đàn ông + phụ nữ = hoàng hậu": Đây là đẳng thức kinh điển thể hiện word embedding không chỉ là "gần/xa" — nó còn biểu diễn được các mối quan hệ trừu tượng như "giới tính", "số ít/số nhiều", "thủ đô-quốc gia", "nguyên thể-quá khứ". Việc này gần như phép thuật khi công bố (Mikolov, 2013).

Liên tưởng 4 — Tìm kiếm ngữ nghĩa trên Shopee: Khi bạn gõ "quần jean", Shopee cũng hiện "quần bò", "quần tây" — dù bạn không gõ. Đằng sau hậu trường là embedding: các từ này có vector gần nhau. Đây là một trong những ứng dụng công nghiệp sớm nhất của word embedding.

Đọc hiểu embedding

Tại sao việc đo "gần" trong embedding khác với khoảng cách Euclid thông thường? Trong word embedding, độ dài vector phụ thuộc vào tần suất từ xuất hiện. Nếu dùng Euclid, từ hiếm sẽ "xa" tất cả vì norm nhỏ. Cosine similarity bỏ qua độ dài, chỉ đo hướng — phù hợp hơn cho đo độ tương đồng ngữ nghĩa.

Số liệu cosine trong bảng dưới theo nguồn bài, chưa kiểm chứng.

Cặp từCosineDiễn giải
phở — bún chả0.86Cùng chủ đề ẩm thực
Hà Nội — Sài Gòn0.79Đều là thành phố lớn
vui — hạnh phúc0.72Cảm xúc tích cực
phở — máy tính0.11Khác chủ đề hoàn toàn
vui — buồn0.42Trái nghĩa nhưng cùng domain cảm xúc ⇒ cosine vừa

Khoảnh khắc A-ha

Word Embeddings biến mỗi từ thành tọa độ trong không gian nhiều chiều. Từ có nghĩa gần thì nằm gần nhau, và phép tính vector thể hiện quan hệ ngữ nghĩa!

Giống bản đồ Việt Nam: Hà Nội gần Hải Phòng (cùng miền Bắc), xa Sài Gòn (miền Nam). Khoảng cách trên bản đồ phản ánh mối quan hệ thực tế!

Thử thách nhanh

Nếu vector('Hà Nội') - vector('phở') + vector('cơm tấm'), kết quả sẽ gần vector nào nhất?

Hà Nội - phở = khái niệm 'thành phố'. Cộng cơm tấm = thành phố + đặc sản cơm tấm = Sài Gòn! Embeddings mã hóa cả quan hệ địa lý-ẩm thực.

Từ "đá" có thể là động từ ("đá bóng") hoặc danh từ ("hòn đá"). Word2Vec gán MỘT vector duy nhất cho "đá". Điều gì xảy ra?

Đây là vấn đề polysemy (đa nghĩa) của embeddings cố định. Vector 'đá' là hỗn hợp của mọi ngữ cảnh mà 'đá' xuất hiện. Giải pháp: BERT và các contextual embeddings gán vector KHÁC NHAU tuỳ theo câu chứa "đá" — đây là lý do NLP hiện đại đã chuyển sang Transformer.

Bạn xây hệ thống tìm kiếm bán hàng tiếng Việt. User gõ 'áo khoác ấm'. Hệ thống truyền thống (BoW) không tìm được sản phẩm 'jacket mùa đông'. Dùng word embedding giải quyết thế nào?

Đây là nền tảng của semantic search hiện đại. Encode truy vấn và sản phẩm thành vector, rồi so cosine. Tiki, Lazada, Shopee đều đã chuyển từ BoW thuần sang retrieval dựa trên embedding (BGE, E5, GTE cho tiếng Anh; pho-w2v, vietnamese-bi-encoder cho tiếng Việt).

Lý thuyết

Word Embeddings biểu diễn từ dưới dạng vector số thực trong không gian liên tục (thường 100-300 chiều). Các mô hình kinh điển như Word2Vec và GloVe đã mở đường, và ngày nay các embedding model hiện đại học được ngữ nghĩa theo ngữ cảnh.

word_embeddings_demo.py

import gensim.downloader as api

# Tải word embeddings pre-trained
model = api.load("word2vec-google-news-300")

# Tìm từ gần nhất
similar = model.most_similar("Vietnam")
print(similar[:3])
# [('Viet_Nam', 0.72), ('Cambodia', 0.68), ('Laos', 0.65)]

# Phép tính vector nổi tiếng
result = model.most_similar(
    positive=["king", "woman"],
    negative=["man"]
)
print(result[0])  # ('queen', 0.71)

# Đo cosine similarity
print(model.similarity("pho", "noodle"))  # 0.45
print(model.similarity("pho", "car"))     # 0.08

Huấn luyện Word2Vec từ corpus tiếng Việt

import gensim
from gensim.models import Word2Vec
from pyvi import ViTokenizer

# 1. Chuẩn bị corpus — list câu, mỗi câu là list từ (đã tokenize)
raw_sentences = [
    "Tôi ăn phở mỗi sáng ở Hà Nội",
    "Bún chả là đặc sản Hà Nội nổi tiếng",
    "Cơm tấm thơm ngon đậm chất Sài Gòn",
    "Grab là ứng dụng xe ôm phổ biến tại Việt Nam",
    # ... cần vài triệu câu để có embedding tốt
]
# Tách từ tiếng Việt (ViTokenizer nối 'Hà_Nội' thành 1 token)
sentences = [ViTokenizer.tokenize(s).split() for s in raw_sentences]

# 2. Huấn luyện Word2Vec (skip-gram)
model = Word2Vec(
    sentences=sentences,
    vector_size=100,      # Số chiều embedding
    window=5,             # Cửa sổ ngữ cảnh
    min_count=2,          # Bỏ qua từ xuất hiện < 2 lần
    sg=1,                 # 1 = skip-gram, 0 = CBOW
    workers=4,
    epochs=10,
)

# 3. Khám phá không gian vector
print(model.wv.most_similar("phở", topn=3))
# [('bún_chả', 0.85), ('cơm_tấm', 0.79), ('bánh_mì', 0.72)]

# 4. Phép toán vector — king-queen trên tiếng Việt
result = model.wv.most_similar(
    positive=["Sài_Gòn", "phở"],
    negative=["Hà_Nội"],
)
print(result[0])  # Gần 'cơm_tấm' — đặc sản Sài Gòn

Skip-gram vs CBOW

Word2Vec (Mikolov, 2013) có hai biến thể huấn luyện với logic ngược nhau:

CBOW (Continuous Bag of Words): dùng ngữ cảnh (các từ xung quanh) để dự đoán từ trung tâm. Ví dụ từ["Tôi", "ăn", "ở", "Hà Nội"] → dự đoán "phở". Nhanh, phù hợp corpus lớn, từ phổ biến.

Skip-gram: ngược lại — dùng từ trung tâm để dự đoán các từ ngữ cảnh. Từ "phở" → dự đoán ["Tôi", "ăn", "ở", "Hà Nội"]. Chậm hơn nhưng tốt hơn cho từ hiếm.

Negative sampling: kỹ thuật tăng tốc — thay vì softmax trên toàn bộ vocabulary (triệu từ), chỉ cập nhật với vài từ "giả" (negative samples). Giảm chi phí từ O(V) xuống O(k) với k = 5-20.

Kết quả thực nghiệm: skip-gram + negative sampling thường cho embedding tốt nhất cho NLP hiện đại (trước khi Transformer thay thế).

Từ Word2Vec đến sentence embedding

Word embedding chỉ là bước khởi đầu. Trong các hệ thống NLP hiện đại, chúng ta thường cần vector cho cả câu hoặc đoạn văn, không phải từng từ:

  • Sentence-BERT (SBERT, 2019): fine-tune BERT với contrastive loss để vector câu trở nên có ý nghĩa khi đo cosine. Đây là bước nhảy từ word-level sang sentence-level.
  • E5, BGE, GTE (2023-2024): các embedding model hiện đại train trên hàng tỷ cặp câu (query-passage), tối ưu cho retrieval. Là xương sống của RAG.
  • Cross-encoder vs Bi-encoder: Bi-encoder (như SBERT) encode câu độc lập → nhanh nhưng accuracy thấp hơn. Cross-encoder encode cặp câu cùng lúc → chính xác hơn nhưng chậm. Pattern thực tế: bi-encoder cho retrieval, cross-encoder cho reranking.
  • OpenAI text-embedding-3, Cohere Embed v3: dịch vụ API cho embedding chất lượng cao, hỗ trợ tiếng Việt. Nhược điểm: chi phí + vendor lock-in.

Trong tiếng Việt, các lựa chọn phổ biến cho semantic search: vinai/phobert-base (với mean pooling), bkai-foundation-models/vietnamese-bi-encoder (train riêng cho retrieval), hoặc OpenAI API nếu quy mô nhỏ.

Semantic search tiếng Việt bằng sentence embedding

from sentence_transformers import SentenceTransformer, util
import torch

# Load model tiếng Việt
model = SentenceTransformer(
    "bkai-foundation-models/vietnamese-bi-encoder"
)

# Cơ sở dữ liệu sản phẩm của shop thời trang
products = [
    "Áo khoác dạ nam ấm mùa đông",
    "Giày sneaker thể thao chạy bộ",
    "Quần jean slim nam basic",
    "Áo thun polo cổ trụ nam",
    "Jacket nỉ trơn đi chơi lạnh",
]
prod_emb = model.encode(products, convert_to_tensor=True)

# User gõ truy vấn
query = "áo ấm cho mùa lạnh"
q_emb = model.encode(query, convert_to_tensor=True)

# Tìm top-3 sản phẩm gần nghĩa nhất
scores = util.cos_sim(q_emb, prod_emb)[0]
top3 = torch.topk(scores, 3)
for score, idx in zip(top3.values, top3.indices):
    print(f"{score:.3f} - {products[idx]}")
# 0.872 - Jacket nỉ trơn đi chơi lạnh
# 0.845 - Áo khoác dạ nam ấm mùa đông
# 0.412 - Áo thun polo cổ trụ nam

So sánh các thuật toán embedding

So sánh các thuật toán embedding kinh điển:

  • Word2Vec (Mikolov, 2013): predict context từ center word (skip-gram) hoặc ngược lại (CBOW). Đơn giản, nhanh, nhưng không tận dụng được thống kê toàn cục.
  • GloVe (Pennington, 2014): kết hợp matrix factorization với local context. Thường cho kết quả tương đương Word2Vec nhưng hội tụ nhanh hơn trên corpus lớn.
  • fastText (Bojanowski, 2017): dùng n-gram ký tự — xử lý được từ hiếm và OOV. Hoạt động tốt với các ngôn ngữ có hình thái phong phú (morphology-rich languages).
  • ELMo (Peters, 2018): lần đầu cung cấp contextual embedding bằng bi-LSTM. Đã giải quyết một phần vấn đề polysemy.
  • BERT (Devlin, 2018): contextual embedding dùng Transformer — chuẩn vàng cho NLP hiện đại.

Embedding trong production

Quy trình chuẩn cho semantic search tiếng Việt:

  1. Preprocessing: làm sạch văn bản (bỏ HTML, emoji dư thừa, normalize dấu), chia câu dài thành đoạn 200-300 token để tôn trọng giới hạn context của embedding model.
  2. Chọn model: cho tiếng Việt, cân nhắc PhoBERT-based bi-encoder (chạy local, free) hay OpenAI API (chất lượng cao, trả phí). Với dataset 1M+ chunk, cân bằng tốt nhất là model open source chạy trên GPU của bạn.
  3. Encode & index: chạy batch encode, lưu vector vào vector database (Qdrant, Milvus, pgvector Supabase). Cần approximate nearest neighbor (HNSW) để scale.
  4. Retrieval + rerank: bi-encoder lấy top-50, sau đó cross-encoder rerank xuống top-5. Cross-encoder (như BKAI vietnamese-rerank) cho độ chính xác cao hơn.
  5. Monitor drift: theo dõi phân phối truy vấn theo thời gian. Nếu user bắt đầu hỏi về chủ đề mới (ví dụ COVID xuất hiện 2020), bạn có thể cần retrain/fine-tune embedding trên dữ liệu mới.

Ví dụ minh hoạ (giả định, không phải dữ liệu của Viettel): knowledge base CSKH

Giả sử đội CSKH có 50.000 câu hỏi thường gặp về gói cước, dịch vụ, khuyến mãi. Cách cũ (BoW + TF-IDF) bắt keyword chính xác nhưng hỏng khi user dùng synonym ("5G" vs "mạng nhanh", "gói cước" vs "data"). Sau khi chuyển sang bi-encoder tiếng Việt, recall@5 tăng từ 62% lên 89%, user resolution rate tăng 20%. Đầu tư: 1 tuần kỹ sư và GPU T4 giá rẻ.

So sánh phương pháp

Cách biểu diễnSố chiềuNgữ nghĩaDạng
BoW / TF-IDFRất lớn (~100K)KhôngThưa (sparse)
Word2Vec / GloVeNhỏ (100-300)CóDày (dense)
BERT / GPTLớn (768-1024)Có + ngữ cảnhDày (dense)

Tóm tắt

  • Embeddings biến từ thành vector dense (100-300 chiều) — nắm bắt ngữ nghĩa.
  • Từ tương tự nằm gần nhau: 'phở' gần 'bún chả', xa 'xe máy'.
  • Phép tính vector có ý nghĩa: vua - đàn ông + phụ nữ ≈ hoàng hậu.
  • Cosine similarity đo mức tương đồng giữa hai từ (từ -1 đến 1).
  • Nền tảng cho mọi mô hình NLP hiện đại: Word2Vec → GloVe → BERT → GPT.
  • Hạn chế: không xử lý đa nghĩa (polysemy) và thừa kế bias từ corpus — cần debias khi triển khai.

Continue the module

Lesson 1 of 13