Thử thách
"Phở" và "bún chả" đều là món ăn Việt Nam — chúng xuất hiện trong ngữ cảnh giống nhau (nhà hàng, ngon, Hà Nội...). Word Embeddings biến từ thành TỌA ĐỘ trên bản đồ — từ có nghĩa gần thì nằm gần nhau!
Evaluating routing across providers.
AI Researcher
Phương pháp chuyển đổi từ ngữ thành vector số trong không gian nhiều chiều, nắm bắt được quan hệ ngữ nghĩa.
"Phở" và "bún chả" đều là món ăn Việt Nam — chúng xuất hiện trong ngữ cảnh giống nhau (nhà hàng, ngon, Hà Nội...). Word Embeddings biến từ thành TỌA ĐỘ trên bản đồ — từ có nghĩa gần thì nằm gần nhau!
Liên tưởng 1 — Cách bạn sắp xếp kệ sách: Khi bạn sắp kệ sách ở nhà, bạn đặt sách cùng chủ đề gần nhau: tiểu thuyết gần tiểu thuyết, sách kỹ thuật gần sách kỹ thuật. Bạn không cần ai bảo — bạn "cảm" được từ nội dung. Word embedding là bản đồ tự sắp xếp như vậy cho từ ngữ: "phở" gần "bún chả", không phải vì ai dán nhãn, mà vì chúng cùng xuất hiện trong các ngữ cảnh về ẩm thực.
Liên tưởng 2 — Map định vị Sài Gòn: Trên bản đồ Sài Gòn, Bến Thành gần phố Tây (Phạm Ngũ Lão), xa quận 9. Bạn đo khoảng cách bằng km. Trong word embedding, mỗi từ là một toạ độ trong không gian 300 chiều. Bạn đo "độ giống nghĩa" bằng cosine similarity giữa hai vector.
Liên tưởng 3 — "Vua - đàn ông + phụ nữ = hoàng hậu": Đây là đẳng thức kinh điển thể hiện word embedding không chỉ là "gần/xa" — nó còn biểu diễn được các mối quan hệ trừu tượng như "giới tính", "số ít/số nhiều", "thủ đô-quốc gia", "nguyên thể-quá khứ". Việc này gần như phép thuật khi công bố (Mikolov, 2013).
Liên tưởng 4 — Tìm kiếm ngữ nghĩa trên Shopee: Khi bạn gõ "quần jean", Shopee cũng hiện "quần bò", "quần tây" — dù bạn không gõ. Đằng sau hậu trường là embedding: các từ này có vector gần nhau. Đây là một trong những ứng dụng công nghiệp sớm nhất của word embedding.
Tại sao việc đo "gần" trong embedding khác với khoảng cách Euclid thông thường? Trong word embedding, độ dài vector phụ thuộc vào tần suất từ xuất hiện. Nếu dùng Euclid, từ hiếm sẽ "xa" tất cả vì norm nhỏ. Cosine similarity bỏ qua độ dài, chỉ đo hướng — phù hợp hơn cho đo độ tương đồng ngữ nghĩa.
Số liệu cosine trong bảng dưới theo nguồn bài, chưa kiểm chứng.
| Cặp từ | Cosine | Diễn giải |
|---|---|---|
| phở — bún chả | 0.86 | Cùng chủ đề ẩm thực |
| Hà Nội — Sài Gòn | 0.79 | Đều là thành phố lớn |
| vui — hạnh phúc | 0.72 | Cảm xúc tích cực |
| phở — máy tính | 0.11 | Khác chủ đề hoàn toàn |
| vui — buồn | 0.42 | Trái nghĩa nhưng cùng domain cảm xúc ⇒ cosine vừa |
Word Embeddings biến mỗi từ thành tọa độ trong không gian nhiều chiều. Từ có nghĩa gần thì nằm gần nhau, và phép tính vector thể hiện quan hệ ngữ nghĩa!
Giống bản đồ Việt Nam: Hà Nội gần Hải Phòng (cùng miền Bắc), xa Sài Gòn (miền Nam). Khoảng cách trên bản đồ phản ánh mối quan hệ thực tế!
Hà Nội - phở = khái niệm 'thành phố'. Cộng cơm tấm = thành phố + đặc sản cơm tấm = Sài Gòn! Embeddings mã hóa cả quan hệ địa lý-ẩm thực.
Đây là vấn đề polysemy (đa nghĩa) của embeddings cố định. Vector 'đá' là hỗn hợp của mọi ngữ cảnh mà 'đá' xuất hiện. Giải pháp: BERT và các contextual embeddings gán vector KHÁC NHAU tuỳ theo câu chứa "đá" — đây là lý do NLP hiện đại đã chuyển sang Transformer.
Đây là nền tảng của semantic search hiện đại. Encode truy vấn và sản phẩm thành vector, rồi so cosine. Tiki, Lazada, Shopee đều đã chuyển từ BoW thuần sang retrieval dựa trên embedding (BGE, E5, GTE cho tiếng Anh; pho-w2v, vietnamese-bi-encoder cho tiếng Việt).
Word Embeddings biểu diễn từ dưới dạng vector số thực trong không gian liên tục (thường 100-300 chiều). Các mô hình kinh điển như Word2Vec và GloVe đã mở đường, và ngày nay các embedding model hiện đại học được ngữ nghĩa theo ngữ cảnh.
import gensim.downloader as api
# Tải word embeddings pre-trained
model = api.load("word2vec-google-news-300")
# Tìm từ gần nhất
similar = model.most_similar("Vietnam")
print(similar[:3])
# [('Viet_Nam', 0.72), ('Cambodia', 0.68), ('Laos', 0.65)]
# Phép tính vector nổi tiếng
result = model.most_similar(
positive=["king", "woman"],
negative=["man"]
)
print(result[0]) # ('queen', 0.71)
# Đo cosine similarity
print(model.similarity("pho", "noodle")) # 0.45
print(model.similarity("pho", "car")) # 0.08import gensim
from gensim.models import Word2Vec
from pyvi import ViTokenizer
# 1. Chuẩn bị corpus — list câu, mỗi câu là list từ (đã tokenize)
raw_sentences = [
"Tôi ăn phở mỗi sáng ở Hà Nội",
"Bún chả là đặc sản Hà Nội nổi tiếng",
"Cơm tấm thơm ngon đậm chất Sài Gòn",
"Grab là ứng dụng xe ôm phổ biến tại Việt Nam",
# ... cần vài triệu câu để có embedding tốt
]
# Tách từ tiếng Việt (ViTokenizer nối 'Hà_Nội' thành 1 token)
sentences = [ViTokenizer.tokenize(s).split() for s in raw_sentences]
# 2. Huấn luyện Word2Vec (skip-gram)
model = Word2Vec(
sentences=sentences,
vector_size=100, # Số chiều embedding
window=5, # Cửa sổ ngữ cảnh
min_count=2, # Bỏ qua từ xuất hiện < 2 lần
sg=1, # 1 = skip-gram, 0 = CBOW
workers=4,
epochs=10,
)
# 3. Khám phá không gian vector
print(model.wv.most_similar("phở", topn=3))
# [('bún_chả', 0.85), ('cơm_tấm', 0.79), ('bánh_mì', 0.72)]
# 4. Phép toán vector — king-queen trên tiếng Việt
result = model.wv.most_similar(
positive=["Sài_Gòn", "phở"],
negative=["Hà_Nội"],
)
print(result[0]) # Gần 'cơm_tấm' — đặc sản Sài GònWord2Vec (Mikolov, 2013) có hai biến thể huấn luyện với logic ngược nhau:
CBOW (Continuous Bag of Words): dùng ngữ cảnh (các từ xung quanh) để dự đoán từ trung tâm. Ví dụ từ["Tôi", "ăn", "ở", "Hà Nội"] → dự đoán "phở". Nhanh, phù hợp corpus lớn, từ phổ biến.
Skip-gram: ngược lại — dùng từ trung tâm để dự đoán các từ ngữ cảnh. Từ "phở" → dự đoán ["Tôi", "ăn", "ở", "Hà Nội"]. Chậm hơn nhưng tốt hơn cho từ hiếm.
Negative sampling: kỹ thuật tăng tốc — thay vì softmax trên toàn bộ vocabulary (triệu từ), chỉ cập nhật với vài từ "giả" (negative samples). Giảm chi phí từ O(V) xuống O(k) với k = 5-20.
Kết quả thực nghiệm: skip-gram + negative sampling thường cho embedding tốt nhất cho NLP hiện đại (trước khi Transformer thay thế).
Word embedding chỉ là bước khởi đầu. Trong các hệ thống NLP hiện đại, chúng ta thường cần vector cho cả câu hoặc đoạn văn, không phải từng từ:
Trong tiếng Việt, các lựa chọn phổ biến cho semantic search: vinai/phobert-base (với mean pooling), bkai-foundation-models/vietnamese-bi-encoder (train riêng cho retrieval), hoặc OpenAI API nếu quy mô nhỏ.
from sentence_transformers import SentenceTransformer, util
import torch
# Load model tiếng Việt
model = SentenceTransformer(
"bkai-foundation-models/vietnamese-bi-encoder"
)
# Cơ sở dữ liệu sản phẩm của shop thời trang
products = [
"Áo khoác dạ nam ấm mùa đông",
"Giày sneaker thể thao chạy bộ",
"Quần jean slim nam basic",
"Áo thun polo cổ trụ nam",
"Jacket nỉ trơn đi chơi lạnh",
]
prod_emb = model.encode(products, convert_to_tensor=True)
# User gõ truy vấn
query = "áo ấm cho mùa lạnh"
q_emb = model.encode(query, convert_to_tensor=True)
# Tìm top-3 sản phẩm gần nghĩa nhất
scores = util.cos_sim(q_emb, prod_emb)[0]
top3 = torch.topk(scores, 3)
for score, idx in zip(top3.values, top3.indices):
print(f"{score:.3f} - {products[idx]}")
# 0.872 - Jacket nỉ trơn đi chơi lạnh
# 0.845 - Áo khoác dạ nam ấm mùa đông
# 0.412 - Áo thun polo cổ trụ namSo sánh các thuật toán embedding kinh điển:
Quy trình chuẩn cho semantic search tiếng Việt:
Ví dụ minh hoạ (giả định, không phải dữ liệu của Viettel): knowledge base CSKH
Giả sử đội CSKH có 50.000 câu hỏi thường gặp về gói cước, dịch vụ, khuyến mãi. Cách cũ (BoW + TF-IDF) bắt keyword chính xác nhưng hỏng khi user dùng synonym ("5G" vs "mạng nhanh", "gói cước" vs "data"). Sau khi chuyển sang bi-encoder tiếng Việt, recall@5 tăng từ 62% lên 89%, user resolution rate tăng 20%. Đầu tư: 1 tuần kỹ sư và GPU T4 giá rẻ.
| Cách biểu diễn | Số chiều | Ngữ nghĩa | Dạng |
|---|---|---|---|
| BoW / TF-IDF | Rất lớn (~100K) | Không | Thưa (sparse) |
| Word2Vec / GloVe | Nhỏ (100-300) | Có | Dày (dense) |
| BERT / GPT | Lớn (768-1024) | Có + ngữ cảnh | Dày (dense) |