Thử thách
Bạn vừa dùng các từ xung quanh ("ăn", "Hà Nội", "buổi sáng") để đoán từ ở giữa! Word2Vec học chính xác theo cách này — nó hiểu nghĩa từ bằng cách nhìn "hàng xóm" của từ đó.
Evaluating routing across providers.
AI Researcher
Mô hình học biểu diễn từ bằng cách dự đoán từ dựa trên ngữ cảnh xung quanh, sử dụng cửa sổ trượt.
Bạn vừa dùng các từ xung quanh ("ăn", "Hà Nội", "buổi sáng") để đoán từ ở giữa! Word2Vec học chính xác theo cách này — nó hiểu nghĩa từ bằng cách nhìn "hàng xóm" của từ đó.
Word2Vec học nghĩa từ bằng cách dự đoán "hàng xóm" — giống câu nói "Hãy cho tôi biết bạn chơi với ai, tôi sẽ nói bạn là ai"!
Skip-gram: cho 1 từ, đoán ngữ cảnh. CBOW: cho ngữ cảnh, đoán 1 từ. Cả hai đều tạo ra word embeddings chất lượng — chỉ khác hướng dự đoán.
'Phở' và 'pizza' đều xuất hiện cùng 'ăn', 'ngon', 'nhà hàng' → gần nhau ở chiều 'ẩm thực'. Nhưng khác nhau ở chiều 'văn hóa' (Việt vs Ý). Embeddings nắm bắt CẢ HAI khía cạnh!
| Kiến trúc | Dự đoán | Khi nào chọn |
|---|---|---|
| Skip-gram | Từ trung tâm → dự đoán ngữ cảnh | Tốt với từ hiếm; tập dữ liệu nhỏ |
| CBOW | Ngữ cảnh → dự đoán từ trung tâm | Nhanh hơn; tập dữ liệu lớn |
Hai kiến trúc của Word2Vec — cùng mục tiêu (tạo embeddings), khác cách huấn luyện.
Word2Vec (Mikolov et al., Google 2013) là mô hình neural network nông (shallow) học word embeddings từ dữ liệu văn bản lớn, là đối thủ trực tiếp với GloVe ở cùng thế hệ.
from gensim.models import Word2Vec
# Dữ liệu tiếng Việt
sentences = [
["tôi", "thích", "ăn", "phở", "Hà", "Nội"],
["phở", "bò", "rất", "ngon"],
["bún", "chả", "là", "món", "ăn", "Hà", "Nội"],
["tôi", "thích", "ăn", "bún", "chả"],
["Grab", "là", "ứng", "dụng", "gọi", "xe", "máy"],
]
# Huấn luyện Word2Vec Skip-gram
model = Word2Vec(
sentences,
vector_size=100, # Số chiều embedding
window=3, # Cửa sổ ngữ cảnh
min_count=1, # Tần suất tối thiểu
sg=1, # 1 = Skip-gram, 0 = CBOW
epochs=100,
)
# Tìm từ tương tự
print(model.wv.most_similar("phở", topn=3))
# [('bún', 0.92), ('ngon', 0.85), ('ăn', 0.83)]
# Vector của từ
print(f"Vector 'phở': {model.wv['phở'][:5]}...")
# Vector 'phở': [0.12, -0.34, 0.56, 0.01, -0.78]...