ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← NLP & Multimodal

AI Researcher

Word2Vec - Từ thành vector

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình học biểu diễn từ bằng cách dự đoán từ dựa trên ngữ cảnh xung quanh, sử dụng cửa sổ trượt.

lesson102 minNLP & MultimodalAI Researcher

Thử thách

Câu "Tôi thích ăn ___ Hà Nội vào buổi sáng". Dựa vào các từ xung quanh, từ nào điền vào chỗ trống?

Bạn vừa dùng các từ xung quanh ("ăn", "Hà Nội", "buổi sáng") để đoán từ ở giữa! Word2Vec học chính xác theo cách này — nó hiểu nghĩa từ bằng cách nhìn "hàng xóm" của từ đó.

Khoảnh khắc A-ha

Word2Vec học nghĩa từ bằng cách dự đoán "hàng xóm" — giống câu nói "Hãy cho tôi biết bạn chơi với ai, tôi sẽ nói bạn là ai"!

Skip-gram: cho 1 từ, đoán ngữ cảnh. CBOW: cho ngữ cảnh, đoán 1 từ. Cả hai đều tạo ra word embeddings chất lượng — chỉ khác hướng dự đoán.

Thử thách nhanh

Từ 'phở' và 'bún chả' có vector gần nhau vì Word2Vec thấy chúng xuất hiện với ngữ cảnh giống nhau. Nhưng 'phở' và 'pizza' thì sao?

'Phở' và 'pizza' đều xuất hiện cùng 'ăn', 'ngon', 'nhà hàng' → gần nhau ở chiều 'ẩm thực'. Nhưng khác nhau ở chiều 'văn hóa' (Việt vs Ý). Embeddings nắm bắt CẢ HAI khía cạnh!

Skip-gram vs CBOW

Kiến trúcDự đoánKhi nào chọn
Skip-gramTừ trung tâm → dự đoán ngữ cảnhTốt với từ hiếm; tập dữ liệu nhỏ
CBOWNgữ cảnh → dự đoán từ trung tâmNhanh hơn; tập dữ liệu lớn

Hai kiến trúc của Word2Vec — cùng mục tiêu (tạo embeddings), khác cách huấn luyện.

Lý thuyết

Word2Vec (Mikolov et al., Google 2013) là mô hình neural network nông (shallow) học word embeddings từ dữ liệu văn bản lớn, là đối thủ trực tiếp với GloVe ở cùng thế hệ.

word2vec_demo.py

from gensim.models import Word2Vec

# Dữ liệu tiếng Việt
sentences = [
    ["tôi", "thích", "ăn", "phở", "Hà", "Nội"],
    ["phở", "bò", "rất", "ngon"],
    ["bún", "chả", "là", "món", "ăn", "Hà", "Nội"],
    ["tôi", "thích", "ăn", "bún", "chả"],
    ["Grab", "là", "ứng", "dụng", "gọi", "xe", "máy"],
]

# Huấn luyện Word2Vec Skip-gram
model = Word2Vec(
    sentences,
    vector_size=100,  # Số chiều embedding
    window=3,         # Cửa sổ ngữ cảnh
    min_count=1,      # Tần suất tối thiểu
    sg=1,             # 1 = Skip-gram, 0 = CBOW
    epochs=100,
)

# Tìm từ tương tự
print(model.wv.most_similar("phở", topn=3))
# [('bún', 0.92), ('ngon', 0.85), ('ăn', 0.83)]

# Vector của từ
print(f"Vector 'phở': {model.wv['phở'][:5]}...")
# Vector 'phở': [0.12, -0.34, 0.56, 0.01, -0.78]...

Tóm tắt

  • Word2Vec học embeddings bằng cách dự đoán từ dựa trên ngữ cảnh (cửa sổ trượt).
  • Skip-gram: từ trung tâm → đoán ngữ cảnh. CBOW: ngữ cảnh → đoán từ trung tâm.
  • Cửa sổ nhỏ (2-3) → cú pháp. Cửa sổ lớn (5-10) → ngữ nghĩa.
  • Negative Sampling thay thế softmax đầy đủ → huấn luyện nhanh hơn hàng trăm lần.
  • Tạo ra embeddings chất lượng: vua - đàn ông + phụ nữ ≈ hoàng hậu.

Continue the module

Lesson 2 of 13