ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← RAG & Agents

AI Builder

Mô hình nhúng văn bản

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Mô hình chuyển văn bản thành vector số học, cho phép máy tính hiểu và so sánh ý nghĩa ngữ nghĩa.

lesson94 minRAG & AgentsAI Engineer

Thử đoán

Máy tính chỉ hiểu số. Làm sao để nó biết 'vua' và 'hoàng đế' có nghĩa GIỐNG nhau, trong khi 'vua' và 'mèo' thì KHÁC nhau?

Đúng! Embedding model chuyển text thành vector số. Từ giống nghĩa → vector gần nhau trong 'không gian ngữ nghĩa'. Đây là nền tảng cho tìm kiếm ngữ nghĩa, RAG, và mọi ứng dụng AI hiểu ngôn ngữ.

Bản đồ ngữ nghĩa

Các từ cùng chủ đề thường có embedding gần nhau. Bảng dưới liệt kê vài ví dụ lấy từ chính bài học.

Chủ đềVí dụ
Quyền lựcvua, hoàng đế
Động vậtmèo, chó
Màu sắcxanh, đỏ
Công nghệmáy tính
Cảm xúcvui

'vua' và 'hoàng đế' có vector gần nhau, 'mèo' và 'chó' cũng gần nhau. Model học điều này từ ngữ cảnh xuất hiện chứ không được dạy định nghĩa rõ ràng.

Tìm láng giềng

Trong các từ sau, từ nào có vector gần 'mèo' nhất?

Aha & thách thức

Embedding model chuyển text thành vector trong không gian nhiều chiều. Từ/câu giống nghĩa → vector gần nhau → cosine similarity cao. Đây là nền tảng cho tìm kiếm ngữ nghĩa, lưu trữ trong vector database, và kế thừa từ ý tưởng word embeddings cổ điển. Điều kỳ diệu: model chưa bao giờ được dạy rõ "vua và hoàng đế là đồng nghĩa" — nó tự học từ việc thấy chúng xuất hiện trong các ngữ cảnh tương tự.

'Phở bò Hà Nội' và 'Beef pho from Hanoi' — cosine similarity sẽ như thế nào với một embedding model đa ngôn ngữ?

Multilingual embedding models (Cohere multilingual, BGE-M3, LaBSE, E5-multilingual) hiểu ngữ nghĩa XUYÊN ngôn ngữ. 'Phở bò Hà Nội' và 'Beef pho from Hanoi' sẽ có vector rất gần nhau dù khác ngôn ngữ. Đây là lợi thế lớn khi xây hệ thống search hoặc RAG cho người dùng đa ngôn ngữ.

Bạn có 1 triệu document và muốn tìm document gần nhất với mỗi query. So sánh cosine với TẤT CẢ 1 triệu mỗi lần query thì quá chậm. Giải pháp đúng là gì?

Vector database (Pinecone, Weaviate, Qdrant, Milvus, pgvector) dùng thuật toán ANN như HNSW hoặc IVF để tìm top-K nearest neighbors trong O(log N) thay vì O(N). Trade-off là recall không phải 100% nhưng thường > 95% với tham số đúng. Đây là bước bắt buộc để scale semantic search lên hàng triệu vector.

Giải thích

Embedding model chuyển đổi text (từ, câu, đoạn văn) thành vector số trong không gian nhiều chiều (thường 384– 3072 chiều). Mỗi chiều đại diện một khía cạnh ý nghĩa mà model đã học từ hàng tỷ câu văn trên Internet.

Bản chất toán học: embedding là một hàm f:text→Rdf: \text{text} \to \mathbb{R}^d, với dd là số chiều (384, 768, 1024, 1536, 3072 tuỳ model). Hàm ff được học sao cho text giống nghĩa → vector gần nhau theo metric cosine.

Các embedding model phổ biến năm 2025:

ModelNhà cung cấpChiềuĐặc điểm
text-embedding-3-largeOpenAI3072Chất lượng cao, Matryoshka (truncate xuống 256/512/1024)
text-embedding-3-smallOpenAI1536Rẻ hơn 5x so với -large, đủ tốt cho hầu hết use case
BGE-M3BAAI (open-source)1024Đa ngôn ngữ, dense + sparse + multi-vector, hỗ trợ tiếng Việt tốt
voyage-3-largeVoyage AI1024Tối ưu cho RAG, top MTEB
Cohere embed-v3Cohere1024100+ ngôn ngữ, tốt cho tiếng Việt
all-MiniLM-L6-v2Sentence-Transformers (OSS)384Nhẹ, chạy local trên CPU, tiếng Anh
E5-mistral-7bMicrosoft (OSS)4096SOTA open-source, dùng Mistral làm backbone

openai_embeddings.py — gọi API OpenAI và tính similarity

"""
Ví dụ: gọi API OpenAI để tạo embedding cho nhiều câu,
sau đó tính cosine similarity giữa các cặp.

Cài đặt:
    pip install openai numpy

Cần OPENAI_API_KEY trong biến môi trường.
"""

from openai import OpenAI
import numpy as np

client = OpenAI()

# 1) Chuẩn bị danh sách câu (nhiều ngôn ngữ để test multilingual)
texts = [
    "Phở bò Hà Nội rất ngon",         # 0
    "Bún chả là đặc sản Hà Nội",       # 1
    "Beef pho from Hanoi is delicious",# 2 — tiếng Anh
    "Python là ngôn ngữ lập trình",    # 3
    "JavaScript dùng để lập trình web",# 4
    "Mèo thích ngủ trên sofa",         # 5
    "Chó là bạn thân của con người",   # 6
]

# 2) Gọi API batch — tạo tất cả embedding trong 1 request (rẻ & nhanh)
response = client.embeddings.create(
    model="text-embedding-3-small",   # 1536 chiều
    input=texts,
    encoding_format="float",          # mặc định
)

# response.data[i].embedding là list[float] có 1536 phần tử
vectors = np.array([d.embedding for d in response.data])
print("Shape của ma trận embedding:", vectors.shape)
# → (7, 1536)

# 3) Cosine similarity giữa hai vector
def cosine(a: np.ndarray, b: np.ndarray) -> float:
    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))

# 4) In ma trận similarity 7x7
print("\n=== Cosine Similarity Matrix ===")
print(" " * 32 + "  ".join(f"{i:4d}" for i in range(len(texts))))
for i, ti in enumerate(texts):
    row = []
    for j, tj in enumerate(texts):
        row.append(f"{cosine(vectors[i], vectors[j]):.2f}")
    short = (ti[:28] + "..") if len(ti) > 28 else ti.ljust(30)
    print(f"{i} {short}  " + "  ".join(row))

# Kết quả kỳ vọng:
# - (0, 1) cao (~0.65): 2 câu ẩm thực Hà Nội
# - (0, 2) cao (~0.80): cùng nghĩa dù khác ngôn ngữ (đa ngôn ngữ!)
# - (3, 4) cao (~0.70): 2 câu về lập trình
# - (5, 6) cao (~0.70): 2 câu về vật nuôi
# - (0, 3) thấp (~0.10): ẩm thực vs lập trình

# 5) Tìm nearest neighbor cho query
query = "Tôi muốn ăn món Hà Nội"
query_vec = np.array(
    client.embeddings.create(
        model="text-embedding-3-small",
        input=[query],
    ).data[0].embedding
)

sims = [cosine(query_vec, v) for v in vectors]
ranked = sorted(enumerate(sims), key=lambda x: -x[1])

print(f"\nTop-3 gần nhất với: '{query}'")
for rank, (idx, sim) in enumerate(ranked[:3], 1):
    print(f"  {rank}. [{sim:.3f}] {texts[idx]}")

# Dự kiến top-1 là "Phở bò Hà Nội rất ngon" hoặc "Bún chả là đặc sản Hà Nội"
# → đây chính là cơ sở cho semantic search.

sentence_transformers_local.py — chạy embedding LOCAL không cần API

"""
Chạy embedding hoàn toàn local bằng sentence-transformers.
Không tốn tiền API, không phụ thuộc Internet, dùng được cho
dữ liệu nhạy cảm (y tế, nội bộ doanh nghiệp).

Cài đặt:
    pip install sentence-transformers

Model nhỏ (all-MiniLM-L6-v2) chỉ ~80 MB, chạy được trên CPU.
"""

from sentence_transformers import SentenceTransformer
import numpy as np

# Model đa ngôn ngữ, hỗ trợ tiếng Việt tốt
model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")

# 1) Encode corpus — 1 lần, lưu ra disk, sau đó dùng lại
corpus = [
    "Phở bò Hà Nội rất ngon",
    "Bún chả là đặc sản Hà Nội",
    "Beef pho from Hanoi is delicious",
    "Python là ngôn ngữ lập trình",
    "JavaScript dùng để lập trình web",
    "Mèo thích ngủ trên sofa",
    "Chó là bạn thân của con người",
]

corpus_embeddings = model.encode(
    corpus,
    normalize_embeddings=True,   # QUAN TRỌNG: normalize để cosine = dot product
    batch_size=32,
    show_progress_bar=True,
)
# Shape: (7, 384)

# 2) Query → encode → tìm top-K gần nhất
query = "Tôi muốn ăn món Hà Nội"
query_embedding = model.encode([query], normalize_embeddings=True)[0]

# Dot product (vì đã normalize)
similarities = corpus_embeddings @ query_embedding  # shape (7,)
top_k_idx = np.argsort(-similarities)[:3]

print(f"Query: '{query}'")
for rank, idx in enumerate(top_k_idx, 1):
    print(f"  #{rank}  [{similarities[idx]:.3f}]  {corpus[idx]}")

# 3) Lưu corpus embeddings ra disk — reload nhanh cho lần sau
np.save("corpus_embeddings.npy", corpus_embeddings)
# Lần sau:
#   corpus_embeddings = np.load("corpus_embeddings.npy")

# 4) Semantic similarity giữa 2 câu bất kỳ
from sentence_transformers.util import cos_sim
sim = cos_sim(corpus_embeddings[0], corpus_embeddings[2])
print(f"\n'{corpus[0]}' vs '{corpus[2]}' → {sim.item():.3f}")
# → ~0.82: cùng nghĩa dù khác ngôn ngữ (Việt vs Anh)

# 5) Benchmark tốc độ (trên CPU M1 MacBook):
#    - OpenAI API: ~200ms/request + chi phí
#    - sentence-transformers local: ~20ms/câu, miễn phí
#    → Production thường dùng LOCAL cho throughput cao.

Chi tiết kỹ thuật — Embedding được tạo ra thế nào?

Bản chất: Embedding model hầu hết là một Transformer encoder (ví dụ BERT, RoBERTa, hoặc LLM fine-tuned). Quy trình:

  1. Tokenize văn bản thành các token (subword). Câu "Phở ngon" có thể thành ["Ph", "ở", "ngon"] .
  2. Embed từng token thành vector (lookup trong embedding table), cộng với positional encoding.
  3. Cho qua nhiều lớp Transformer encoder — self-attention làm mỗi token "nhìn" các token khác để cập nhật representation.
  4. Pooling: gộp tất cả token vector thành một vector duy nhất — thường dùng[CLS] token hoặc mean pooling (trung bình cộng).
  5. Normalize (optional): chia cho norm → vector nằm trên hypersphere đơn vị.

Training objective: Contrastive learning. Cho cặp câu đồng nghĩa (anchor, positive) và câu không liên quan (negatives). Loss hàm kéo anchor gần positive, đẩy xa negatives:

L=−log⁡exp⁡(sim(a,p)/τ)exp⁡(sim(a,p)/τ)+∑nexp⁡(sim(a,n)/τ)\mathcal{L} = -\log \frac{\exp(\text{sim}(a, p) / \tau)}{\exp(\text{sim}(a, p) / \tau) + \sum_{n} \exp(\text{sim}(a, n) / \tau)}

với τ\tau là nhiệt độ (thường 0.05), và hard negatives được chọn từ cùng batch (in-batch negatives).

Dữ liệu training: Hàng chục đến hàng trăm triệu cặp từ Common Crawl, Wikipedia, Reddit, MS MARCO, và các bộ paraphrase như PAWS, SNLI.

Chi tiết kỹ thuật — Khi nào dùng cross-encoder thay vì bi-encoder?

Có hai kiến trúc chính:

  • Bi-encoder (embedding model): Mỗi câu được encode độc lập → vector. So sánh bằng cosine. Nhanh, scalable. Dùng cho retrieval (tìm top-K từ hàng triệu document).
  • Cross-encoder (reranker): Hai câu được đưa CÙNG LÚC vào model (concat với [SEP]), model output score 0-1. Chính xác hơn, nhưng chậm. Không thể pre-compute.

Pipeline RAG tối ưu: bi-encoder + reranker:

  1. Bi-encoder (embedding) tìm top-100 document từ 1 triệu document (bằng ANN) — nhanh.
  2. Cross-encoder (reranker như bge-reranker-v2-m3, cohere-rerank-v3) rerank lại top-100 → lấy top-5. Chậm hơn nhưng chỉ chạy trên 100 document.
  3. LLM sinh câu trả lời dựa trên top-5.

Kết quả: chất lượng tăng 10-20% nDCG (theo nguồn bài, chưa kiểm chứng) so với chỉ dùng bi-encoder, mà vẫn giữ được throughput cao.

Ứng dụng và đọc thêm

Ứng dụng thực tế của embedding model:

  • Semantic search: thay keyword search bằng tìm theo nghĩa. Người dùng gõ "cách nấu phở" → tìm được document "recipe for Vietnamese soup".
  • RAG: Retrieval Augmented Generation — LLM lấy context từ vector DB để trả lời câu hỏi chính xác.
  • Recommendation: embed user behavior và item → tìm item gần nhất trong không gian vector.
  • Clustering: gom document thành chủ đề tự động bằng K-means trên embedding.
  • Classification: embedding làm feature extractor cho classifier cổ điển (logistic regression, SVM).
  • Anomaly detection: document có embedding xa cụm chính → bất thường.
  • Zero-shot classification: so sánh document với embedding của nhãn ("tích cực", "tiêu cực") → chọn nhãn gần nhất.

Đọc thêm:

  • Vector Databases — cách lưu và query hàng triệu vector với ANN.
  • Semantic Search — xây search engine dựa trên embedding.
  • Word Embeddings — tiền thân: Word2Vec, GloVe, FastText.
  • Self-Attention — cơ chế cốt lõi giúp Transformer tạo ra embedding tốt.
  • RAG — ứng dụng số 1 của embedding trong kỷ nguyên LLM.

Tóm tắt

  • Embedding model chuyển text → vector số trong không gian nhiều chiều (384–3072 chiều).
  • Câu/từ giống nghĩa → vector gần nhau → cosine similarity cao (gần 1).
  • Model đa ngôn ngữ (BGE-M3, Cohere, multilingual sentence-transformers) hiểu ngữ nghĩa xuyên ngôn ngữ.
  • Cosine similarity là metric chuẩn; với vector đã normalize, cosine = dot product (rất nhanh).
  • Nền tảng cho semantic search, RAG, classification, clustering, recommendation.
  • Với 1M+ vector, dùng vector database với ANN (HNSW, IVF) thay vì so sánh brute-force.

Continue the module

Lesson 9 of 16