Thử đoán
Đúng! Embedding model chuyển text thành vector số. Từ giống nghĩa → vector gần nhau trong 'không gian ngữ nghĩa'. Đây là nền tảng cho tìm kiếm ngữ nghĩa, RAG, và mọi ứng dụng AI hiểu ngôn ngữ.
Evaluating routing across providers.
AI Builder
Mô hình chuyển văn bản thành vector số học, cho phép máy tính hiểu và so sánh ý nghĩa ngữ nghĩa.
Đúng! Embedding model chuyển text thành vector số. Từ giống nghĩa → vector gần nhau trong 'không gian ngữ nghĩa'. Đây là nền tảng cho tìm kiếm ngữ nghĩa, RAG, và mọi ứng dụng AI hiểu ngôn ngữ.
Các từ cùng chủ đề thường có embedding gần nhau. Bảng dưới liệt kê vài ví dụ lấy từ chính bài học.
| Chủ đề | Ví dụ |
|---|---|
| Quyền lực | vua, hoàng đế |
| Động vật | mèo, chó |
| Màu sắc | xanh, đỏ |
| Công nghệ | máy tính |
| Cảm xúc | vui |
'vua' và 'hoàng đế' có vector gần nhau, 'mèo' và 'chó' cũng gần nhau. Model học điều này từ ngữ cảnh xuất hiện chứ không được dạy định nghĩa rõ ràng.
Embedding model chuyển text thành vector trong không gian nhiều chiều. Từ/câu giống nghĩa → vector gần nhau → cosine similarity cao. Đây là nền tảng cho tìm kiếm ngữ nghĩa, lưu trữ trong vector database, và kế thừa từ ý tưởng word embeddings cổ điển. Điều kỳ diệu: model chưa bao giờ được dạy rõ "vua và hoàng đế là đồng nghĩa" — nó tự học từ việc thấy chúng xuất hiện trong các ngữ cảnh tương tự.
Multilingual embedding models (Cohere multilingual, BGE-M3, LaBSE, E5-multilingual) hiểu ngữ nghĩa XUYÊN ngôn ngữ. 'Phở bò Hà Nội' và 'Beef pho from Hanoi' sẽ có vector rất gần nhau dù khác ngôn ngữ. Đây là lợi thế lớn khi xây hệ thống search hoặc RAG cho người dùng đa ngôn ngữ.
Vector database (Pinecone, Weaviate, Qdrant, Milvus, pgvector) dùng thuật toán ANN như HNSW hoặc IVF để tìm top-K nearest neighbors trong O(log N) thay vì O(N). Trade-off là recall không phải 100% nhưng thường > 95% với tham số đúng. Đây là bước bắt buộc để scale semantic search lên hàng triệu vector.
Embedding model chuyển đổi text (từ, câu, đoạn văn) thành vector số trong không gian nhiều chiều (thường 384– 3072 chiều). Mỗi chiều đại diện một khía cạnh ý nghĩa mà model đã học từ hàng tỷ câu văn trên Internet.
Bản chất toán học: embedding là một hàm , với là số chiều (384, 768, 1024, 1536, 3072 tuỳ model). Hàm được học sao cho text giống nghĩa → vector gần nhau theo metric cosine.
Các embedding model phổ biến năm 2025:
| Model | Nhà cung cấp | Chiều | Đặc điểm |
|---|---|---|---|
| text-embedding-3-large | OpenAI | 3072 | Chất lượng cao, Matryoshka (truncate xuống 256/512/1024) |
| text-embedding-3-small | OpenAI | 1536 | Rẻ hơn 5x so với -large, đủ tốt cho hầu hết use case |
| BGE-M3 | BAAI (open-source) | 1024 | Đa ngôn ngữ, dense + sparse + multi-vector, hỗ trợ tiếng Việt tốt |
| voyage-3-large | Voyage AI | 1024 | Tối ưu cho RAG, top MTEB |
| Cohere embed-v3 | Cohere | 1024 | 100+ ngôn ngữ, tốt cho tiếng Việt |
| all-MiniLM-L6-v2 | Sentence-Transformers (OSS) | 384 | Nhẹ, chạy local trên CPU, tiếng Anh |
| E5-mistral-7b | Microsoft (OSS) | 4096 | SOTA open-source, dùng Mistral làm backbone |
"""
Ví dụ: gọi API OpenAI để tạo embedding cho nhiều câu,
sau đó tính cosine similarity giữa các cặp.
Cài đặt:
pip install openai numpy
Cần OPENAI_API_KEY trong biến môi trường.
"""
from openai import OpenAI
import numpy as np
client = OpenAI()
# 1) Chuẩn bị danh sách câu (nhiều ngôn ngữ để test multilingual)
texts = [
"Phở bò Hà Nội rất ngon", # 0
"Bún chả là đặc sản Hà Nội", # 1
"Beef pho from Hanoi is delicious",# 2 — tiếng Anh
"Python là ngôn ngữ lập trình", # 3
"JavaScript dùng để lập trình web",# 4
"Mèo thích ngủ trên sofa", # 5
"Chó là bạn thân của con người", # 6
]
# 2) Gọi API batch — tạo tất cả embedding trong 1 request (rẻ & nhanh)
response = client.embeddings.create(
model="text-embedding-3-small", # 1536 chiều
input=texts,
encoding_format="float", # mặc định
)
# response.data[i].embedding là list[float] có 1536 phần tử
vectors = np.array([d.embedding for d in response.data])
print("Shape của ma trận embedding:", vectors.shape)
# → (7, 1536)
# 3) Cosine similarity giữa hai vector
def cosine(a: np.ndarray, b: np.ndarray) -> float:
return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))
# 4) In ma trận similarity 7x7
print("\n=== Cosine Similarity Matrix ===")
print(" " * 32 + " ".join(f"{i:4d}" for i in range(len(texts))))
for i, ti in enumerate(texts):
row = []
for j, tj in enumerate(texts):
row.append(f"{cosine(vectors[i], vectors[j]):.2f}")
short = (ti[:28] + "..") if len(ti) > 28 else ti.ljust(30)
print(f"{i} {short} " + " ".join(row))
# Kết quả kỳ vọng:
# - (0, 1) cao (~0.65): 2 câu ẩm thực Hà Nội
# - (0, 2) cao (~0.80): cùng nghĩa dù khác ngôn ngữ (đa ngôn ngữ!)
# - (3, 4) cao (~0.70): 2 câu về lập trình
# - (5, 6) cao (~0.70): 2 câu về vật nuôi
# - (0, 3) thấp (~0.10): ẩm thực vs lập trình
# 5) Tìm nearest neighbor cho query
query = "Tôi muốn ăn món Hà Nội"
query_vec = np.array(
client.embeddings.create(
model="text-embedding-3-small",
input=[query],
).data[0].embedding
)
sims = [cosine(query_vec, v) for v in vectors]
ranked = sorted(enumerate(sims), key=lambda x: -x[1])
print(f"\nTop-3 gần nhất với: '{query}'")
for rank, (idx, sim) in enumerate(ranked[:3], 1):
print(f" {rank}. [{sim:.3f}] {texts[idx]}")
# Dự kiến top-1 là "Phở bò Hà Nội rất ngon" hoặc "Bún chả là đặc sản Hà Nội"
# → đây chính là cơ sở cho semantic search."""
Chạy embedding hoàn toàn local bằng sentence-transformers.
Không tốn tiền API, không phụ thuộc Internet, dùng được cho
dữ liệu nhạy cảm (y tế, nội bộ doanh nghiệp).
Cài đặt:
pip install sentence-transformers
Model nhỏ (all-MiniLM-L6-v2) chỉ ~80 MB, chạy được trên CPU.
"""
from sentence_transformers import SentenceTransformer
import numpy as np
# Model đa ngôn ngữ, hỗ trợ tiếng Việt tốt
model = SentenceTransformer("sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")
# 1) Encode corpus — 1 lần, lưu ra disk, sau đó dùng lại
corpus = [
"Phở bò Hà Nội rất ngon",
"Bún chả là đặc sản Hà Nội",
"Beef pho from Hanoi is delicious",
"Python là ngôn ngữ lập trình",
"JavaScript dùng để lập trình web",
"Mèo thích ngủ trên sofa",
"Chó là bạn thân của con người",
]
corpus_embeddings = model.encode(
corpus,
normalize_embeddings=True, # QUAN TRỌNG: normalize để cosine = dot product
batch_size=32,
show_progress_bar=True,
)
# Shape: (7, 384)
# 2) Query → encode → tìm top-K gần nhất
query = "Tôi muốn ăn món Hà Nội"
query_embedding = model.encode([query], normalize_embeddings=True)[0]
# Dot product (vì đã normalize)
similarities = corpus_embeddings @ query_embedding # shape (7,)
top_k_idx = np.argsort(-similarities)[:3]
print(f"Query: '{query}'")
for rank, idx in enumerate(top_k_idx, 1):
print(f" #{rank} [{similarities[idx]:.3f}] {corpus[idx]}")
# 3) Lưu corpus embeddings ra disk — reload nhanh cho lần sau
np.save("corpus_embeddings.npy", corpus_embeddings)
# Lần sau:
# corpus_embeddings = np.load("corpus_embeddings.npy")
# 4) Semantic similarity giữa 2 câu bất kỳ
from sentence_transformers.util import cos_sim
sim = cos_sim(corpus_embeddings[0], corpus_embeddings[2])
print(f"\n'{corpus[0]}' vs '{corpus[2]}' → {sim.item():.3f}")
# → ~0.82: cùng nghĩa dù khác ngôn ngữ (Việt vs Anh)
# 5) Benchmark tốc độ (trên CPU M1 MacBook):
# - OpenAI API: ~200ms/request + chi phí
# - sentence-transformers local: ~20ms/câu, miễn phí
# → Production thường dùng LOCAL cho throughput cao.Bản chất: Embedding model hầu hết là một Transformer encoder (ví dụ BERT, RoBERTa, hoặc LLM fine-tuned). Quy trình:
["Ph", "ở", "ngon"] .Training objective: Contrastive learning. Cho cặp câu đồng nghĩa (anchor, positive) và câu không liên quan (negatives). Loss hàm kéo anchor gần positive, đẩy xa negatives:
với là nhiệt độ (thường 0.05), và hard negatives được chọn từ cùng batch (in-batch negatives).
Dữ liệu training: Hàng chục đến hàng trăm triệu cặp từ Common Crawl, Wikipedia, Reddit, MS MARCO, và các bộ paraphrase như PAWS, SNLI.
Có hai kiến trúc chính:
Pipeline RAG tối ưu: bi-encoder + reranker:
bge-reranker-v2-m3, cohere-rerank-v3) rerank lại top-100 → lấy top-5. Chậm hơn nhưng chỉ chạy trên 100 document.Kết quả: chất lượng tăng 10-20% nDCG (theo nguồn bài, chưa kiểm chứng) so với chỉ dùng bi-encoder, mà vẫn giữ được throughput cao.
Ứng dụng thực tế của embedding model:
Đọc thêm: