AI Builder
Tìm kiếm kết hợp
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Kết hợp tìm kiếm từ khóa (BM25) và ngữ nghĩa (vector) để đạt kết quả tốt nhất.
Khám phá — ba cách hợp nhất
Các cách hợp nhất kết quả của hai nhánh BM25 và dense:
| Cách | Công thức | Điều kiện |
|---|---|---|
| Convex combination | fused = α · dense_norm + (1 − α) · bm25_norm | Cần chuẩn hoá min-max trước để hai thang điểm không lệch. α = 0 là chỉ BM25, α = 1 là chỉ dense |
| RRF (Reciprocal Rank Fusion) | RRF(d) = 1/(k + rank_BM25) + 1/(k + rank_Dense) | Chỉ dùng thứ hạng, không cần chuẩn hoá; k nhỏ ưu ái top-1, k lớn cho phân bố phẳng hơn; k = 60 là mặc định phổ biến |
Với RRF không cần chuẩn hoá vì chỉ dùng thứ hạng. Đây là cách ổn định nhất khi thang điểm có thể lệch hoặc thay đổi theo thời gian.
Khoảnh khắc aha
Hybrid search giống như hỏi hai chuyên gia bổ sung cho nhau. Chuyên gia BM25 đọc thuộc từng con chữ — tuyệt vời cho tên riêng, mã SKU, số điều luật. Chuyên gia dense hiểu ý định sâu xa — bắt được “chần gia cầm” khi người dùng gõ “luộc gà”. Hợp nhất hai danh sách bằng RRF không tốn chi phí, không cần chuẩn hoá. Theo nguồn bài, cách này vượt trội từng nhánh riêng trên các benchmark MTEB, BEIR và MS MARCO (chưa kiểm chứng số liệu cụ thể).
Thử thách
Giải thích sâu
Hybrid search là pipeline truy xuất kết hợp nhánh BM25 (thưa, từ vựng) và tìm kiếm ngữ nghĩa (dense, vector). Thường được nối tiếp bởi bước xếp hạng lại bằng cross-encoder để tinh chỉnh top-K cuối trước khi đưa vào LLM.
1. Convex combination (tổng có trọng số)
s̃ là điểm đã chuẩn hoá min-max hoặc z-score. α thường trong [0,3; 0,7] tuỳ miền: pháp luật nghiêng BM25 (α thấp), tư vấn trò chuyện nghiêng dense (α cao).
2. Reciprocal Rank Fusion (Cormack và cộng sự, 2009)
R là tập các danh sách thứ hạng (BM25, dense, có thể thêm SPLADE hoặc ColBERT); r(d) là vị trí của d trong danh sách; k = 60 là mặc định phổ biến. Ưu điểm then chốt: không cần chuẩn hoá, và thêm nhánh thứ ba, thứ tư chỉ là thêm một số hạng.
Ba họ phương pháp hợp nhất phổ biến
| Phương pháp | Ưu điểm | Hạn chế |
|---|---|---|
| Convex combination | Đơn giản, một siêu tham số α | Nhạy với phân phối điểm; phải chuẩn hoá kỹ |
| RRF | Dùng thứ hạng, không cần chuẩn hoá, k dễ chỉnh (thường 60); mặc định của Elasticsearch 8.9 trở lên, Weaviate, Vespa | Mất thông tin khoảng cách điểm |
| Learned fusion | Huấn luyện mô hình nhỏ nhận điểm hai nhánh và đặc trưng truy vấn để học trọng số | Cần dữ liệu click hoặc nhãn liên quan |
Chuẩn hoá: min-max, z-score và sigmoid
Min-max: đưa điểm về khoảng [0, 1]; nhạy với outlier, một tài liệu có điểm cực cao có thể kéo mọi tài liệu khác về gần 0.
Z-score: trung bình 0, độ lệch chuẩn 1; bền hơn min-max khi có outlier, nhưng có thể cho điểm âm.
Sigmoid: σ(s/T), mềm hơn min-max ở đuôi phân phối; phổ biến khi cần khả vi.
Vì sao RRF ổn định với outlier?
Nếu nhánh BM25 có một tài liệu điểm bất thường cao, convex combination sẽ để outlier chi phối toàn bộ kết quả. Với RRF, chỉ thứ hạng quan trọng: outlier có điểm 1000 hay 10 đều là hạng 1, đóng góp 1/(k + 1) như nhau. Cormack và cộng sự (2009) cho thấy RRF bền hơn CombSUM và CombMNZ trên TREC. Điều này quan trọng khi phân phối điểm có thể trôi theo thời gian.
Nhược điểm đối ngẫu: RRF mất thông tin khi khoảng cách điểm giữa top-1 và top-2 rất lớn. Nếu khoảng cách là tín hiệu quan trọng, convex có thể tốt hơn.
Đánh giá hybrid trên dữ liệu tiếng Việt
Theo nguồn bài, trên một tập MS MARCO dịch tiếng Việt và tập truy xuất pháp luật của cuộc thi Zalo AI 2021, BM25 đạt NDCG@10 khoảng 0,42, multilingual-e5-base đạt 0,51, hybrid RRF (k = 60) đạt 0,58, và thêm bge-reranker-v2-m3 đạt 0,64. Các con số này chưa được kiểm chứng; nên tự đo trên dữ liệu của mình trước khi kết luận.
So sánh với SPLADE và ColBERT
SPLADE (Sparse Lexical AnD Expansion) sinh vector thưa từ BERT, mỗi chiều là một token trong từ vựng. Nó học kiểu BM25 bằng gradient descent: truy vấn “cách luộc gà” không chỉ kích hoạt các token từ vựng mà còn mở rộng sang các từ gần nghĩa như “chần”, “trụng”, “gia cầm”. Theo nguồn bài, trên BEIR SPLADE đơn lẻ đã vượt BM25. Có thể thay nhánh BM25 bằng SPLADE để có hybrid nặng hơn.
ColBERT (Contextualized Late Interaction over BERT) lưu vector cho từng token thay vì một vector cho cả đoạn, và khớp bằng MaxSim giữa mọi cặp token. Rất mạnh nhưng index lớn hơn dense khoảng 20 lần; ColBERTv2 nén còn khoảng 3 lần. Thường dùng ở bước xếp hạng lại.
Khi nào dùng gì: ngân sách index thấp, dùng BM25 và dense với RRF. Ngân sách vừa, dùng SPLADE và dense với RRF. Ngân sách không giới hạn và cần precision cao nhất, dùng BM25 và dense với RRF, rồi ColBERTv2 xếp hạng lại top-100.
Năm cross-encoder phổ biến để xếp hạng lại
| Mô hình | Đặc điểm | Ghi chú |
|---|---|---|
| MS MARCO MiniLM | Khoảng 22 triệu tham số; chạy được trên CPU cho top-20; độ trễ khoảng 5 ms mỗi ứng viên trên GPU T4 | Yếu với tiếng không phải Anh và miền chuyên biệt |
| BGE Reranker v2-m3 | Khoảng 568 triệu tham số, đa ngôn ngữ 100 ngôn ngữ kể cả tiếng Việt; khuyến nghị cho RAG tiếng Việt | Độ trễ khoảng 25 ms mỗi ứng viên trên A10G; có bản int8 giảm 50% bộ nhớ |
| Cohere Rerank 3 | API được quản lý, đa ngôn ngữ, cửa sổ 4096 token; tính phí theo số lượng tìm kiếm | Phụ thuộc nhà cung cấp; độ trễ mạng 50 đến 150 ms |
| ColBERTv2 | Late interaction, lưu embedding theo token; mạnh hơn bi-encoder nhiều | Index lớn gấp 3 đến 5 lần dense; độ trễ khoảng 3 ms mỗi ứng viên trên GPU |
| monoT5 | Xếp hạng như bài toán sinh văn bản: đầu ra 'true' hoặc 'false', lấy logit của 'true' làm điểm; 220 triệu tham số | Dễ fine-tune trên miền nhỏ |
Quy tắc chọn: web và thương mại đa ngôn ngữ dùng BGE v2-m3; tiếng Anh và ngân sách hẹp dùng MiniLM; MVP dùng Cohere; corpus rất lớn cần precision cao dùng ColBERTv2; miền rất đặc thù như pháp luật hoặc y tế thì fine-tune monoT5 hoặc BGE trên khoảng 5 nghìn cặp nội bộ.
Weaviate RELATIVE_SCORE khác RRF thế nào?
Weaviate có hai chiến lược hợp nhất: RANKED (RRF) và RELATIVE_SCORE. RELATIVE_SCORE hoạt động như sau:
- Lấy điểm thô của top-N từ mỗi nhánh (BM25, vector).
- Chuẩn hoá min-max trong từng nhánh về [0, 1].
- Tài liệu không xuất hiện ở một nhánh được gán điểm 0 ở nhánh đó.
- Tổng có trọng số với α: s = α · s′(vector) + (1 − α) · s′(BM25).
Khác RRF: RELATIVE_SCORE giữ khoảng cách điểm, nên nếu BM25 hạng 1 vượt xa hạng 2, hạng 1 vẫn áp đảo sau chuẩn hoá. RRF xoá thông tin này. Theo nguồn bài, trên MS MARCO hai cách gần tương đương; trên NQ-open RELATIVE cao hơn khoảng 0,015; trên TREC-COVID RRF cao hơn khoảng 0,02. Hãy A/B test trên log truy vấn thật của bạn.
Qdrant: hợp nhất thưa và dày trong một payload
Từ Qdrant 1.10, Query API hỗ trợ hợp nhất ngay trong yêu cầu. Ví dụ payload REST:
POST /collections/recipes/points/query
{
"prefetch": [
{
"query": {
"text": "cách luộc gà",
"model": "Qdrant/bm25"
},
"using": "bm25_vector",
"limit": 100
},
{
"query": [0.12, 0.03, -0.88, ...],
"using": "dense_vector",
"limit": 100
}
],
"query": { "fusion": "rrf" },
"limit": 10,
"with_payload": true
}Qdrant hỗ trợ fusion rrf và dbsf (Distribution-Based Score Fusion: chuẩn hoá theo phân phối rồi cộng). dbsf tương tự RELATIVE nhưng dùng z-score, tốt hơn khi có outlier. Qdrant lưu vector thưa và dày trong hai named vector của cùng collection: inverted index cho thưa, HNSW cho dày. Theo nguồn bài, độ trễ p95 thường dưới 60 ms trên 10 triệu điểm với 4 vCPU (chưa kiểm chứng).
Hợp nhất theo từng truy vấn: LLM chọn α
Một α cố định không tối ưu cho mọi truy vấn. Cách hiện đại là dùng một LLM nhỏ hoặc bộ phân loại trên embedding để xếp truy vấn vào nhóm thiên từ vựng, thiên ngữ nghĩa hay cân bằng, rồi chọn α tương ứng.
Ví dụ bộ định tuyến đơn giản bằng một LLM nhỏ với prompt caching: đầu vào là truy vấn, đầu ra là một trong LEXICAL (α = 0,2), BALANCED (α = 0,5), SEMANTIC (α = 0,8). Theo nguồn bài, thêm khoảng 60 ms cho mỗi truy vấn nhưng cải thiện khoảng 3 đến 8% NDCG.
Bộ quy tắc dự phòng: nếu hơn 30% token là tên riêng, số hoặc mã, chọn LEXICAL. Nếu là câu hỏi tự nhiên dài trên 10 từ, chọn SEMANTIC. Không có tín hiệu rõ thì chọn BALANCED.
Elasticsearch 8.9 trở lên: RRF native
POST /cooking-recipes/_search — hybrid BM25 + kNN với RRF
{
"retriever": {
"rrf": {
"retrievers": [
{
"standard": {
"query": {
"bool": {
"must": [
{ "match": { "title": "cách luộc gà" } },
{ "match": { "body": "cách luộc gà" } }
]
}
}
}
},
{
"knn": {
"field": "embedding",
"query_vector_builder": {
"text_embedding": {
"model_id": "multilingual-e5-base",
"model_text": "cách luộc gà"
}
},
"k": 50,
"num_candidates": 100
}
}
],
"rank_window_size": 100,
"rank_constant": 60
}
},
"size": 10,
"_source": ["title", "url", "snippet"]
}
// ─── Python client ──────────────────────────────────────────
from elasticsearch import Elasticsearch
es = Elasticsearch("https://search.example.com:9200")
def hybrid_search(query: str, size: int = 10):
body = {
"retriever": {
"rrf": {
"retrievers": [
{
"standard": {
"query": {
"multi_match": {
"query": query,
"fields": ["title^2", "body"],
"type": "best_fields"
}
}
}
},
{
"knn": {
"field": "embedding",
"query_vector_builder": {
"text_embedding": {
"model_id": "multilingual-e5-base",
"model_text": query
}
},
"k": 50,
"num_candidates": 100
}
}
],
"rank_window_size": 100,
"rank_constant": 60
}
},
"size": size
}
return es.search(index="cooking-recipes", body=body)
for hit in hybrid_search("cách luộc gà")["hits"]["hits"]:
print(f"#{hit['_rank']:<3} {hit['_source']['title']}")Weaviate với cross-encoder xếp hạng lại
Hybrid search với Weaviate + cross-encoder re-ranking
import weaviate
from sentence_transformers import CrossEncoder
client = weaviate.connect_to_local()
recipes = client.collections.get("VnRecipes")
# ── Nhánh 1: hybrid sẵn có của Weaviate (BM25 + Vector) ─────
def weaviate_hybrid(query: str, alpha: float = 0.5, limit: int = 50):
response = recipes.query.hybrid(
query=query,
alpha=alpha, # 0 = BM25 only, 1 = vector only
fusion_type=weaviate.classes.query.HybridFusion.RELATIVE_SCORE,
limit=limit,
return_metadata=weaviate.classes.query.MetadataQuery(
score=True, explain_score=True
),
)
return response.objects
# ── Nhánh 2: RRF thủ công khi muốn thêm nhánh thứ ba ────────
def rrf_fusion(rankings: list[list[str]], k: int = 60) -> dict[str, float]:
scores = {}
for ranking in rankings:
for rank, doc_id in enumerate(ranking):
scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank + 1)
return dict(sorted(scores.items(), key=lambda x: -x[1]))
# ── Nhánh 3: cross-encoder re-ranking trên top-K ──────────────
reranker = CrossEncoder("BAAI/bge-reranker-v2-m3")
def rerank(query: str, candidates: list[dict], top_k: int = 10):
pairs = [(query, c["content"]) for c in candidates]
scores = reranker.predict(pairs, batch_size=32)
for c, s in zip(candidates, scores):
c["rerank_score"] = float(s)
return sorted(candidates, key=lambda x: -x["rerank_score"])[:top_k]
# ── Pipeline hoàn chỉnh ─────────────────────────────────────
def search_pipeline(query: str, top_k: int = 10):
# Recall rộng với hybrid
candidates = weaviate_hybrid(query, alpha=0.5, limit=100)
docs = [{
"id": c.uuid,
"content": c.properties["body"],
"title": c.properties["title"],
"score_hybrid": c.metadata.score,
} for c in candidates]
# Precision với cross-encoder
return rerank(query, docs, top_k=top_k)
if __name__ == "__main__":
results = search_pipeline("cách luộc gà cúng không nứt da")
for i, r in enumerate(results, 1):
print(f"#{i:<3} {r['rerank_score']:.3f} {r['title']}")Tóm tắt
- Hybrid search = nhánh BM25 (thưa, khớp chính xác) và nhánh dense (ngữ nghĩa); hai nhánh bù điểm yếu của nhau.
- Convex combination: α · dense_norm + (1 − α) · bm25_norm; phải chuẩn hoá min-max hoặc z-score trước.
- RRF = 1/(k + rank_BM25) + 1/(k + rank_Dense), k = 60 mặc định; dùng thứ hạng nên không cần chuẩn hoá và bền với outlier.
- α gần 0 nghiêng BM25 (tên riêng, mã SKU, điều luật); α gần 1 nghiêng dense (câu hỏi tự nhiên, đồng nghĩa).
- Lấy top-100 từ mỗi nhánh rồi hợp nhất xuống top-10, sau đó xếp hạng lại bằng cross-encoder để đạt precision tối đa.
- Elasticsearch 8.9 trở lên, Weaviate, Qdrant và Vespa đều hỗ trợ RRF native; hybrid là tiêu chuẩn cho RAG hiện nay.