Dự đoán
BM25 xét 3 yếu tố: tần suất từ (TF), độ hiếm của từ (IDF), và chuẩn hoá theo độ dài. Bài A có mật độ cao hơn (2.5% vs 0.06%) nên xếp trên!
Evaluating routing across providers.
AI Builder
Thuật toán xếp hạng văn bản dựa trên tần suất từ khóa, là nền tảng của các công cụ tìm kiếm truyền thống.
BM25 xét 3 yếu tố: tần suất từ (TF), độ hiếm của từ (IDF), và chuẩn hoá theo độ dài. Bài A có mật độ cao hơn (2.5% vs 0.06%) nên xếp trên!
| Tham số | Ý nghĩa | Khoảng thường dùng | Tác dụng |
|---|---|---|---|
| k1 | Bão hoà TF: từ lặp nhiều lần tăng điểm đến đâu | 1,2–2,0 | k1 thấp → bão hoà sớm; 3 lần gần bằng 10 lần |
| b | Chuẩn hoá độ dài | 0–1 (mặc định 0,75) | b = 1 phạt doc dài nặng; b = 0 bỏ qua độ dài |
Thử tay trên công thức: khi b = 0, độ dài không bị phạt nên doc dài có điểm cao hơn; khi k1 = 1,2, từ lặp nhiều lần không còn được cộng nhiều. BM25 là TF-IDF có điều chỉnh.
BM25 giống chấm bài thi tự luận: đếm số lần nhắc đến chủ đề (TF), coi trọng thuật ngữ chuyên ngành hơn từ phổ biến (IDF), và không thiên vị bài dài (length norm). Là hậu duệ trực tiếp của TF-IDF, BM25 vẫn là baseline cực mạnh mà nhiều hệ thống semantic search hiện đại cũng khó thắng ở bài toán khớp chính xác, nên cả hai thường được kết hợp trong hybrid search.
Điểm "aha": không phải con số ma thuật — nó là cách bạn nói với hệ thống "tôi muốn nhấn mạnh từ lặp nhiều lần bao nhiêu". cũng vậy — "tôi muốn phạt doc dài bao nhiêu". Hai núm vặn, hai câu hỏi ngôn ngữ tự nhiên, một công thức đẹp.
BM25 là lexical search — chỉ khớp chính xác chuỗi ký tự. Không hiểu đồng nghĩa, viết tắt, hay ngữ cảnh. Đây là lý do cần Semantic Search bổ sung, tạo thành Hybrid Search!
Khi có keyword stuffing, bạn muốn TF bão hoà nhanh → giảm k1 xuống 1.0-1.2. Nếu doc dài có lý do chính đáng (mô tả chi tiết sản phẩm), giảm b xuống 0.5-0.6 để không phạt quá mức. Luôn A/B test trên queries thật.
BM25 (Best Matching 25) là thuật toán xếp hạng kinh điển trong Information Retrieval, nền tảng của Elasticsearch, Solr, Lucene, OpenSearch và nhiều search engine. Được Stephen Robertson và Karen Spärck Jones phát triển ở Cambridge từ những năm 1970-1990, BM25 đến nay vẫn là strong baseline mà mọi retrieval system mới đều phải so sánh.
Công thức BM25 đầy đủ:
Công thức IDF (Okapi variant):
Trong đó: = tần suất từ trong tài liệu ; = số tài liệu chứa ; = tổng số tài liệu; = độ dài tài liệu; = độ dài trung bình. thường trong khoảng 1.2-2.0; trong khoảng 0-1, mặc định 0.75.
Hiểu từng phần của công thức:
So sánh chi tiết TF-IDF vs BM25 — bảng cheat sheet:
| Tiêu chí | TF-IDF (cổ điển) | BM25 (Okapi) |
|---|---|---|
| Công thức TF | hoặc | |
| Bão hoà TF | Không (hoặc log rất nhẹ) | Có — kiểm soát bằng |
| Length norm | Không, hoặc cosine sau chuẩn hoá | Có — kiểm soát bằng |
| IDF smoothing | Không — có thể âm | Có — smoothing Robertson-SJ |
| Parameters tune | 0 (không có) | 2 () — tune được |
| Probabilistic foundation | Heuristic | Có — Probabilistic Relevance Model |
| Benchmark wins | Baseline cũ | +5-20% nDCG@10 trên TREC/BEIR |
Một cách đơn giản để nhớ: BM25 = TF-IDF sau khi đi học về xác suất. Robertson và nhóm Cambridge đã chính thức hoá TF-IDF trong khung Probabilistic Relevance Framework, và mỗi "hack" của BM25 (saturation, length norm, IDF smoothing) đều có giải thích toán học — không phải magic number.
from rank_bm25 import BM25Okapi
import numpy as np
# 1. Tokenize corpus — quan trọng: lowercase, loại stopwords nếu cần
corpus_raw = [
"Luật lao động Việt Nam quy định quyền người lao động.",
"Bộ luật lao động mới đã cập nhật điều khoản lương tối thiểu vùng.",
"Luật lao động bảo vệ quyền lợi chính đáng của người lao động.",
"Luật giao thông đường bộ quy định về tốc độ tối đa.",
"Quyền và nghĩa vụ người lao động theo quy định của pháp luật.",
]
corpus = [doc.lower().split() for doc in corpus_raw]
# 2. Tạo BM25 index
# rank_bm25 mặc định: k1=1.5, b=0.75, epsilon=0.25
bm25 = BM25Okapi(corpus, k1=1.5, b=0.75)
# 3. Tìm kiếm
query = "quyền người lao động".lower().split()
scores = bm25.get_scores(query)
print("Raw scores:", scores)
# → [array of 5 floats]
# 4. Top-K kết quả
top_k = 3
top_indices = np.argsort(scores)[::-1][:top_k]
for rank, idx in enumerate(top_indices, 1):
print(f"#{rank} score={scores[idx]:.3f} → {corpus_raw[idx]}")
# 5. Nếu cần xếp hạng doc mới không có trong index:
new_docs = [
"Quy định pháp luật bảo vệ quyền người lao động.".lower().split(),
"Cách nấu phở bò theo công thức truyền thống.".lower().split(),
]
new_scores = bm25.get_batch_scores(query, new_docs)
# Chú ý: get_batch_scores reuse IDF từ index gốc.
# Muốn IDF tính lại với corpus mới → tạo BM25Okapi mới.
# 6. Variant BM25L (cho doc rất dài/ngắn)
from rank_bm25 import BM25L
bm25_l = BM25L(corpus, k1=1.5, b=0.75, delta=0.5)
# BM25L thêm parameter delta để tránh over-penalize doc dài.
# 7. Variant BM25Plus (Lv & Zhai 2011)
from rank_bm25 import BM25Plus
bm25_plus = BM25Plus(corpus, k1=1.5, b=0.75, delta=1.0)
# BM25Plus sửa lỗi "unfair" với doc dài ở TF thấp.# Elasticsearch dùng BM25 làm default similarity từ ES 5.0+
# Mọi query "match" chạy BM25 dưới nền.
from elasticsearch import Elasticsearch
es = Elasticsearch("http://localhost:9200")
# 1. Tạo index với custom BM25 params
es.indices.create(
index="vnexpress",
body={
"settings": {
"index": {
"similarity": {
"custom_bm25": {
"type": "BM25",
"k1": 1.2, # bão hoà TF
"b": 0.75, # length norm
}
}
}
},
"mappings": {
"properties": {
"title": {
"type": "text",
"similarity": "custom_bm25",
"analyzer": "vietnamese",
},
"body": {
"type": "text",
"similarity": "custom_bm25",
"analyzer": "vietnamese",
},
"embedding": {
"type": "dense_vector",
"dims": 768,
"index": True,
"similarity": "cosine",
},
}
},
},
)
# 2. Hybrid Search: BM25 + vector với RRF
def hybrid_search(query_text: str, query_embedding: list[float], k: int = 10):
response = es.search(
index="vnexpress",
body={
"size": k,
"query": {
"bool": {
"should": [
# BM25 branch
{
"multi_match": {
"query": query_text,
"fields": ["title^3", "body"], # title boost 3x
"type": "best_fields",
}
},
# Vector branch
{
"knn": {
"field": "embedding",
"query_vector": query_embedding,
"k": k * 2,
"num_candidates": 200,
}
},
]
}
},
},
)
return response["hits"]["hits"]
# 3. Reciprocal Rank Fusion (RRF) nếu muốn fuse thủ công
def rrf_fuse(bm25_results, vector_results, k: int = 60):
"""
RRF score(d) = Σ 1/(k + rank_i(d))
Ít sensitive với raw score scale → tốt cho hybrid.
"""
scores = {}
for rank, hit in enumerate(bm25_results):
doc_id = hit["_id"]
scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank + 1)
for rank, hit in enumerate(vector_results):
doc_id = hit["_id"]
scores[doc_id] = scores.get(doc_id, 0) + 1 / (k + rank + 1)
return sorted(scores.items(), key=lambda x: -x[1])BM25 có nhiều họ hàng đã được đề xuất để khắc phục các khiếm khuyết nhỏ. Biết chúng giúp bạn chọn đúng cho use case:
Thực tế: 95% use case (ước lượng theo nguồn bài, chưa kiểm chứng) dùng BM25 Okapi mặc định là đủ tốt. Chỉ nghĩ đến variant khác khi bạn đã có evaluation pipeline chặt chẽ và thấy BM25 baseline fail ở pattern cụ thể.
Chi tiết về BM25F (multi-field scoring):
Document thực tế hầu như không bao giờ là "một khối văn bản đồng nhất". Bài báo có title, body, tags, author; sản phẩm có name, description, specs, reviews. Mỗi field có độ dài khác nhau, mức độ quan trọng khác nhau. Nếu dùng BM25 phẳng (ghép tất cả thành một chuỗi), match trong title bị "pha loãng" bởi body dài.
Công thức BM25F (đơn giản hoá):
Điểm quan trọng: length normalization và weighting xảy ra TRƯỚC bão hoà. Nếu bão hoà từng field riêng rồi cộng, match 5 lần ở title sẽ không khác 1 lần ở title + 4 lần ở body — sai. BM25F gộp "pseudo-TF" có trọng số trước, rồi mới bão hoà một lần.
Tune trong thực tế: title thường có , body , tags . Elasticsearch expose qua multi_match với fields: ["title^3", "body"] — số sau ^ là boost tương đương .
Chi tiết về BM25+ (Lv & Zhai 2011):
Quan sát của Lv & Zhai: BM25 Okapi phạt quá mức các doc dài có TF thấp. Ví dụ một bài luận 2000 từ có 1 lần nhắc "BM25" vẫn có thể relevant cao, nhưng BM25 chuẩn cho điểm gần như 0. Họ đề xuất thêm hằng số (thường ~1.0):
là một "hằng số công bằng" đảm bảo doc chứa từ query luôn có điểm tối thiểu dương. Trên TREC robust track, BM25+ cho +2-3% MAP (theo nguồn bài, chưa kiểm chứng) vs BM25 — không khổng lồ nhưng ổn định.
Khi nào dùng BM25+? Corpus có doc rất dài (>5000 từ) và bạn muốn recall cao hơn — news articles, research papers, legal documents. Với e-commerce descriptions ngắn, BM25+ không khác biệt rõ.
Chi tiết về BM25L (Lv & Zhai 2011):
BM25L thay biến "TF chuẩn hoá độ dài" bằng một biến có shift để giảm phạt doc dài ở TF cao. Khác với BM25+ (shift điểm cuối), BM25L shift biến trung gian trong công thức TF. Hiệu quả tương tự, khác nhau ở chỗ curve nào bị ảnh hưởng nhiều hơn. Thực tế: chọn BM25+ vì đơn giản hơn, dễ implement.
BM25 gốc là bag-of-words: "machine learning" khớp với doc chứa "machine" ở đầu và "learning" ở cuối (cách 500 từ) y như với doc có hai từ đó cạnh nhau. Thực tế proximity mang tín hiệu relevance mạnh. Các mở rộng:
"machine learning" → chỉ match khi hai từ liền kề. Lucene dùng positional inverted index.match_phrase với slop: 3.Đánh đổi: proximity tính toán chậm hơn (cần positional postings), index lớn hơn 2-3 lần. Với corpus <10M docs, chấp nhận được; với web-scale thì phải cân nhắc.
BM25 phụ thuộc cực lớn vào tokenizer. Tiếng Việt có đặc điểm: dấu cách giữa tiếng ("lao động" là 1 khái niệm nhưng 2 token nếu tách theo space). Nếu tokenize sai, BM25 không khớp được.
Các lựa chọn:
vi_analyzer hoặc plugin elasticsearch-analysis-vietnamese.Lời khuyên: luôn đo tokenization quality trước khi tune BM25. Một tokenizer tốt thường cải thiện nDCG hơn nhiều so với tune k1/b.
BM25 trong thực tế production: không phải ai cũng viết BM25 từ đầu. Các hệ thống phổ biến:
# BM25S (Lu 2024) — reimagine BM25 dùng scipy.sparse
# GitHub: xhluca/bm25s — nhanh hơn rank_bm25 10-100x trên corpus lớn.
# Ý tưởng chính: precompute IDF × (k1+1) / (TF + k1·len-norm) dưới dạng
# sparse CSR matrix, query thành nhân vector sparse—sparse (cực nhanh).
import bm25s
import Stemmer # optional — giảm số token độc nhất
# 1. Dataset
corpus = [
"Luật lao động Việt Nam quy định quyền người lao động",
"Bộ luật lao động mới cập nhật lương tối thiểu vùng",
"Luật giao thông quy định tốc độ tối đa ô tô xe máy",
"Quyền và nghĩa vụ người lao động theo pháp luật Việt Nam",
"Hướng dẫn cách nấu phở bò truyền thống Hà Nội",
]
# 2. Tokenize với optional stemmer (tiếng Anh). Tiếng Việt: custom tokenizer.
stemmer = Stemmer.Stemmer("english") # None cho tiếng Việt
corpus_tokens = bm25s.tokenize(corpus, stopwords="en", stemmer=stemmer)
# 3. Index — tạo sparse matrix, tính sẵn IDF
retriever = bm25s.BM25(k1=1.5, b=0.75)
retriever.index(corpus_tokens)
# 4. Query — nhanh hơn rank_bm25 ở batch mode
query = "quyền người lao động"
query_tokens = bm25s.tokenize(query, stemmer=stemmer)
# Top-K với scores
results, scores = retriever.retrieve(query_tokens, k=3)
for i, (idx, score) in enumerate(zip(results[0], scores[0])):
print(f"#{i+1} score={score:.3f} → {corpus[idx]}")
# 5. Save / Load index — chỉ một thư mục sparse files
retriever.save("bm25s_index")
retriever = bm25s.BM25.load("bm25s_index")
# 6. Batch query — nhanh nhất khi bạn có 1000+ queries
queries = ["lương tối thiểu", "phở bò", "giao thông đường bộ"]
query_tokens_batch = bm25s.tokenize(queries, stemmer=stemmer)
results_batch, scores_batch = retriever.retrieve(query_tokens_batch, k=2)
# So sánh benchmark (từ paper BM25S):
# | Library | 1M docs, 1k queries | speedup |
# | rank_bm25 | 120s | 1x |
# | BM25S | 1.3s | ~90x |
# | PISA (C++) | 0.8s | ~150x |
#
# BM25S cân bằng tốt giữa ease-of-use (pure Python) và speed.Lịch sử ngắn: BM25 là kết tinh từ dòng nghiên cứu Probabilistic Retrieval Model của Stephen Robertson, Karen Spärck Jones và team Cambridge/City University. "BM" là viết tắt của "Best Matching" — số 25 là phiên bản thứ 25 trong chuỗi thử nghiệm. Phiên bản này "may mắn" vừa đơn giản, vừa robust, vừa có parameter tune được → trở thành chuẩn de-facto trong 30 năm.
Bài học: đôi khi thuật toán tốt nhất không phải thuật toán mới nhất. BM25 vẫn là strong baseline mà LLM-era retrieval vẫn phải kính nể. Học BM25 kỹ là đầu tư có lãi suốt sự nghiệp.