Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Giai đoạn thứ hai trong pipeline tìm kiếm, sử dụng mô hình mạnh hơn để xếp hạng lại kết quả ban đầu.
lesson94 minRAG & AgentsAI Engineer
Dự đoán
Re-ranking! Cross-Encoder xem xét CHI TIẾT tương tác giữa query và mỗi document (không phải so sánh vector riêng rẽ). Tài liệu thực sự trả lời câu hỏi sẽ lên đầu, kể cả khi lúc ban đầu nó không có nhiều từ khóa trùng.
Trong bài học này, bạn sẽ thấy pipeline 2 giai đoạn hoạt động như thế nào, vì sao nó tăng chất lượng 20–40% cho RAG, và cách chọn giữa MonoT5, Cohere Rerank và BGE-Reranker.
Ẩn dụ thực tế
Hãy tưởng tượng bạn đang tổ chức một cuộc thi tài năng 2 vòng cho một đài truyền hình. Có 10 triệu người đăng ký. Bạn không thể để giám khảo chính chấm từng người — ông ấy sẽ mất cả đời. Giải pháp: dùng một vòng sơ loại nhanh để rút xuống 100 thí sinh, rồi giám khảo chính chỉ cần dành thời gian cho 100 người đó.
Vòng sơ loại ở đây tương ứng với stage 1 của search pipeline — BM25 hoặc semantic search bằng bi-encoder. Nhanh nhưng hơi hời hợt: nhìn tổng thể người đó có ở đúng thể loại không, có từ khóa không, giọng có tương đồng không. Thí sinh xếp đầu vòng sơ loại chưa chắc là xuất sắc nhất — có thể chỉ là người có "profile" khớp tốt với yêu cầu.
Vòng chung kết là stage 2 — re-ranking bằng cross-encoder. Giám khảo chính ngồi xem từng thí sinh trình diễn, đối chiếu chi tiết với yêu cầu, đánh giá kỹ năng ẩn mà vòng sơ loại không phát hiện ra. Vì dành nhiều thời gian hơn, giám khảo chấm chính xác hơn nhiều — và xếp hạng có thể đảo lộn hoàn toàn so với vòng 1.
Trong AI/ML, điều này có nghĩa là một pipeline 2 tầng : tầng đầu tối ưu cho tốc độ và recall (không được bỏ sót), tầng hai tối ưu cho độ chính xác (xếp đúng thứ tự). Đây là kiến trúc chuẩn mà hầu hết hệ thống search hiện đại (Google, Bing, Perplexity, Cohere) đều dùng.
Nếu không có re-ranking, hệ thống của bạn sẽ bị "lừa" bởi các tài liệu trông liên quan (nhiều từ khóa, embedding tương tự) nhưng không thực sự trả lời câu hỏi. Với RAG, điều đó dẫn tới LLM nhận context kém chất lượng, từ đó sinh ra hallucination hoặc câu trả lời lạc đề. Re-ranking là van chất lượng — lọc lại trước khi đưa vào LLM.
Khám phá
So sánh hai tầng của pipeline. Bi-encoder và cross-encoder khác nhau ở cách mã hoá và ở chi phí tính toán.
Tiêu chí
Bi-Encoder (Stage 1)
Cross-Encoder (Stage 2)
Cách mã hoá
Mã hóa query và doc RIÊNG RẼ. Precompute doc embeddings. Cosine + ANN.
Mã hóa CÙNG LÚC (query, doc). Attention qua cả hai.
Tốc độ
Rất nhanh (ms), tối ưu cho recall.
O(N) mỗi query; chỉ nên chạy trên top-K.
Chất lượng
Thấp hơn cross-encoder.
Chính xác hơn 15–25% NDCG (theo nguồn bài, chưa kiểm chứng).
Khoảnh khắc Aha
Re-ranking giống cuộc thi tài năng 2 vòng: vòng sơ loại (stage 1) lọc nhanh 10M xuống 100, vòng chung kết (stage 2) để giám khảo chính đánh giá kỹ từng người trong 100. Kết quả: thí sinh thực sự giỏi nhất lên đầu — dù vòng sơ loại có thể xếp hạng khác hoàn toàn. Bí quyết không phải là "mô hình mạnh hơn" mà là chia nhỏ vấn đề: tốc độ cho việc dễ, độ chính xác cho việc quan trọng.
Thử thách 1
Re-ranker KHÔNG tìm kiếm mới — chỉ xếp hạng lại. Nếu stage 1 bỏ lỡ tài liệu tốt, re-ranker cũng không cứu được. Top-K stage 1 quá nhỏ = recall thấp. Thực tế: top-50 đến top-100 là vùng an toàn cho hầu hết pipeline.
Thử thách 2
Hybrid search cân bằng recall (BM25 bắt từ khóa hiếm, embedding bắt ý nghĩa). Top-100 đủ rộng cho re-ranker. BGE-Reranker-v2-m3 hoặc Cohere hỗ trợ tiếng Việt tốt. Với 100 cặp × ~10 ms ≈ 100–200 ms (batch), cộng retrieval 50–100 ms → tổng dưới 500 ms. Chạy Cross-Encoder thẳng 2M là bất khả thi (hàng giờ); chỉ bi-encoder thì chất lượng thua 20% điểm NDCG.
Giải thích sâu
Re-ranking là bước xếp hạng lại kết quả từ stage 1 (thường là semantic search hoặc hybrid search) bằng một mô hình mạnh hơn — gần như luôn là một cross-encoder Transformer. Nó đưa kết quả liên quan nhất lên đầu và là bước chuẩn trong mọi pipeline RAG chất lượng cao.
Định nghĩa toán học. Cho query q và document d, cross-encoder tính một score thực:
score(q,d)=CrossEncoder([CLS]q[SEP]d[SEP])
Query và document được concat rồi đi cùng lúc qua Transformer. Mỗi token query có thể attend đến mỗi token document (và ngược lại), nắm bắt tương tác chi tiết mà bi-encoder bỏ lỡ — ví dụ: q "quyền lao động" × d "Điều 5 quy định các quyền cơ bản của người lao động" sẽ match rất mạnh, trong khi d "giá vàng tăng mạnh — người lao động khóc ròng" match yếu.
Bi-encoder, ngược lại, mã hóa riêng:
score(q,d)=cos(Enc(q),Enc(d))
Vì độc lập, ta có thể precompute Enc(d) cho cả corpus, rồi lookup cực nhanh bằng ANN (HNSW, IVF-PQ). Giá phải trả: không có tương tác token-to-token, dẫn tới sai lệch khi nhiều từ khóa bề mặt nhưng ngữ nghĩa lệch.
Code mẫu 1 — Cohere Rerank (API managed). Đây là cách nhanh nhất để có một pipeline rerank hoạt động. Không cần GPU, không cần tải model; bạn chỉ truyền query và danh sách doc, service trả về score:
Cohere Rerank v3.5
# pip install cohereimportcohereco=cohere.Client("YOUR_COHERE_API_KEY")query="quyền lao động Việt Nam"documents=["Luật lao động 2019 quy định quyền cơ bản của người lao động...","Giá vàng hôm nay tăng mạnh — người lao động khóc ròng","Hợp đồng lao động — mẫu và hướng dẫn ký kết","Công ước ILO 87 và 98 về quyền tự do hiệp hội ở Việt Nam",# ... top-100 từ stage 1 (bi-encoder / BM25 / hybrid)]result=co.rerank(query=query,documents=documents,model="rerank-v3.5",# đa ngôn ngữ, bao gồm tiếng Việttop_n=5,# chỉ lấy top-5 sau rerank)forhitinresult.results:score=hit.relevance_scoretext=documents[hit.index]print(f"{score:.3f}\t{text[:60]}...")# Output (ví dụ):# 0.942 Luật lao động 2019 quy định quyền cơ bản của người...# 0.834 Công ước ILO 87 và 98 về quyền tự do hiệp hội...# 0.471 Hợp đồng lao động — mẫu và hướng dẫn ký kết# 0.041 Giá vàng hôm nay tăng mạnh — người lao động khóc...
Code mẫu 2 — BGE-Reranker local (open-source). Khi bạn muốn tự kiểm soát (on-prem, nhạy cảm dữ liệu, chi phí dài hạn), một cross-encoder open-source như BGE-Reranker-v2-m3 là lựa chọn cân bằng giữa chất lượng và tốc độ. Chú ý batch để tận dụng GPU:
BGE-Reranker-v2-m3 + sentence-transformers
# pip install sentence-transformers torchfromsentence_transformersimportCrossEncoderimporttorchmodel=CrossEncoder("BAAI/bge-reranker-v2-m3",max_length=512,device="cuda"iftorch.cuda.is_available()else"cpu",)query="quyền lao động Việt Nam"candidates=["Luật lao động 2019 quy định quyền cơ bản của người lao động...","Giá vàng hôm nay tăng mạnh — người lao động khóc ròng","Công ước ILO 87 và 98 về quyền tự do hiệp hội ở Việt Nam",# ... top-100 từ stage 1]# Tạo các cặp (query, doc) — batch tất cả vào 1 forward passpairs=[(query,doc)fordocincandidates]# predict trả về logit thực. Sigmoid để về xác suất.scores=model.predict(pairs,batch_size=32,show_progress_bar=False)# Sắp xếp giảm dần theo score, lấy top-5ranked=sorted(zip(candidates,scores),key=lambdax:x[1],reverse=True,)[:5]fordoc,sinranked:print(f"{s:+.3f}\t{doc[:60]}...")# Gợi ý production:# 1. Luôn batch (batch_size 16–64 trên T4, 64–128 trên A100).# 2. Cache score cho (query, doc_id) nếu query lặp.# 3. Với max_length ngắn hơn (256), tốc độ tăng ~2x, chất lượng# giảm nhẹ trên tài liệu dài — hãy A/B test trên data của bạn.
Chi tiết: tại sao cross-encoder chính xác hơn — góc nhìn attention
Trong một Transformer encoder, mỗi self-attention layer tính:
Attention(Q,K,V)=softmax(dkQK⊤)V
Với bi-encoder, query và doc đi qua model độc lập, nên các token query không bao giờ "nhìn thấy" các token doc bên trong attention. Vector cuối cùng chỉ là một tóm tắt cô lập — cosine similarity giữa hai tóm tắt mất mát thông tin fine-grained (ví dụ: từ "quyền" trong query nên match với "quyền cơ bản" ở doc, nhưng không với "giá vàng").
Với cross-encoder, query và doc được concat, nên mỗi lớp attention cho phép token query attend sang token doc và ngược lại. Đây là lý do cross-encoder bắt được các phrase match chính xác và quan hệ ngữ pháp — chính điểm yếu của bi-encoder.
Trade-off thuần túy: expressiveness ⇔ precomputation. Gần đây có những kiến trúc lai (ColBERT, SPLADE) cố gắng giữ một phần tương tác token-level mà vẫn precompute được — đáng tham khảo nếu bạn đụng phải giới hạn latency của cross-encoder.
Nâng cao: LLM-as-a-reranker và pairwise ranking
Một hướng mới: dùng LLM làm reranker bằng prompt. Ví dụ RankGPT hỏi LLM "đây là 20 tài liệu, hãy xếp hạng lại theo độ liên quan với query". Hai biến thể chính:
Pointwise: hỏi LLM từng cặp (q, d), cho điểm 0–10. Đơn giản nhưng tốn token.
Listwise / pairwise: cho LLM cả danh sách, yêu cầu sắp xếp. Chính xác hơn nhưng cần context dài, dễ bị positional bias (LLM ưu tiên doc ở đầu prompt).
Chất lượng LLM-as-a-reranker có thể vượt cross-encoder truyền thống, nhưng chi phí và latency cao hơn 10–100 lần. Hiện tại chỉ hợp lý cho các pipeline chất lượng cao (search enterprise, legal, medical) hoặc khi bạn đã có LLM ở downstream.
Khi nào dùng. Hãy bật re-ranking khi:
RAG với LLM — context chất lượng trực tiếp quyết định chất lượng câu trả lời.
Ngôn ngữ hoặc domain đặc thù (tiếng Việt, y khoa, pháp luật) khiến embedding thuần không đủ tinh tế.
Bi-encoder của bạn chưa fine-tune — rerank có thể cứu 10–20% NDCG ngay mà không cần train.
Khi nào bỏ qua. Không phải lúc nào cũng cần rerank. Bỏ qua khi:
Latency SLA rất chặt (< 50 ms) và bạn không thể batch đủ lớn.
Corpus bé (< 10K) và bi-encoder đã fine-tune tốt trên domain.
Use case là autocomplete / suggest — người dùng gõ liên tục, chi phí rerank nhân lên nhanh.
Trong thực tế: một pipeline RAG điển hình năm 2024–2025 trông như sau: query rewrite → hybrid search (BM25 + bi-encoder) → top-100 → cross-encoder rerank → top-5 → LLM. Chỉ chi phí và latency từ rerank thường chiếm 20–40% toàn pipeline, nhưng chất lượng câu trả lời cuối cùng cải thiện rõ rệt — và đó là lý do nó trở thành mặc định.
Tóm tắt
Những điều cần nhớ về Re-ranking
Re-ranking là stage 2 của pipeline: bi-encoder retrieve top-100 → cross-encoder rerank → top-5 cho LLM.
Cross-encoder mã hóa (query, doc) CÙNG LÚC nên chính xác hơn 15–25% NDCG, đổi lại O(N) mỗi query.
Top-K stage 1 quyết định trần recall — quá nhỏ (10) sẽ đánh mất tài liệu tốt; mặc định an toàn là 50–100.
Ba họ reranker chính: generative (MonoT5), cross-encoder mở (BGE-Reranker, MiniLM), API managed (Cohere Rerank).
Với tiếng Việt: dùng BGE-Reranker-v2-m3 hoặc Cohere Rerank — tránh các model tiếng Anh thuần.
Luôn batch các cặp (q, d) trên GPU — đây là đòn bẩy đơn giản nhất để giảm latency 5–10 lần.