Case study minh hoạ: các số liệu và sự kiện dưới đây không phải dữ liệu công khai của Sendo.
Bối cảnh. Sendo chạy chatbot tư vấn sản phẩm trên gpt-4o-mini (cost ~$0.0025/req). Tháng 3, team nhận thấy chatbot hay đưa gợi ý lạc đề khi user hỏi sâu về thông số sản phẩm. Vendor vừa release claude-sonnet-4.5 — team quyết định thử upgrade.
Day 1 — Shadow. Chạy song song 2 model trên 100% traffic (chỉ log candidate). Kết quả sau 24 giờ, 180k request:
- Faithfulness (LLM-as-judge đối chiếu với catalog): +6pp (76% → 82%).
- p95 latency: +1.1s (0.8s → 1.9s).
- Cost/request: ×3.2 ($0.0025 → $0.008).
- Format JSON: OK, không có downstream parser fail.
Day 2-4 — Canary. Ramp 1% → 5%. Goal metric (CSAT) thật sự tăng 4-5 điểm trong nhóm canary. Nhưng guardrail cost của team đặt ≤ 1.2× baseline = $0.003. Candidate ở mức $0.008 — vượt hơn 2.6× ngưỡng. Auto-rollback không kích hoạt vì guard cost được config là "warn" chứ không phải "hard stop". Team quyết định dừng ở 5% thay vì ramp tiếp, và họp với PM.
Đổi chiến thuật — Prompt distillation. Thay vì cutover sang sonnet cho 100% user, team chạy offline:
- Dùng sonnet-4.5 làm teacher: sinh 5000 câu trả lời gold trên tập query đại diện.
- Soạn lại system prompt cho gpt-4o-mini, chèn few-shot từ output sonnet + checklist các điểm faithfulness hay sai.
- Chạy eval lại: mini với prompt mới đạt faithfulness 80% (vs sonnet 82%, mini cũ 76%).
Kết quả. Shadow lại với mini-prompt-v2: faithfulness +4pp, cost gần bằng mini cũ, latency giữ nguyên. Canary 1% → 5% → 25% → 100% trong 6 ngày, không rollback. Chatbot improve mà không đốt 3× ngân sách.
Bài học. "Model xịn hơn" không phải lúc nào cũng thắng trong production. Đo toàn hệ metric (goal + guardrail), đừng chỉ so chất lượng. Đôi khi giải pháp là giữ model cũ với prompt đã học từ model mới — rẻ hơn, ổn hơn, và vẫn cải thiện. Canary không chỉ dùng để deploy, mà còn để học xem candidate có đáng deploy không.