Red Teaming là phương pháp kiểm thử bảo mật chủ động, trong đó các chuyên gia cố tình đóng vai kẻ tấn công để phát hiện lỗ hổng của AI trước khi triển khai. Thuật ngữ đến từ quân sự: "đội đỏ" giả lập kẻ thù. Kết quả red team được dùng để gia cố guardrails, tăng khả năng chống tấn công , và giảm hallucination trên edge cases.
Khác với đánh giá chuẩn (đo accuracy trung bình trên benchmark), red teaming đo khả năng chống trượt dưới áp lực của kẻ thù có kỹ năng. Một mô hình có thể đạt 95% MMLU nhưng vẫn bị bypass an toàn 60% trong thử nghiệm adversarial — hai con số đo hai thứ hoàn toàn khác nhau.
Về mặt toán học, ta có thể mô tả mục tiêu của red teamer là cực đại hoá attack success rate trên một tập input adversarial A:
ASR=Ex∼A[1{fθ(x)∈H}] Trong đó fθ là mô hình, H là tập phản hồi có hại (harmful responses). Đội red team tìm x∗ tối đa hoá ASR; nhà phát triển tối thiểu hoá ASR bằng safety training và guardrails.