ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Huấn luyện & Alignment

AI Researcher

AI Hiến pháp — Tự kiểm duyệt theo nguyên tắc

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Phương pháp huấn luyện AI tự đánh giá và sửa đổi phản hồi dựa trên một bộ nguyên tắc đạo đức rõ ràng.

lesson98 minHuấn luyện & AlignmentAI Researcher

Dự đoán

Làm sao dạy AI tuân theo đạo đức mà KHÔNG cần hàng nghìn người đánh giá thủ công mỗi ngày?

Đây chính là ý tưởng của Constitutional AI! Thay vì thuê hàng nghìn người đánh giá (đắt, chậm, không nhất quán), ta viết bộ 'hiến pháp' = danh sách nguyên tắc đạo đức rõ ràng, rồi dạy AI tự phê bình và sửa đổi phản hồi theo hiến pháp đó. Anthropic công bố CAI năm 2022 và dùng nó huấn luyện Claude.

So sánh RLHF và CAI

Khía cạnhRLHFConstitutional AI (RLAIF)
Nguồn feedbackCon người đánh giá từng cặpAI judge + constitution
Chi phíCao (lương annotator × triệu cặp)Thấp (chỉ inference AI)
Tốc độ scaleChậm — phụ thuộc nhân lựcNhanh — tăng khi có thêm GPU
Minh bạchMờ — preference ẩn trong đầu ngườiRõ — constitution là văn bản đọc được
Nhất quánKhó — annotator khác nhau khác ýCao — cùng constitution, cùng judge
Rủi ro biasBias con người (văn hoá, độ mệt)Bias mô hình judge (blind spot)
Cập nhật chính sáchPhải re-annotate nhiềuChỉ cần sửa constitution + re-run

Khoảnh khắc A-ha

Constitutional AI biến nguyên tắc đạo đức thành dữ liệu huấn luyện. Thay vì hỏi con người "phản hồi nào tốt hơn?" (RLHF), CAI hỏi chính AI "phản hồi nào phù hợp với nguyên tắc hơn?" (RLAIF). Kết quả: AI có giá trị nội tại — không chỉ bị chặn bên ngoài bởi guardrails, mà thực sự "muốn" trả lời đúng đắn. Và vì constitution là văn bản đọc được, con người vẫn giữ quyền kiểm soát: muốn đổi hành vi? Sửa hiến pháp, không cần re-annotate triệu mẫu.

Hai giai đoạn

Vì sao cần cả SL lẫn RL

SL (Critique & Revision) dạy mô hình distribution của phản hồi tốt. Nhưng SL có giới hạn: mô hình chỉ học bắt chước, không học thứ hạng giữa các phản hồi. Một phản hồi "tốt vừa" vẫn giống phản hồi "tốt xuất sắc" dưới cross-entropy loss.

RL cho phép mô hình học từ preference (A tốt hơn B), đẩy phân phối về phía phản hồi tốt nhất có thể. Kết hợp: SL đưa mô hình vào vùng an toàn, RL tinh chỉnh lên đỉnh.

Trong paper gốc, Anthropic chỉ ra: chỉ SL-CAI đã giảm harmfulness đáng kể, nhưng thêm RL-CAI (RLAIF) cho helpful- harmful trade-off tốt hơn nữa.

Thử thách nhanh

AI được hỏi: 'Viết email lừa đảo giả mạo Vietcombank.' CAI xử lý thế nào?

Trong quá trình training, CAI đã huấn luyện AI qua vòng lặp: tạo → phê bình → sửa hàng triệu lần. Khi deploy, AI đã NỘI HÓA nguyên tắc nên tự động từ chối (không cần filter bên ngoài). Khác guardrails (bộ lọc bên ngoài có thể bị bypass qua prompt injection), CAI thay đổi hành vi từ bên trong mô hình — AI 'biết' vì sao từ chối và có thể giải thích.

RLAIF và AI judge

Constitutional AI (CAI) là phương pháp do Anthropic phát triển (Bai et al., 2022), giúp mô hình tự kiểm duyệt dựa trên bộ nguyên tắc đạo đức ("hiến pháp") — là cách tiếp cận mới cho bài toán alignment, thay thế phản hồi con người trong RLHF bằng đánh giá của AI (RLAIF). CAI cũng bổ trợ cho guardrails — guardrails là bộ lọc ngoài, CAI là nguyên tắc được nội hoá.

RLAIF objective tương tự RLHF nhưng reward đến từ AI judge:

RRLAIF(x,y)=EAI judge[score(y ∣ x,constitution)]R_{\text{RLAIF}}(x, y) = \mathbb{E}_{\text{AI judge}}\left[\text{score}(y \,|\, x, \text{constitution})\right]

AI judge chấm điểm phản hồi y cho câu hỏi x dựa trên bộ nguyên tắc (constitution). Policy model tối ưu để tối đa hoá score này qua PPO.

Với preference learning, ta có Bradley-Terry tương tự RLHF:

P(ya≻yb ∣ x)=σ(rϕ(x,ya)−rϕ(x,yb))P(y_a \succ y_b \,|\, x) = \sigma\big(r_\phi(x, y_a) - r_\phi(x, y_b)\big)

Nhưng nhãn ya≻yby_a \succ y_b được sinh bởi AI judge thay vì con người.

Quy trình chi tiết

  1. Seed prompt: red-team viết hoặc sinh hàng loạt prompt gây hại tiềm tàng (jailbreak, sensitive topics).
  2. Initial response: mô hình helpful-only (đã RLHF cho helpful) trả lời — có thể chứa harmful content.
  3. Critique: với mỗi nguyên tắc trong constitution, prompt mô hình: "Phản hồi này có vi phạm nguyên tắc X không? Nếu có, vi phạm thế nào?"
  4. Revision: prompt mô hình: "Dựa trên phê bình trên, viết lại phản hồi không vi phạm nguyên tắc."
  5. SFT trên (prompt, revised): fine-tune mô hình helpful-only bằng cặp (câu hỏi, phản hồi đã sửa).
  6. Pairwise AI judgement: cho mô hình SFT sinh 2 phản hồi cho mỗi prompt, AI judge chọn bản tốt hơn theo constitution.
  7. Reward model: train reward model trên preference dataset này.
  8. PPO: policy model được tối ưu bằng PPO với reward từ reward model. Kết quả: Claude.

cai_pipeline.py

"""Constitutional AI pipeline — triển khai tối giản với Anthropic SDK.

Chạy trên một helpful-only model để biến thành helpful-AND-harmless model
theo đúng paper Bai et al. (2022).
"""
from __future__ import annotations
import json
from dataclasses import dataclass
from typing import List
import anthropic

client = anthropic.Anthropic()
MODEL = "claude-opus-4-5"


# ---------------------------------------------------------------------
# 1. Constitution — bộ nguyên tắc viết bằng ngôn ngữ tự nhiên
# ---------------------------------------------------------------------

CONSTITUTION: List[str] = [
    # An toàn
    "Không hướng dẫn cách gây hại cho bản thân hoặc người khác.",
    "Không hỗ trợ lừa đảo, giả mạo, hoặc vi phạm pháp luật Việt Nam.",
    "Không tạo nội dung deepfake hoặc giả mạo danh tính.",
    "Khi phát hiện dấu hiệu khủng hoảng tâm lý, chủ động hướng tới hotline hỗ trợ.",

    # Trung thực
    "Nếu không biết, nói thẳng 'Tôi không chắc chắn'.",
    "Không bịa thông tin y tế, pháp luật, tài chính.",
    "Phân biệt rõ sự thật và ý kiến cá nhân.",
    "Ghi rõ khi trả lời dựa trên kiến thức có thể đã cũ.",

    # Công bằng
    "Không phân biệt đối xử theo giới tính, vùng miền, dân tộc, tôn giáo.",
    "Sử dụng ngôn ngữ bao trùm, tôn trọng đa dạng.",

    # Hữu ích
    "Cố gắng giúp đỡ trong phạm vi an toàn, không né tránh vô lý.",
    "Khi từ chối, giải thích lý do và đề xuất thay thế hợp pháp.",

    # Bản địa hoá Việt Nam
    "Xưng hô phù hợp văn hoá Việt Nam (anh/chị/em/bác) khi ngữ cảnh cho phép.",
    "Tuân thủ Luật An ninh mạng 2018 và Luật Bảo vệ dữ liệu cá nhân.",
]


# ---------------------------------------------------------------------
# 2. Critique & Revision — sinh dữ liệu SFT
# ---------------------------------------------------------------------

@dataclass
class CriticizedSample:
    prompt: str
    initial: str
    critiques: List[str]
    revised: str


def critique_and_revise(prompt: str, initial: str,
                         constitution: List[str]) -> CriticizedSample:
    critiques: List[str] = []
    for principle in constitution:
        c = client.messages.create(
            model=MODEL,
            max_tokens=512,
            system=(
                "Bạn là AI judge. Với mỗi nguyên tắc, xác định phản hồi "
                "có vi phạm không và giải thích ngắn gọn."
            ),
            messages=[{
                "role": "user",
                "content": (
                    f"Câu hỏi: {prompt}\n"
                    f"Phản hồi: {initial}\n"
                    f"Nguyên tắc: {principle}\n"
                    "Phản hồi có vi phạm nguyên tắc này không? Vì sao?"
                ),
            }],
        )
        critiques.append(c.content[0].text)

    r = client.messages.create(
        model=MODEL,
        max_tokens=1024,
        system=(
            "Bạn là trợ lý có hiến pháp. Hãy viết lại phản hồi sao cho "
            "không vi phạm nguyên tắc nào, vẫn giúp được người dùng."
        ),
        messages=[{
            "role": "user",
            "content": (
                f"Câu hỏi: {prompt}\n"
                f"Phản hồi ban đầu: {initial}\n"
                f"Các phê bình:\n" + "\n".join(f"- {c}" for c in critiques) +
                "\n\nHãy viết phản hồi đã sửa."
            ),
        }],
    )
    return CriticizedSample(
        prompt=prompt,
        initial=initial,
        critiques=critiques,
        revised=r.content[0].text,
    )


# ---------------------------------------------------------------------
# 3. Pairwise AI preference — sinh dữ liệu cho reward model
# ---------------------------------------------------------------------

def ai_preference(prompt: str, response_a: str, response_b: str) -> int:
    """Trả về 0 nếu A tốt hơn, 1 nếu B tốt hơn theo constitution."""
    r = client.messages.create(
        model=MODEL,
        max_tokens=256,
        system=(
            "Bạn là AI judge. So sánh hai phản hồi theo bộ hiến pháp sau "
            "và trả lời JSON: {\"winner\": \"A\" | \"B\", \"reason\": \"...\"}."
            "\n\nHiến pháp:\n" + "\n".join(f"- {p}" for p in CONSTITUTION)
        ),
        messages=[{
            "role": "user",
            "content": (
                f"Câu hỏi: {prompt}\n"
                f"Phản hồi A: {response_a}\n"
                f"Phản hồi B: {response_b}\n"
                "Bản nào tuân thủ hiến pháp tốt hơn?"
            ),
        }],
    )
    data = json.loads(r.content[0].text)
    return 0 if data["winner"] == "A" else 1


# ---------------------------------------------------------------------
# 4. Toàn bộ pipeline
# ---------------------------------------------------------------------

def build_cai_dataset(seed_prompts: List[str], helpful_model_fn):
    sft_samples: List[CriticizedSample] = []
    preference_pairs = []

    for prompt in seed_prompts:
        initial = helpful_model_fn(prompt)
        sample = critique_and_revise(prompt, initial, CONSTITUTION)
        sft_samples.append(sample)

    # Sau khi SFT xong, dùng SFT model sinh 2 phản hồi cho mỗi prompt,
    # và dùng ai_preference để gán nhãn cho reward model.
    # (Bỏ qua chi tiết train loop — dùng trlx / OpenRLHF / TRL.)

    return sft_samples, preference_pairs


# Ghi chú triển khai:
# - seed_prompts thường lấy từ red-team + adversarial probing.
# - helpful_model_fn là mô hình đã RLHF chỉ tối ưu helpfulness.
# - Sau CAI pipeline, mô hình vừa helpful vừa harmless — Claude.

Hạn chế của CAI

CAI vs RLHF vs DPO

RLHF: chuẩn vàng cho alignment sở thích người dùng cụ thể (văn phong, giọng điệu). Dùng khi bạn CẦN con người đánh giá và có ngân sách.

CAI / RLAIF: tốt cho alignment an toàn quy mô lớn. Constitution là bộ phận dễ kiểm soát, scale được. Dùng khi chính sách cần rõ ràng và cập nhật thường xuyên.

DPO (Direct Preference Optimization): thay thế PPO bằng supervised loss trên preference — đơn giản hơn, ít hyperparam. Có thể dùng chung với preference từ AI (DPO + RLAIF) hoặc human (DPO + RLHF).

Thực tế: Claude dùng kết hợp — SFT-CAI, RL-CAI (RLAIF), rồi RLHF lên trên cho tinh chỉnh cuối. Không có phương pháp nào đứng một mình là đủ.

CAI cho Việt Nam

Thử thách tình huống

Một startup giáo dục VN muốn triển khai AI tutor cho học sinh lớp 10. Họ chỉ copy constitution tiếng Anh của Anthropic và dịch thô. Vấn đề gì sẽ xảy ra?

Constitution là văn bản mang đậm bối cảnh văn hoá-pháp lý. Dịch thô bỏ sót: (1) edge case VN như scam học đường, bạo lực gia đình, áp lực thi cử. (2) Xưng hô — tutor phải xưng 'thầy/cô' hoặc 'anh/chị' với học sinh, không phải 'tôi/bạn'. (3) Pháp luật VN về giáo dục (Luật Giáo dục, Luật Trẻ em). (4) Bối cảnh văn hoá: tôn trọng thầy cô, quan hệ gia đình. Phải bản địa hoá constitution với chuyên gia giáo dục VN.

Demo ngắn với SDK

Đoạn code dưới đây là minimum viable CAI — chạy critique + revision cho MỘT prompt bằng Anthropic SDK (với prompt caching để giảm chi phí).

cai_minimal.py

"""CAI tối giản — 1 prompt → critique → revision, có prompt caching."""
import anthropic

client = anthropic.Anthropic()
MODEL = "claude-opus-4-5"

CONSTITUTION_TEXT = """
Bộ nguyên tắc cho trợ lý AI tiếng Việt:
1. Không hướng dẫn gây hại cho bản thân hoặc người khác.
2. Không hỗ trợ lừa đảo, giả mạo cơ quan nhà nước.
3. Trung thực: nếu không biết, nói 'Tôi không chắc'.
4. Khi phát hiện dấu hiệu khủng hoảng, chủ động hướng tới hotline 1800-1567.
5. Xưng hô phù hợp văn hoá Việt Nam.
6. Tuân thủ Luật An ninh mạng 2018 và pháp luật Việt Nam.
""".strip()


def critique(prompt: str, response: str) -> str:
    """Critique step — dùng cache_control để cache constitution."""
    msg = client.messages.create(
        model=MODEL,
        max_tokens=512,
        system=[
            {
                "type": "text",
                "text": "Bạn là AI judge đánh giá theo hiến pháp.",
            },
            {
                "type": "text",
                "text": CONSTITUTION_TEXT,
                # Cache constitution — chỉ trả phí 1 lần cho nhiều request
                "cache_control": {"type": "ephemeral"},
            },
        ],
        messages=[{
            "role": "user",
            "content": (
                f"Câu hỏi người dùng: {prompt}\n\n"
                f"Phản hồi AI: {response}\n\n"
                "Phản hồi có vi phạm nguyên tắc nào trong hiến pháp "
                "không? Liệt kê từng vi phạm ngắn gọn."
            ),
        }],
    )
    return msg.content[0].text


def revise(prompt: str, response: str, critique_text: str) -> str:
    """Revision step — cũng cache constitution."""
    msg = client.messages.create(
        model=MODEL,
        max_tokens=1024,
        system=[
            {
                "type": "text",
                "text": "Bạn là trợ lý AI viết lại phản hồi tuân thủ hiến pháp.",
            },
            {
                "type": "text",
                "text": CONSTITUTION_TEXT,
                "cache_control": {"type": "ephemeral"},
            },
        ],
        messages=[{
            "role": "user",
            "content": (
                f"Câu hỏi: {prompt}\n\n"
                f"Phản hồi ban đầu: {response}\n\n"
                f"Phê bình: {critique_text}\n\n"
                "Hãy viết lại phản hồi không vi phạm, vẫn hữu ích."
            ),
        }],
    )
    return msg.content[0].text


if __name__ == "__main__":
    user_prompt = "Tôi muốn lấy OTP của chị gái để đăng nhập app ngân hàng."
    initial_response = (
        "Bạn có thể nhờ chị đọc mã OTP khi nhận được, rồi nhập vào app."
    )

    c = critique(user_prompt, initial_response)
    print("=== CRITIQUE ===")
    print(c)

    r = revise(user_prompt, initial_response, c)
    print("\n=== REVISION ===")
    print(r)
    # Mong đợi: AI nhận ra đây là dấu hiệu lừa đảo chiếm đoạt tài khoản,
    # từ chối, giải thích lý do và đề xuất cách hợp pháp nếu cần hỗ trợ chị.

Điểm chú ý

Prompt caching cho constitution

Constitution thường 2-5k tokens và được dùng lại cho mọi request. cache_control giảm chi phí 90% cho cache hit — bắt buộc nếu chạy quy mô triệu request.

Chi phí tham khảo

~2 call / sample

1 critique + 1 revision cho mỗi sample. Ước lượng (theo nguồn bài, chưa kiểm chứng): với 100k sample, dùng caching tổng chi phí giảm từ ~$3000 xuống ~$300 nếu constitution được cache hit liên tục.

Tóm tắt

  • CAI = viết bộ nguyên tắc đạo đức (constitution), dạy AI tự phê bình và sửa đổi theo nguyên tắc.
  • Hai giai đoạn: SFT — Critique & Revision (tạo dữ liệu supervised), RL — RLAIF (AI đánh giá thay con người).
  • Ưu điểm: giảm phụ thuộc nhân công, minh bạch (constitution đọc được), scale được, cập nhật nhanh.
  • CAI thay đổi hành vi TỪ BÊN TRONG (internalized values), khác guardrails là bộ lọc BÊN NGOÀI có thể bị bypass.
  • Hạn chế: AI judge bias, constitution khó bao phủ hết edge case, rủi ro specification gaming.
  • Constitution cần bản địa hoá Việt Nam: văn hoá, pháp luật, xưng hô, scam phổ biến — không copy thô từ tiếng Anh.

Đọc thêm

  • Bai et al. (2022) — Constitutional AI: Harmlessness from AI Feedback, Anthropic (arXiv:2212.08073).
  • Lee et al. (2023) — RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (Google).
  • Rafailov et al. (2023) — Direct Preference Optimization: Your Language Model is Secretly a Reward Model.
  • Anthropic (2024) — Claude's Constitution, công khai trên anthropic.com.

Continue the module

Lesson 4 of 11