ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Xu hướng mới

AI Researcher

Dữ liệu tổng hợp — AI tạo dữ liệu cho AI

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Dữ liệu được tạo bằng AI hoặc mô phỏng, dùng để huấn luyện mô hình khi dữ liệu thật khan hiếm, đắt đỏ hoặc nhạy cảm.

lesson120 minXu hướng mớiAI Researcher

Dự đoán

Làm sao có 100K cặp Q&A y tế tiếng Việt với chi phí hợp lý?

Đúng! Synthetic data cách mạng hoá: LLM sinh 100K cặp Q&A, bác sĩ verify 10K sample (quality control). Chi phí giảm 3000x, thời gian giảm 180x. Giống buồng mô phỏng bay — phi công không cần bay thật để luyện tập!

Khoảnh khắc A-ha

Synthetic data là buồng mô phỏng bay cho AI — tạo tình huống 'giả nhưng hữu ích' khi dữ liệu thật khan hiếm, đắt, hoặc nhạy cảm. Phi-3 đã chứng minh: 3.8B params + textbook synthetic data > 175B params + web data. Nhưng cẩn quyền: model collapse xảy ra nếu chỉ train trên synthetic — cần trộn dữ liệu thật!

Thử thách

Sau 3 thế hệ model học từ dữ liệu do chính model trước sinh ra, điều gì xảy ra?

Model collapse điển hình! Thế hệ 1: đa dạng. Thế hệ 2: ít đa dạng hơn (mode collapse). Thế hệ 3: chỉ còn vài pattern chủ đạo. Giống photocopy của photocopy. Giải pháp: LUÔN trộn dữ liệu thật (ít nhất 10-20%), diversity filtering, và KHÔNG train quá nhiều thế hệ.

Ba phương pháp và model collapse

Synthetic Data là dữ liệu được tạo bằng AI hoặc mô phỏng, dùng thay thế hoặc bổ sung dữ liệu thật khi dữ liệu thật khan hiếm, đắt, hoặc nhạy cảm. Đây là mắt xích quan trọng trong data pipelines hiện đại và là một trong những động lực mới của scaling laws khi dữ liệu web chất lượng cao đã dần cạn.

3 phương pháp tạo chính:

  • LLM Distillation: Model lớn (GPT-4) sinh data → train model nhỏ. Chất lượng 85-90% model gốc
  • Self-Instruct: Model tự sinh instruction → answer pairs. Rẻ nhưng dễ bị loop
  • Evol-Instruct: Bắt đầu từ instruction đơn giản, LLM tăng độ khó dần → đa dạng hơn

Model Collapse — rủi ro lớn nhất:

Pn+1(x)=∫Pmodel(x∣θn) dθn→mode collapse khi n→∞P_{n+1}(x) = \int P_{\text{model}}(x|\theta_n) \, d\theta_n \rightarrow \text{mode collapse khi } n \to \infty

Qua mỗi thế hệ, phân phối dữ liệu thu hẹp (mất tail), đa dạng giảm, lỗi khuếch đại.

Chất lượng và thực hành

Quality control cho synthetic data:

  • Human verification: Verify 5-10% samples — phát hiện pattern lỗi
  • Diversity metrics: Đo n-gram diversity, embedding spread, topic coverage
  • Contamination check: Đảm bảo synthetic data không trùng với test set
  • Reward model filtering: Chỉ giữ samples có quality score cao

Sinh synthetic training data với LLM

import anthropic
import json
from typing import List

client = anthropic.Anthropic()

def generate_qa_pairs(topic: str, n: int = 100) -> List[dict]:
    """Sinh Q&A pairs chất lượng cao."""
    prompt = f"""Tạo {n} cặp hỏi-đáp về {topic} cho học sinh Việt Nam.
Yêu cầu:
- Câu hỏi đa dạng (kiến thức, ứng dụng, phân tích)
- Trả lời chi tiết, có giải thích
- Dùng tiếng Việt tự nhiên
- Mỗi cặp là JSON: {{"q": "...", "a": "..."}}

Trả về JSON array:"""

    resp = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=8000,
        temperature=0.9,  # Đa dạng hoá
        messages=[{"role": "user", "content": prompt}],
    )
    return json.loads(resp.content[0].text)

# Sinh + lọc chất lượng
pairs = generate_qa_pairs("sốt xuất huyết", n=1000)

# Quality filtering: chỉ giữ samples tốt
def score_quality(pair: dict) -> float:
    resp = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=10,
        messages=[{"role": "user", "content":
            f"Rate 0-10: Q: {pair['q']} A: {pair['a']}. Score:"}],
    )
    return float(resp.content[0].text.strip())

# Chỉ giữ samples score >= 8
high_quality = [p for p in pairs if score_quality(p) >= 8]
# Giảm từ 1000 → ~700 high-quality pairs

Tóm tắt

  • Synthetic data là 'buồng mô phỏng bay' — tạo dữ liệu 'giả nhưng hữu ích' khi dữ liệu thật khan hiếm hoặc đắt.
  • 3 phương pháp: LLM Distillation (85% quality), Self-Instruct (75%), Rule-based augment (70%).
  • Model collapse: train nhiều thế hệ trên synthetic → mất đa dạng, lỗi khuếch đại. Cần trộn 10%+ dữ liệu thật.
  • Quality control: human verify 5-10%, diversity metrics, reward model filtering.
  • Phi-3 chứng minh: textbook-quality synthetic data + SLM 3.8B > web data + LLM 175B.

Continue the module

Lesson 4 of 6