Dự đoán
Đúng! Synthetic data cách mạng hoá: LLM sinh 100K cặp Q&A, bác sĩ verify 10K sample (quality control). Chi phí giảm 3000x, thời gian giảm 180x. Giống buồng mô phỏng bay — phi công không cần bay thật để luyện tập!
Evaluating routing across providers.
AI Researcher
Dữ liệu được tạo bằng AI hoặc mô phỏng, dùng để huấn luyện mô hình khi dữ liệu thật khan hiếm, đắt đỏ hoặc nhạy cảm.
Đúng! Synthetic data cách mạng hoá: LLM sinh 100K cặp Q&A, bác sĩ verify 10K sample (quality control). Chi phí giảm 3000x, thời gian giảm 180x. Giống buồng mô phỏng bay — phi công không cần bay thật để luyện tập!
Synthetic data là buồng mô phỏng bay cho AI — tạo tình huống 'giả nhưng hữu ích' khi dữ liệu thật khan hiếm, đắt, hoặc nhạy cảm. Phi-3 đã chứng minh: 3.8B params + textbook synthetic data > 175B params + web data. Nhưng cẩn quyền: model collapse xảy ra nếu chỉ train trên synthetic — cần trộn dữ liệu thật!
Model collapse điển hình! Thế hệ 1: đa dạng. Thế hệ 2: ít đa dạng hơn (mode collapse). Thế hệ 3: chỉ còn vài pattern chủ đạo. Giống photocopy của photocopy. Giải pháp: LUÔN trộn dữ liệu thật (ít nhất 10-20%), diversity filtering, và KHÔNG train quá nhiều thế hệ.
Synthetic Data là dữ liệu được tạo bằng AI hoặc mô phỏng, dùng thay thế hoặc bổ sung dữ liệu thật khi dữ liệu thật khan hiếm, đắt, hoặc nhạy cảm. Đây là mắt xích quan trọng trong data pipelines hiện đại và là một trong những động lực mới của scaling laws khi dữ liệu web chất lượng cao đã dần cạn.
3 phương pháp tạo chính:
Model Collapse — rủi ro lớn nhất:
Qua mỗi thế hệ, phân phối dữ liệu thu hẹp (mất tail), đa dạng giảm, lỗi khuếch đại.
Quality control cho synthetic data:
import anthropic
import json
from typing import List
client = anthropic.Anthropic()
def generate_qa_pairs(topic: str, n: int = 100) -> List[dict]:
"""Sinh Q&A pairs chất lượng cao."""
prompt = f"""Tạo {n} cặp hỏi-đáp về {topic} cho học sinh Việt Nam.
Yêu cầu:
- Câu hỏi đa dạng (kiến thức, ứng dụng, phân tích)
- Trả lời chi tiết, có giải thích
- Dùng tiếng Việt tự nhiên
- Mỗi cặp là JSON: {{"q": "...", "a": "..."}}
Trả về JSON array:"""
resp = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=8000,
temperature=0.9, # Đa dạng hoá
messages=[{"role": "user", "content": prompt}],
)
return json.loads(resp.content[0].text)
# Sinh + lọc chất lượng
pairs = generate_qa_pairs("sốt xuất huyết", n=1000)
# Quality filtering: chỉ giữ samples tốt
def score_quality(pair: dict) -> float:
resp = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=10,
messages=[{"role": "user", "content":
f"Rate 0-10: Q: {pair['q']} A: {pair['a']}. Score:"}],
)
return float(resp.content[0].text.strip())
# Chỉ giữ samples score >= 8
high_quality = [p for p in pairs if score_quality(p) >= 8]
# Giảm từ 1000 → ~700 high-quality pairs