Dự đoán
Nghiên cứu cho thấy: model nhỏ + test-time compute scaling có thể VƯỢT model lớn hơn 14x dùng 1-pass! Giống sinh viên trung bình được suy nghĩ 3 tiếng vs thiên tài chỉ có 5 phút — thời gian suy nghĩ bù đắp cho năng lực nền.
Evaluating routing across providers.
AI Researcher
Chiến lược sử dụng nhiều tài nguyên tính toán hơn tại thời điểm suy luận để cải thiện chất lượng câu trả lời.
Nghiên cứu cho thấy: model nhỏ + test-time compute scaling có thể VƯỢT model lớn hơn 14x dùng 1-pass! Giống sinh viên trung bình được suy nghĩ 3 tiếng vs thiên tài chỉ có 5 phút — thời gian suy nghĩ bù đắp cho năng lực nền.
Hai cách làm AI giỏi hơn: train lâu hơn (1 lần, fix) hoặc nghĩ lâu hơn (mỗi query, linh hoạt). Test-time compute giống cho thí sinh thêm thời gian làm bài — câu dễ xong nhanh, câu khó nghĩ kỹ. Linh hoạt hơn nhiều so với tăng kích thước model!
Adaptive test-time compute: classifier nhẹ phân loại câu hỏi → 80% câu dễ dùng 1-pass ($0.01), 15% trung bình dùng N=4 ($0.04), 5% khó dùng N=32 ($0.32). Chi phí trung bình: $0.027/req → 100K req = $2700 < budget. Tiết kiệm 10x so với voting cho mọi câu!
Test-Time Compute là paradigm mới cho phép model sử dụng nhiều compute hơn tại INFERENCE để cải thiện chất lượng từng câu trả lời. Đây là nền tảng của reasoning models thế hệ mới, mở rộng scaling laws từ training sang inference.
Model nhỏ + test-time compute cao có thể vượt model lớn + 1-pass inference!
Scaling law mới:
5 chiến lược chính:
Verifier / Reward Models:
import anthropic
import numpy as np
client = anthropic.Anthropic()
def best_of_n(prompt: str, n: int = 8) -> str:
"""Sinh N answers, reward model chọn cái tốt nhất."""
# Sinh N diverse answers (temperature > 0)
answers = []
for _ in range(n):
resp = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=1024,
temperature=0.8, # Đa dạng hoá
messages=[{"role": "user", "content": prompt}],
)
answers.append(resp.content[0].text)
# Reward model đánh giá chất lượng
scores = []
for ans in answers:
score_resp = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=10,
messages=[
{"role": "user", "content": f"""Rate answer quality 0-10.
Question: {prompt}
Answer: {ans}
Score (number only):"""}
],
)
scores.append(float(score_resp.content[0].text.strip()))
# Chọn answer có score cao nhất
best_idx = int(np.argmax(scores))
return answers[best_idx]
# Chi phí: N=8 → 8x inference + 8x scoring = ~16x
# Accuracy: +15-25% trên bài toán khó