ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Xu hướng mới

AI Researcher

Mô hình suy luận — AI biết nghĩ sâu

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Thế hệ mô hình AI mới có khả năng suy luận từng bước, giải quyết các bài toán phức tạp đòi hỏi logic và tư duy.

lesson120 minXu hướng mớiAI Researcher

Dự đoán

Bài toán: 'Có 5 người xếp hàng. An đứng sau Bình, Cường đứng trước An, Dung đứng cuối. Ai đứng thứ 2?' LLM thường trả lời trong 0.5s. Reasoning model nghĩ 30s. Ai đúng hơn?

Bài logic nhiều ràng buộc cần suy luận từng bước. LLM thường đoán sai vì 'nhìn pattern' thay vì 'suy nghĩ'. Reasoning model sắp xếp: An sau Bình → Bình...An; Cường trước An → ...Cường...An; Dung cuối → Bình, Cường, An, ?, Dung. Giống thi tự luận vs trắc nghiệm.

Ẩn dụ thực tế

LLM thường giống một học sinh làm bài trắc nghiệm: đọc câu hỏi, chọn đáp án ngay. Tốc độ là ưu tiên; nhìn pattern tốt sẽ đúng nhanh. Nhưng với bài yêu cầu 5–10 bước suy luận, phương pháp này giống như đoán — đôi khi may mắn, đôi khi sai tinh vi.

Reasoning model giống học sinh làm bài tự luận: đọc đề, viết nháp — đặt biến, lập phương trình, tính từng bước, kiểm tra, sửa nếu sai, rồi mới viết đáp án. Bản nháp đó không dài vì xấu — nó dài vì cần thiết. Giống một người thợ mộc đo hai lần, cắt một lần.

Một cách nhìn khác: hãy nghĩ tới một bác sĩ chẩn đoán. Ca nhẹ (cảm cúm) — nhìn triệu chứng, kê đơn trong 2 phút. Ca phức tạp (triệu chứng mâu thuẫn) — bác sĩ dừng lại, nói to suy nghĩ của mình: "nếu là A thì phải thấy B, nhưng B không có, vậy không phải A; hoặc là C, kiểm tra lại bằng xét nghiệm...". Quá trình đó chính là chain-of-thought.

Bước nhảy vọt của AI không phải là "biết nhiều hơn" mà là biết suy nghĩ. Và giống sinh viên giỏi, reasoning model không cần viết 10 trang cho câu hỏi đơn giản — nó nên biết khi nào dừng. Đây chính là lý do routing (chọn model tuỳ độ khó) là chìa khoá kinh tế trong thực tế.

Nếu không có khả năng suy luận, mô hình chỉ là một bộ nhớ khổng lồ biết pattern — giỏi nhớ, dở tư duy. Reasoning models là bước đầu tiên khiến AI có thể đối mặt với những vấn đề ngoài phân bố training data: các biến thể mới, các kết hợp chưa từng thấy, các bài toán olympic thật sự. Đó là thông điệp lớn nhất của o1, o3 và DeepSeek-R1 trong làn sóng 2024–2025.

Dấu vết suy luận mẫu

Một cửa hàng có 3 loại trà sữa: trân châu, pudding và thạch. Giá trung bình mỗi ly: 35.000đ, 42.000đ, 38.000đ. Hôm nay bán 120 ly, tổng doanh thu 4.620.000đ. Biết số ly pudding bằng tổng số ly trân châu và thạch. Hỏi mỗi loại bán bao nhiêu ly?

Đáp án: Trân châu 60, Pudding 60, Thạch 0. Giải bằng hệ phương trình 3 ẩn và kiểm tra chéo cả 3 ràng buộc.

Đặt biến: gọi x = số ly trân châu, y = số ly pudding, z = số ly thạch. Mình có 3 ràng buộc: tổng số ly, tổng doanh thu, và điều kiện pudding = trân châu + thạch. Đây là hệ 3 phương trình 3 ẩn — giải được.

Viết hệ: (1) x + y + z = 120. (2) 35x + 42y + 38z = 4620 (đơn vị nghìn đồng). (3) y = x + z.

Thế (3) vào (1): x + (x + z) + z = 120 → 2x + 2z = 120 → x + z = 60, nên y = 60.

Thế y = 60 và z = 60 - x vào (2): 35x + 42·60 + 38(60 - x) = 4620 → 35x + 2520 + 2280 - 38x = 4620 → -3x + 4800 = 4620 → -3x = -180 → x = 60.

Hmm, x = 60 nhưng x + z = 60 → z = 0. Kiểm tra: tổng = 60 + 60 + 0 = 120 ✓, doanh thu = 60·35 + 60·42 + 0·38 = 2100 + 2520 = 4620 ✓, pudding = 60 = 60 + 0 = x + z ✓.

Đáp án hợp lệ toán học nhưng z = 0 có vẻ lạ. Xem lại đề — không có ràng buộc mỗi loại > 0. Kết quả vẫn đúng; có thể hôm nay thạch hết từ sáng.

Trân châu: 60 ly. Pudding: 60 ly. Thạch: 0 ly. (Với giả định có thể hết hàng.) Nếu đề yêu cầu z > 0, thì cần thêm ràng buộc.

Lưu ý bước 6 — model tự nghi ngờ đáp án z = 0, đọc lại đề, xác nhận không có ràng buộc z > 0. Đó chính là self-verification — thứ LLM thường không làm.

So sánh reasoning và non-reasoning

Một forward pass sinh đáp án. Nhanh, rẻ, nhưng dễ sai trên bài nhiều bước. Tốt cho Q&A factual, chat casual, classification.

Sinh thinking trace (100s–1000s tokens) rồi mới answer. Chậm, đắt hơn 10–100×, nhưng vượt trội trên toán, code phức tạp, logic, planning.

Khoảnh khắc Aha

LLM thường = thi trắc nghiệm (nhìn câu hỏi, đoán ngay). Reasoning model = thi tự luận (phân tích, viết lời giải, kiểm tra lại). Bước nhảy vọt: AI không chỉ "biết nhiều" mà bắt đầu "biết suy nghĩ". Nhưng giống một sinh viên giỏi, bí quyết là biết khi nào cần dành 10 trang — và khi nào một câu là đủ.

Thử thách 1

Model reasoning sinh 2.000 thinking tokens + 200 answer tokens cho mỗi câu hỏi. Bạn phục vụ 10.000 requests/ngày. Thinking tokens tốn $0.15/1M, output tokens $0.60/1M. Chi phí thinking vs output?

Thinking: 10.000 × 2.000 × $0.15 / 1M = $3. Output: 10.000 × 200 × $0.60 / 1M = $1.2. Thinking chiếm 71% chi phí dù giá per token rẻ hơn — vì SỐ LƯỢNG token lớn hơn 10×. Đây là lý do cần routing: chỉ dùng reasoning cho câu khó!

Thử thách 2

Bạn xây trợ lý học sinh. Khoảng 80% câu là Q&A factual đơn giản, 20% là bài toán nhiều bước. Chiến lược nào tối ưu chi phí × chất lượng?

Routing là chiến lược chuẩn: (1) Một classifier nhẹ (embedding + vài rule / logistic) phân loại câu hỏi. (2) Câu factual dùng model rẻ. (3) Câu khó dùng reasoning. Kết quả: chi phí trung bình giảm 5–10×, chất lượng gần như không đổi vì 80% câu vốn không cần reasoning. 'Luôn dùng mạnh nhất' là anti-pattern — lãng phí tài nguyên và làm user phải chờ vô ích.

Định nghĩa hình thức và scaling

Mô hình suy luận (Reasoning Models) như o1/o3 (OpenAI), DeepSeek-R1 và Claude với extended thinking là một paradigm mới: tăng test-time compute (compute tại thời điểm inference) thay vì chỉ tăng training compute. Cốt lõi là sinh chuỗi chain-of-thought nội bộ, rất dài (hàng nghìn đến hàng chục nghìn tokens), trước khi xuất đáp án cuối. DeepSeek-R1 còn được train bằng GRPO — một biến thể PPO không cần critic.

Định nghĩa hình thức. Gọi x là prompt, y là đáp án cuối, z là thinking trace ẩn. LLM thường mô hình:

p(y∣x)p(y \mid x)

Reasoning model mô hình có biến ẩn trung gian:

p(y∣x)=∑zp(z∣x)⋅p(y∣x,z)p(y \mid x) = \sum_{z} p(z \mid x) \cdot p(y \mid x, z)

Trong thực tế, thay vì cộng tất cả z, model sample một z bằng autoregressive decoding (có thể hàng nghìn token), rồi condition y trên cả x và z. Khi z đủ dài và đúng hướng, p(y | x, z) chính xác hơn nhiều so với p(y | x) trực tiếp.

Scaling laws cũ vs mới. Trục scaling thứ hai là một trong những phát hiện lớn nhất của o1:

Cu˜: Accuracy∝log⁡(Training Compute)\text{Cũ: } \text{Accuracy} \propto \log(\text{Training Compute})
Mới: Accuracy∝log⁡(Training)+log⁡(Test-time Compute)\text{Mới: } \text{Accuracy} \propto \log(\text{Training}) + \log(\text{Test-time Compute})

Cơ chế cốt lõi

Cơ chế cốt lõi. Bốn "thao tác nhận thức" mà thinking trace cho phép:

  • Decomposition: chia bài lớn thành bài con — giải hệ → đặt biến → viết phương trình → thế → rút.
  • Self-verification: kiểm tra đáp án vừa tính ngược trở lại các ràng buộc ban đầu.
  • Backtracking: phát hiện mâu thuẫn → thử hướng khác thay vì ép đưa ra đáp án sai.
  • Analogical reasoning: nhận ra bài này giống một bài khác đã biết → áp dụng công thức / strategy tương tự.

Training pipeline

Training pipeline tiêu biểu.

L=LSFT⏟Supervised CoT+λ⋅LRL⏟Reinforcement (PRM/ORM)\mathcal{L} = \underbrace{\mathcal{L}_{\text{SFT}}}_{\text{Supervised CoT}} + \underbrace{\lambda \cdot \mathcal{L}_{\text{RL}}}_{\text{Reinforcement (PRM/ORM)}}

Bước 1: SFT trên corpus thinking trace (có thể từ expert, distilled từ model mạnh, hoặc R1-Zero style — không có SFT, chỉ RL từ base). Bước 2: RL với PRM/ORM — model tự khám phá chiến lược mới, xuất hiện hành vi phản xạ như "wait", "let me check", v.v.

Code mẫu

Code mẫu 1 — Claude extended thinking API.

Anthropic SDK — extended thinking

# pip install anthropic
import anthropic

client = anthropic.Anthropic()

# Standard — trả lời nhanh
standard = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=1024,
    messages=[
        {"role": "user", "content": "Giải hệ: x+y+z=120; 35x+42y+38z=4620; y=x+z"}
    ],
)
# Latency ~1s, cost ~$0.01

# Extended thinking — bật thinking budget
reasoning = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=16000,
    thinking={
        "type": "enabled",
        "budget_tokens": 10000,  # tối đa 10K thinking tokens
    },
    messages=[
        {"role": "user", "content": "Giải hệ: x+y+z=120; 35x+42y+38z=4620; y=x+z"}
    ],
)
# Latency ~15s, cost ~$0.30
# Accuracy trên bài logic: 95% vs 55%

# Inspect thinking
for block in reasoning.content:
    if block.type == "thinking":
        print("THINKING:", block.thinking[:200], "...")
    elif block.type == "text":
        print("ANSWER:", block.text)

# Tip: dùng stream=True để xem thinking trực tiếp
# Tip: thinking budget càng cao, accuracy càng tăng (đến một ngưỡng)

Code mẫu 2 — Routing thông minh. Trong production, routing là đòn bẩy chi phí lớn nhất. Ví dụ heuristic đơn giản phân loại câu hỏi cần reasoning hay không:

Simple reasoning router

import re
from openai import OpenAI

client = OpenAI()

REASONING_TRIGGERS = [
    r"\bprove\b", r"\bchứng minh\b", r"\bgiải hệ\b",
    r"thuật toán", r"độ phức tạp", r"logic",
    r"\d+\s*[+\-*/]\s*\d+",  # có biểu thức số học
    r"bước", r"tại sao",
]

def needs_reasoning(prompt: str) -> bool:
    """Heuristic: bật reasoning nếu câu hỏi có tín hiệu phân tích."""
    low = prompt.lower()
    score = sum(1 for pat in REASONING_TRIGGERS if re.search(pat, low))
    return score >= 2 or len(prompt) > 400

def answer(prompt: str) -> str:
    if needs_reasoning(prompt):
        # Câu khó → reasoning model
        resp = client.chat.completions.create(
            model="o1-mini",  # hoặc "o3-mini", "deepseek-reasoner"
            messages=[{"role": "user", "content": prompt}],
            # o-series không hỗ trợ system prompt & temperature
        )
    else:
        # Câu dễ → fast model
        resp = client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[{"role": "user", "content": prompt}],
            temperature=0.3,
        )
    return resp.choices[0].message.content

# Trong thực tế: thay regex heuristic bằng classifier
#   (embedding → logistic regression) để chính xác hơn.

GRPO không critic

PPO truyền thống cần 4 model trong memory cùng lúc: policy, reference policy, reward model, critic. Rất tốn GPU. GRPO bỏ critic.

Với mỗi prompt q:

  1. Sample K output {o_1, ..., o_K} từ policy hiện tại.
  2. Tính reward r_i cho mỗi o_i (rule-based hoặc RM).
  3. Normalize trong nhóm: A_i = (r_i − mean) / std. Đó là advantage.
  4. Update policy với loss PPO-clip sử dụng A_i — không cần critic ước lượng value.

Kết quả: tiết kiệm 30–50% memory và compute, code đơn giản hơn nhiều, và DeepSeek chứng minh chất lượng ngang PPO trên reasoning tasks. Đây là một trong những lý do R1 huấn luyện được với budget thấp hơn OpenAI nhiều.

R1-Zero và hành vi 'aha'

DeepSeek paper R1 giới thiệu hai model: R1-Zero (chỉ RL, không SFT) và R1 (SFT + RL). R1-Zero bắt đầu từ base model và chạy RL thuần với reward rule-based (đúng/sai đáp án, đúng format).

Ngạc nhiên là R1-Zero tự phát triển hành vi "aha": trong trace xuất hiện các phrase như "wait", "let me reconsider", "that doesn't seem right". Những hành vi này không có trong training data — xuất hiện tự nhiên như policy tối ưu của môi trường RL mà reward đòi hỏi đáp án đúng cuối cùng.

Hệ quả triết học: reasoning không phải kỹ năng được "dạy", mà là hành vi được khuyến khích bởi cấu trúc reward. Nếu bạn buộc một agent phải đúng trong môi trường khó, nó sẽ phát minh ra suy luận.

Ứng dụng và khi nào không dùng

Trong thực tế — ứng dụng:

  • Toán olympic và PhD-level science: AIME, IMO, GPQA Diamond. Reasoning models đạt mức top student.
  • Coding contests: o3 đã đạt điểm gần vàng trên Codeforces, R1 xếp hạng cao trên LiveCodeBench.
  • Agent planning: chia mục tiêu lớn thành subgoal, lên kế hoạch nhiều bước, tự kiểm tra tiến độ.
  • Legal / medical diagnostics: phân tích dài với nhiều ràng buộc, cần truy vết logic.

Khi nào KHÔNG dùng:

  • Câu hỏi factual đơn giản — Q&A, trivia, ngày tháng, định nghĩa.
  • Summarization, translation, style transfer — không cần phân tích nhiều bước.
  • Latency SLA khắt khe (< 2s) — reasoning model thường mất 10–60s.
  • Streaming UX cần token đầu tiên nhanh — thinking làm TTFT (time to first token) tăng 10–100×.

Tương lai gần: kỳ vọng thấy router thông minh hơn (model tự quyết định bật thinking khi nào), thinking có thể "stream" để giảm latency cảm nhận, và các open-weight reasoning models (Qwen-Reasoning, Llama-Reasoning) sẽ khép khoảng cách với o-series.

Benchmark tham khảo (theo nguồn bài, chưa kiểm chứng)

Để có bức tranh định lượng, đây là một vài con số hay gặp trong các paper cuối 2024 / đầu 2025 (các số có thể lệch nhẹ tuỳ phiên bản):

  • AIME 2024: GPT-4o ~9%, o1 ~74%, o3 ~96%, DeepSeek-R1 ~79%. Đây là kỳ thi toán Mỹ mời 500 học sinh giỏi nhất — o3 đã vượt ngưỡng top học sinh.
  • MATH-500: GPT-4o ~76%, các reasoning models thường > 94%. Sát trần, bài toán bậc THPT.
  • GPQA Diamond (PhD science): GPT-4o ~50%, reasoning models 70–87%. Đây là benchmark "Google-proof" — không thể tra ra đáp án.
  • Codeforces rating: o3 ~ 2700+ (gần mức International Grandmaster). GPT-4o ~ 900–1100.

Khi chọn model cho production, đừng chỉ nhìn benchmark toán — hãy đo trên đúng distribution nhiệm vụ của bạn. Một model mạnh AIME có thể yếu trong domain pháp luật hoặc tư vấn khách hàng.

Hạ tầng cho reasoning ở production

Vài điểm thực tế khi triển khai reasoning model:

  • Timeout generous: đặt timeout >= 120s cho o1/o3. Đừng dùng default 30s của HTTP client.
  • Streaming UX: cho người dùng biết model đang "suy nghĩ" để tránh cảm giác treo. Hiển thị thanh progress hoặc loading state rõ ràng.
  • Cache aggressively: reasoning rất tốn — cache trên (query, context) là cách tiết kiệm dễ nhất.
  • Budget cap: luôn đặt max thinking tokens hợp lý (thường 4–10K) để tránh runaway cost.

Tóm tắt

  • Reasoning models (o1, o3, DeepSeek-R1) tăng test-time compute bằng cách sinh chain-of-thought nội bộ trước khi trả lời.
  • Scaling law mới: accuracy ∝ log(training compute) + log(test-time compute) — hai trục scaling độc lập.
  • Thao tác cốt lõi của thinking trace: decomposition, self-verification, backtracking, analogical reasoning.
  • Process Reward Model (PRM) chấm từng bước suy luận — dạy model 'suy nghĩ đúng cách', khác ORM chỉ chấm đáp án.
  • GRPO của DeepSeek-R1 bỏ critic network — sample nhóm K output, normalize reward làm advantage, tiết kiệm 30–50% GPU.
  • Routing là chìa khoá kinh tế: câu dễ dùng GPT-4o, câu khó dùng reasoning — giảm 5–10× chi phí trung bình.

Continue the module

Lesson 1 of 6