ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← RAG & Agents

AI Builder

Điều phối — Nhạc trưởng của hệ thống AI

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Tầng quản lý luồng công việc, điều phối giữa các Agent, công cụ và dịch vụ trong hệ thống AI phức tạp.

lesson94 minRAG & AgentsAI Engineer

Dự đoán

Hệ thống có 5 Agent, 10 công cụ, 3 database. Agent A cần kết quả Agent B trước khi chạy. Agent C và D chạy song song. Ai quản lý tất cả?

Orchestration layer = nhạc trưởng: biết khi nào violon chơi, khi nào kèn ngưng, khi nào cả dàn hoà tấu. Quản lý routing, state, dependencies, error handling cho hệ thống phức tạp.

Kiến trúc Orchestration

Tầng điều phối kết nối agents, tools, và dịch vụ.

Orchestration là tầng quản lý cấp cao, đảm nhận 4 nhiệm vụ:

  • Routing: Xác định Agent/tool nào xử lý mỗi bước. Có thể dùng LLM router hoặc rule-based.
  • State Management: Theo dõi tiến trình: đang ở bước nào, kết quả trung gian là gì, checkpoint để resume.
  • Error Handling: Retry → fallback → escalate. Timeout cho mỗi bước. Circuit breaker cho service lỗi.
  • Resource Optimization: Song song hoá bước độc lập, rate limiting cho API, cost tracking.

Khoảnh khắc aha

Orchestration không phải thêm 1 layer phức tạp — nó là thứ biến hỗn loạn thành trật tự. Không có nhạc trưởng, 50 nhạc công chơi 50 bản khác nhau. Có nhạc trưởng, cùng 50 nhạc công tạo nên giao hưởng hoàn hảo. Khi mỗi agent chạy vòng lặp ReAct riêng và cả hệ multi-agent cần phối hợp, orchestration quyết định ai làm gì, khi nào, theo thứ tự nào, và xử lý ra sao khi có lỗi.

Thử thách

Workflow: A → B → C. Bước B thất bại 3 lần liên tiếp. Orchestrator nên làm gì?

Strategy: retry (có limit) → fallback (plan B) → escalate (human). Ví dụ: B = search API fail → retry 3x → fallback sang API khác → nếu vẫn fail → thông báo user. KHÔNG retry vô hạn, KHÔNG bỏ qua.

Code mẫu và đồ thị

orchestration.py

from langgraph.graph import StateGraph

# LangGraph: graph-based orchestration
graph = StateGraph(AgentState)

# Nodes = actions
graph.add_node("research", research_agent)
graph.add_node("code", coding_agent)
graph.add_node("review", review_agent)

# Edges = transitions (có thể conditional)
graph.add_edge("research", "code")

# Conditional routing: review pass → END, fail → code
graph.add_conditional_edges(
    "review",
    lambda state: "end" if state["approved"] else "code",
    {"end": END, "code": "code"},
)

# Compile và chạy
app = graph.compile()
result = app.invoke({"task": "Viết API endpoint"})

Tóm tắt

  • 4 nhiệm vụ: Routing (ai xử lý?), State (đang ở đâu?), Error Handling (fail thì sao?), Resource (tối ưu chi phí/tốc độ).
  • Graph-based (LangGraph): nodes = actions, edges = transitions. Hỗ trợ branching, looping, conditional — linh hoạt hơn chain.
  • Error strategy: retry (có limit) → fallback (plan B) → escalate (human). Checkpoint để resume từ bước cuối thành công.
  • Frameworks: LangGraph (graph), CrewAI (role-based), AutoGen (conversation). Chọn theo use case.

Continue the module

Lesson 14 of 16