Dự đoán
Orchestration layer = nhạc trưởng: biết khi nào violon chơi, khi nào kèn ngưng, khi nào cả dàn hoà tấu. Quản lý routing, state, dependencies, error handling cho hệ thống phức tạp.
Evaluating routing across providers.
AI Builder
Tầng quản lý luồng công việc, điều phối giữa các Agent, công cụ và dịch vụ trong hệ thống AI phức tạp.
Orchestration layer = nhạc trưởng: biết khi nào violon chơi, khi nào kèn ngưng, khi nào cả dàn hoà tấu. Quản lý routing, state, dependencies, error handling cho hệ thống phức tạp.
Tầng điều phối kết nối agents, tools, và dịch vụ.
Orchestration là tầng quản lý cấp cao, đảm nhận 4 nhiệm vụ:
Orchestration không phải thêm 1 layer phức tạp — nó là thứ biến hỗn loạn thành trật tự. Không có nhạc trưởng, 50 nhạc công chơi 50 bản khác nhau. Có nhạc trưởng, cùng 50 nhạc công tạo nên giao hưởng hoàn hảo. Khi mỗi agent chạy vòng lặp ReAct riêng và cả hệ multi-agent cần phối hợp, orchestration quyết định ai làm gì, khi nào, theo thứ tự nào, và xử lý ra sao khi có lỗi.
Strategy: retry (có limit) → fallback (plan B) → escalate (human). Ví dụ: B = search API fail → retry 3x → fallback sang API khác → nếu vẫn fail → thông báo user. KHÔNG retry vô hạn, KHÔNG bỏ qua.
from langgraph.graph import StateGraph
# LangGraph: graph-based orchestration
graph = StateGraph(AgentState)
# Nodes = actions
graph.add_node("research", research_agent)
graph.add_node("code", coding_agent)
graph.add_node("review", review_agent)
# Edges = transitions (có thể conditional)
graph.add_edge("research", "code")
# Conditional routing: review pass → END, fail → code
graph.add_conditional_edges(
"review",
lambda state: "end" if state["approved"] else "code",
{"end": END, "code": "code"},
)
# Compile và chạy
app = graph.compile()
result = app.invoke({"task": "Viết API endpoint"})