Schema không phải bất biến: thêm field, bỏ field, thay type đều xảy ra. Nguyên tắc:
- Thêm field optional: backward-compatible. Bump minor version.
- Bỏ field: bump major. Giữ 2 version song song cho đến khi consumer migrate xong.
- Đổi type: luôn major. Coi như bỏ + thêm.
- Thêm enum value: có thể coerce ngược nếu consumer có default branch.
Thực tế nhiều team lưu schema trong repo Git và pin version vào prompt: "use schema v3.1". Dễ rollback khi cần.
Khi schema trở nên phức tạp: nested objects, arrays of objects, enum với hàng chục giá trị — tất cả đều hỗ trợ. Nhưng càng phức tạp, mask càng lớn, và model cũng khó "nhớ" thứ tự. Mẹo thực tế: flatten schema khi có thể, dùng enum thay vì free string cho category-like fields.
So sánh với function calling: cả hai cùng dùng một cơ chế schema-strict. Function calling chỉ là structured outputs với thêm ngữ cảnh "đây là một tool cần gọi". Nếu chỉ cần extract data, dùng structured outputs trực tiếp gọn hơn. Nếu cần LLM chọn giữa nhiều action, function calling với tool_choice = auto là lựa chọn đúng.
Đo lường compliance trong production: thêm metric "schema_parse_failures_total" vào observability stack. Với strict mode, con số này phải xấp xỉ 0 — nếu tăng đột biến là dấu hiệu API provider đang có vấn đề, không phải bug ở code bạn.
Checklist trước khi ship extract-pipeline có LLM
- Schema định nghĩa bằng Pydantic/Zod, commit vào repo với version.
- Bật strict mode / response_format schema ở layer client.
- additionalProperties: false để chặn hallucinated keys.
- Business validation layer sau LLM (price > 0, enum membership).
- Metric schema_parse_failures_total = 0 là điều kiện deploy.
- Sample 1% output lưu raw để debug khi regress.