AI Builder
Hạ tầng & Vận hành
Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.Model serving, inference optimization, MLOps, containers, monitoring Edge, GPU cost, data pipelines
Format
Guided module
Duration
18h
Lessons
9
What you will practice
- Model serving, inference optimization, MLOps, containers, monitoring
- Edge, GPU cost, data pipelines
Lesson order
9 lessonsPhục vụ mô hình — Đưa AI vào thực tế
Quy trình triển khai và cung cấp mô hình AI dưới dạng dịch vụ, xử lý yêu cầu từ người dùng trong thời gian thực với latency thấp và throughput cao.
Tối ưu suy luận — Làm AI nhanh hơn
Các kỹ thuật tăng tốc và giảm chi phí khi chạy mô hình AI: KV caching, speculative decoding, batching, quantization và Pareto frontier của throughput-latency.
MLOps — DevOps cho máy học
Tập hợp thực hành và công cụ để tự động hoá vòng đời phát triển, triển khai và giám sát mô hình máy học.
Container hoá — Đóng gói AI gọn gàng
Kỹ thuật đóng gói mô hình AI cùng mọi phụ thuộc vào container, đảm bảo chạy nhất quán trên mọi môi trường.
Giám sát AI — Canh gác mô hình 24/7
Theo dõi hiệu suất, phát hiện data drift và cảnh báo khi mô hình AI trong sản phẩm bắt đầu suy giảm chất lượng.
AI biên — AI ngay trên thiết bị
Triển khai mô hình AI trực tiếp trên thiết bị đầu cuối (điện thoại, IoT, camera) thay vì trên đám mây.
Tối ưu GPU — Profiler kéo sập bottleneck
Mở profiler, quan sát từng lát cắt thời gian trên GPU: truyền dữ liệu HBM↔SRAM, tính toán matmul, chu kỳ idle. Bật FP16, gradient checkpointing, tensor cores, data parallel để xem throughput đổi thay.
Tối ưu chi phí — AI không đốt tiền
Chiến lược giảm chi phí vận hành hệ thống AI mà không hy sinh chất lượng, từ chọn mô hình đến caching, routing, nén context và batch API.
Đường ống dữ liệu
Thiết kế quy trình tự động thu thập, xử lý và chuẩn bị dữ liệu cho huấn luyện mô hình AI