ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Hạ tầng & Vận hành

AI Builder

AI biên — AI ngay trên thiết bị

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Triển khai mô hình AI trực tiếp trên thiết bị đầu cuối (điện thoại, IoT, camera) thay vì trên đám mây.

lesson120 minHạ tầng & Vận hànhAI Engineer

Dự đoán

Camera AI ở ngã tư Hà Nội cần phát hiện xe vượt đèn đỏ trong 50ms. Internet 4G có latency 100–500ms. Giải pháp nào khả thi?

Khi latency là yêu cầu sống còn, Edge AI là giải pháp duy nhất. Xử lý ngay tại thiết bị: 30–50ms thay vì 100–500ms qua mạng. Giống nấu ăn tại nhà thay vì đặt ship — có ngay, không phụ thuộc ai!

Ẩn dụ: Bếp nhà vs Nhà hàng giao tận nơi

Cloud AI như đặt đồ ăn từ nhà hàng nổi tiếng: đồ ăn ngon (model lớn, accuracy cao) nhưng phải đợi giao (network RTT), và mỗi lần tốn phí ship (chi phí cloud). Nếu đứt đường thì không ăn được (mất mạng).

Edge AI như tự nấu trong bếp nhà: nấu nhanh hơn (latency thấp), riêng tư (dữ liệu không rời nhà), không tốn phí ship hằng tháng. Đổi lại, bếp nhỏ hơn — phải chọn công thức đơn giản (model sau khi quantize). Thực tế thường kết hợp cả hai: bữa ăn hằng ngày tự nấu, dịp đặc biệt gọi nhà hàng.

Khoảnh khắc Aha

Edge AI không thay thế Cloud AI — chúng bổ sung cho nhau. Mô hình phổ biến nhất là hybrid: Edge xử lý những gì cần tức thì và riêng tư (gõ phím, nhận diện khuôn mặt, phát hiện chuyển động), Cloud xử lý những tác vụ phức tạp cần model lớn hoặc dữ liệu toàn cục (summarization, analytics, fine-tuning). Câu hỏi không phải "Edge hay Cloud?" mà là "mỗi request nên chạy ở đâu?". Khi bạn bấm chụp trên iPhone, việc khử nhiễu chạy trên ANE (Edge), còn việc tìm ảnh cũ khi bạn search "con mèo năm 2022" có thể dùng index đã được xây từ trước. Hai hệ thống này hợp tác, không đối đầu.

Thử thách 1

Model MobileNet (3MB) và ResNet-152 (230MB) đều nhận diện ảnh. MobileNet accuracy 71%, ResNet 78%. Triển khai trên camera IoT (RAM 512MB), bạn chọn model nào?

Với RAM 512MB, ResNet-152 (230MB weights + activations runtime) thường không chạy nổi khi OS + các tiến trình khác đã chiếm chỗ. MobileNet (3MB) thoải mái, inference 20ms. Accuracy 71% đủ cho nhiều ứng dụng (phát hiện chuyển động, đếm người). Edge AI là nghệ thuật cân bằng: đủ tốt + đủ nhanh + đủ nhỏ.

Thử thách 2

Một ứng dụng phiên dịch real-time yêu cầu độ trễ < 300ms để không phá nhịp đối thoại. Khi người dùng đang đi du lịch ở vùng núi (RTT 600ms), giải pháp nào hợp lý?

600ms RTT có nghĩa chưa tính inference đã vượt budget 300ms của bạn. Model nhỏ on-device (3B–7B quantize INT4) có thể chạy trong 150ms trên ANE / Snapdragon NPU. Pattern hybrid này — fallback thông minh giữa Edge và Cloud — là kiến trúc tiêu chuẩn cho sản phẩm Apple Intelligence, Google Translate Pro, và các app dịch cao cấp.

Ưu điểm và mô hình độ trễ

Edge AI (AI biên) là việc triển khai mô hình machine learning trực tiếp trên thiết bị đầu cuối — điện thoại, camera, cảm biến IoT, xe hơi, tai nghe — thay vì gửi dữ liệu lên cloud để xử lý. Từ "biên" (edge) đối lập với "trung tâm" (core/cloud): tính toán diễn ra ở rìa mạng, gần nơi dữ liệu được sinh ra.

Ba ưu điểm cốt lõi:

  • Latency cực thấp: Xử lý tại chỗ, không có network round-trip (ms thay vì giây).
  • Bảo mật dữ liệu: Dữ liệu không rời thiết bị — tuân thủ GDPR, HIPAA, PDPA.
  • Hoạt động offline: Không phụ thuộc internet — quan trọng cho nông thôn, nhà máy, y tế di động.

Mô hình latency Cloud vs Edge:

tcloud=tupload+tqueue+tinfer,cloud+tdownloadt_{\text{cloud}} = t_{\text{upload}} + t_{\text{queue}} + t_{\text{infer,cloud}} + t_{\text{download}}
tedge=tinfer,edget_{\text{edge}} = t_{\text{infer,edge}}

Trong điều kiện mạng kém hoặc tác vụ nhỏ, thành phần tupload+tdownloadt_{\text{upload}} + t_{\text{download}} thường lấn át tất cả — khiến Cloud AI không thể cạnh tranh với Edge dù server có GPU mạnh hơn.

Mô hình chi phí

Mô hình chi phí:

Costedge=Hardware (CAPEX, 1 laˆˋn)+điện\text{Cost}_{\text{edge}} = \text{Hardware (CAPEX, 1 lần)} + \text{điện}
Costcloud=GPU-hour⏟OPEX+egress⏟$/GB(ongoing)\text{Cost}_{\text{cloud}} = \underbrace{\text{GPU-hour}}_{\text{OPEX}} + \underbrace{\text{egress}}_{\$/GB} \quad \text{(ongoing)}

Điểm hoà vốn (breakeven) phụ thuộc vào số request/tháng. Với 1 camera streaming 24/7 (con số chi phí theo nguồn bài, chưa kiểm chứng), CAPEX $500 cho NPU Hailo-8 rẻ hơn sau ~2–3 tháng so với streaming video về cloud.

Edge AI tại Việt Nam

Kỹ thuật tối ưu cho Edge

Kỹ thuật tối ưu cho Edge:

  • Quantization: INT8/INT4 giảm 4–8× model size, chip Edge có INT8 accelerator.
  • Knowledge Distillation: Model lớn (teacher) dạy model nhỏ (student) — giữ 95% accuracy.
  • Pruning: Xoá ~50% trọng số nhỏ nhất mà hầu như không giảm accuracy, chạy nhanh hơn trên NPU hỗ trợ sparsity.
  • Neural Architecture Search (NAS): Tự động thiết kế kiến trúc phù hợp chip cụ thể (MobileNet, EfficientNet ra đời theo cách này).
  • Operator fusion: Gộp Conv+BN+ReLU thành 1 kernel duy nhất, tiết kiệm đọc/ghi bộ nhớ.

Hardware Edge AI quan trọng:

  • Apple Neural Engine (ANE): 16-core NPU, 35 TOPS trên A17 Pro — chạy Stable Diffusion XL trên iPhone 15 Pro, Face ID, Apple Intelligence.
  • Google Tensor G3: TPU on-chip cho Pixel — real-time translation, Magic Eraser, Night Sight.
  • NVIDIA Jetson Orin: GPU nhỏ gọn (275 TOPS) cho robot, drone, camera AI công nghiệp.
  • Qualcomm Hexagon NPU: NPU trên Snapdragon 8 Gen 3 — model 7B chạy được trên điện thoại Android cao cấp.
  • Hailo-8: NPU 26 TOPS chuyên dụng cho camera IoT, tiêu thụ ~2.5W.
  • Coral Edge TPU (Google): USB stick 4 TOPS cho prototyping và IoT module.

Code triển khai

Triển khai Edge AI với TensorFlow Lite (quantize INT8)

import tensorflow as tf

# ── 1. Chuyển model sang TFLite + quantize INT8 ──
converter = tf.lite.TFLiteConverter.from_saved_model("my_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.int8]

# Representative dataset cho calibration
# NPU cần biết phân bố activation để chọn scale/zero-point
def representative_data():
    for img in calibration_images[:100]:
        yield [img.astype("float32")]

converter.representative_dataset = representative_data
converter.target_spec.supported_ops = [
    tf.lite.OpsSet.TFLITE_BUILTINS_INT8
]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8

tflite_model = converter.convert()

# Model gốc: 95MB  →  TFLite INT8: 24MB  (giảm 4x)
# Latency trên Pixel 8 Tensor G3:
#   FP32 CPU  : 230ms
#   INT8 NPU  :  45ms  (nhanh 5x, tiết kiệm pin 6x)
with open("model_edge.tflite", "wb") as f:
    f.write(tflite_model)

# ── 2. Chạy inference trên thiết bị ──
interpreter = tf.lite.Interpreter(model_path="model_edge.tflite")
interpreter.allocate_tensors()
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

interpreter.set_tensor(input_details[0]["index"], input_int8)
interpreter.invoke()
prediction = interpreter.get_tensor(output_details[0]["index"])

Convert PyTorch → CoreML cho Apple Neural Engine

# coremltools biến model PyTorch/TF thành .mlpackage chạy trên ANE.
# ANE là NPU chuyên dụng trên A-series / M-series chip —
# hiệu năng/Watt cao hơn GPU ~10x cho tác vụ neural network.

import torch
import coremltools as ct

# 1) Trace model
model.eval()
example_input = torch.rand(1, 3, 224, 224)
traced = torch.jit.trace(model, example_input)

# 2) Convert — quantize weights FP16 để vừa ANE
mlmodel = ct.convert(
    traced,
    inputs=[ct.ImageType(
        name="image",
        shape=(1, 3, 224, 224),
        scale=1/255.0,
        bias=[0, 0, 0],
    )],
    compute_precision=ct.precision.FLOAT16,  # ANE ưa FP16
    compute_units=ct.ComputeUnit.CPU_AND_NE,  # ép chạy trên ANE khi có thể
    minimum_deployment_target=ct.target.iOS17,
)

# 3) Sau khi convert, có thể lượng tử hoá thêm xuống 4-bit
# (giảm model xuống ~4x, dùng cho LLM on-device)
from coremltools.optimize.coreml import (
    OpLinearQuantizerConfig, OptimizationConfig, linear_quantize_weights,
)
cfg = OptimizationConfig(
    global_config=OpLinearQuantizerConfig(mode="linear_symmetric", dtype="int4")
)
mlmodel_int4 = linear_quantize_weights(mlmodel, config=cfg)
mlmodel_int4.save("MobileClassifier.mlpackage")

# Swift side (iOS app):
# let model = try MobileClassifier(configuration: MLModelConfiguration())
# let out = try model.prediction(image: pixelBuffer)
# → chạy < 10ms trên iPhone 15 Pro, 0 request lên server

Federated Learning

Federated Learning (FL) giải quyết một vấn đề có vẻ mâu thuẫn: làm thế nào để cải thiện model từ dữ liệu hàng triệu người dùng, nhưng không bao giờ gửi dữ liệu đó lên server?

Ý tưởng:

  1. Server gửi model hiện tại θt\theta_t xuống tất cả client.
  2. Mỗi client kk train vài epoch trên dữ liệu cục bộ Dk\mathcal{D}_k → nhận được trọng số mới θtk\theta_t^k.
  3. Client chỉ gửi lên server cập nhật Δk=θtk−θt\Delta_k = \theta_t^k - \theta_t .
  4. Server tổng hợp (FedAvg): θt+1=θt+∑knkNΔk\theta_{t+1} = \theta_t + \sum_k \frac{n_k}{N} \Delta_k .

Dữ liệu thô Dk\mathcal{D}_k không bao giờ rời thiết bị. Gboard (bàn phím Google) đã dùng FL từ 2017 để cải thiện gợi ý từ mà không thu thập tin nhắn của người dùng.

Để bảo vệ thêm, kết hợp FL với Differential Privacy (thêm nhiễu vào Δk\Delta_k) và Secure Aggregation (server chỉ thấy tổng, không thấy từng client).

Roofline cho NPU

Roofline model là công cụ giúp hiểu xem một phép tính bị giới hạn bởi compute hay memory bandwidth. Gọi:

  • PP: Peak FLOPS của chip (35 TOPS cho ANE)
  • BB: Memory bandwidth (GB/s)
  • II: Arithmetic intensity của kernel (FLOPs / byte truy cập)

Tốc độ thực tế bị chặn bởi:

Perf=min⁡(P,  I⋅B)\text{Perf} = \min(P,\; I \cdot B)

Phép conv 3×3 trên ảnh lớn có II cao → compute-bound → NPU thắng lớn. Phép element-wise (softmax, layernorm) có II thấp → memory-bound → NPU và CPU gần như bằng nhau. Đây là lý do một số model chạy trên NPU chậm hơn GPU dù NPU có peak TOPS cao hơn: workload không phù hợp.

Khi tối ưu model cho Edge, hãy đo roofline, rồi chọn chip có tỷ lệ P/BP/B phù hợp với model của bạn, không chỉ nhìn con số TOPS trên marketing deck.

Ứng dụng và pitfalls

Ứng dụng thực tế:

  • Keyboard prediction (Gboard, SwiftKey): mô hình RNN/Transformer nhỏ gợi ý từ tiếp theo, train tại chỗ qua Federated Learning.
  • Face ID / Windows Hello: nhận diện 3D depth map trong Secure Enclave — template không rời chip.
  • Apple Watch AFib / ECG: phát hiện nhịp tim bất thường real-time, chạy 24/7 không hao pin.
  • Traffic camera (Hà Nội, TP.HCM): đếm xe, phát hiện vi phạm mà không stream video về trung tâm.
  • Xe tự lái (VinFast, Tesla): perception pipeline chạy toàn bộ on-board — an toàn khi mất mạng.
  • Drone nông nghiệp: phát hiện sâu bệnh trên cánh đồng lúa ở vùng không có 4G.
  • AR kính thông minh (Meta Ray-Ban, Apple Vision Pro): tracking 90Hz — chỉ Edge mới đủ nhanh.

Pitfalls thường gặp khi làm Edge AI:

  • Drift accuracy sau quantize: Bỏ qua bước calibration với representative dataset → accuracy giảm mạnh. Luôn đo lại trên test set thực tế sau khi INT8.
  • Thermal throttling: NPU chạy 100% liên tục sẽ nóng → chip tự giảm tốc. Đo trong điều kiện thực (không phải lab 20°C).
  • Fragmentation hệ điều hành: Android có nhiều chip khác nhau (Qualcomm, MediaTek, Exynos, Tensor). Model có thể chạy khác nhau trên mỗi chip.
  • Không thể update nhanh: Cloud có thể hot-deploy model mới trong phút. Edge phải qua App Store review + người dùng tải update — chậm hàng ngày/tuần.
  • Debug khó: Không có log server. Cần telemetry cẩn thận, tôn trọng privacy (chỉ gửi metric, không gửi dữ liệu).
  • Lock-in framework: Chọn TFLite, CoreML, hay ONNX Runtime quyết định bạn có thể chạy trên chip nào sau này.

Tóm tắt

  • Edge AI chạy model ngay trên thiết bị — latency cực thấp, bảo mật cao, hoạt động offline.
  • Không thay thế Cloud AI mà bổ sung (hybrid): Edge xử lý nhanh tại chỗ, Cloud xử lý tác vụ phức tạp cần tri thức toàn cục.
  • Quantization + Distillation + Pruning + NAS giúp model nhỏ gọn chạy được trên chip có RAM hạn chế.
  • NPU (Apple ANE, Google Tensor, Qualcomm Hexagon, Jetson) ngày càng mạnh — model 7B đã chạy được trên điện thoại.
  • 5 trục đánh giá: latency, bandwidth, privacy, cost, battery — Edge thường thắng 4/5 khi mạng kém.
  • Ứng dụng Việt Nam: camera giao thông Hà Nội/TP.HCM, xe tự lái VinFast, nhận diện khuôn mặt chấm công, drone nông nghiệp.

Continue the module

Lesson 6 of 9