Dự đoán
Chính xác! Model AI 'lão hoá' theo thời gian dù code không đổi. Mùa hè khác mùa đông, trend thời trang thay đổi, sản phẩm mới xuất hiện. Monitoring phát hiện sớm để retrain kịp thời — giống bảo dưỡng xe định kỳ!
Evaluating routing across providers.
AI Builder
Theo dõi hiệu suất, phát hiện data drift và cảnh báo khi mô hình AI trong sản phẩm bắt đầu suy giảm chất lượng.
Chính xác! Model AI 'lão hoá' theo thời gian dù code không đổi. Mùa hè khác mùa đông, trend thời trang thay đổi, sản phẩm mới xuất hiện. Monitoring phát hiện sớm để retrain kịp thời — giống bảo dưỡng xe định kỳ!
Model AI không phải "deploy xong là xong" — chúng lão hoá theo thời gian! Dữ liệu thực tế thay đổi liên tục (mùa vụ, trend, hành vi user), nhưng model vẫn "nhớ" patterns cũ. Monitoring giống bác sĩ khám định kỳ — phát hiện "bệnh" sớm trước khi model "sụp đổ".
Feedback loop bias! User chỉ report khi email tốt bị spam (false positive), nhưng email spam lọt qua thì không biết (false negative). Monitoring cần measure cả hai chiều — dùng sampling strategy hoặc human review random emails.
AI Monitoring là quá trình liên tục theo dõi model đã deploy để phát hiện sớm vấn đề về hiệu suất, chất lượng, và hành vi bất thường.
Hai loại drift chính:
1. Data Drift — phân phối đầu vào thay đổi:
Phát hiện bằng: KL Divergence, PSI (Population Stability Index), KS Test.
2. Concept Drift — quan hệ input-output thay đổi:
Khó phát hiện hơn vì cần ground-truth labels (thường delayed).
4 tầng monitoring:
from evidently import ColumnMapping
from evidently.report import Report
from evidently.metric_preset import (
DataDriftPreset,
TargetDriftPreset,
DataQualityPreset,
)
# So sánh data production vs training
report = Report(metrics=[
DataDriftPreset(), # Phát hiện data drift
TargetDriftPreset(), # Phát hiện prediction drift
DataQualityPreset(), # Check data quality
])
report.run(
reference_data=train_df, # Data gốc khi training
current_data=production_df, # Data production tuần này
column_mapping=ColumnMapping(
target="prediction",
prediction="prediction",
),
)
# Lấy drift score
drift_result = report.as_dict()
drift_detected = drift_result["metrics"][0]["result"]["dataset_drift"]
# True → ALERT: cần retrain!
print(f"Drift detected: {drift_detected}")