Dự đoán
Đúng! Data Pipeline là 'nhà máy chế biến' tự động — nguyên liệu thô (raw data) từ nhiều nguồn được thu thập, làm sạch, biến đổi, và giao đến model sẵn sàng sử dụng. Không có pipeline = data stale, model tệ!
Evaluating routing across providers.
AI Builder
Thiết kế quy trình tự động thu thập, xử lý và chuẩn bị dữ liệu cho huấn luyện mô hình AI
Đúng! Data Pipeline là 'nhà máy chế biến' tự động — nguyên liệu thô (raw data) từ nhiều nguồn được thu thập, làm sạch, biến đổi, và giao đến model sẵn sàng sử dụng. Không có pipeline = data stale, model tệ!
Hãy tưởng tượng một nhà máy nước trái cây quy mô công nghiệp. Nguyên liệu (trái cây thô) đến từ nhiều nông trại — đó là nguồn dữ liệu (database, API, Kafka, S3). Nhà máy có 5 dây chuyền nối tiếp:
Có quản đốc đứng điều phối cả nhà máy — đó chính là orchestrator (Airflow, Dagster, Prefect). Quản đốc không trực tiếp ép trái cây, nhưng quyết định dây chuyền nào chạy lúc nào, báo động khi máy hỏng, và ghi nhật ký để truy vết lỗi. Không có quản đốc, các dây chuyền không biết thứ tự chạy — chaos.
DAG (Directed Acyclic Graph) là đồ thị có hướng, không chu trình: mỗi node là một task, mỗi cạnh là dependency. Airflow parse file Python, dựng DAG, rồi scheduler chạy task theo đúng thứ tự. Dưới đây là sơ đồ đơn giản của pipeline ví dụ:
3 task ingest song song → validate tập trung → transform → fan-out ghi feature store & trigger training.
80% thời gian của dự án ML là xử lý dữ liệu, chỉ 20% là train model! Data pipeline tốt = model tốt. Pipeline tệ = "garbage in, garbage out". Giống nhà máy chế biến thực phẩm: nguyên liệu tươi + quy trình sạch = sản phẩm chất lượng. Đầu tư vào pipeline là đầu tư khôn ngoan nhất!
Data validation (Great Expectations, Pandera) check schema, data types, value ranges TRƯỚC khi transform. Khi fail: alert Slack/PagerDuty ngay lập tức, không đợi đến sáng. Pipeline robustness = validation + alerting + retry + fallback.
Train-serve skew là lỗi silent killer: offline model học trên distribution A, production chạy trên distribution B. Giải pháp: dùng feature store (Feast, Tecton) có MỘT định nghĩa feature duy nhất cho cả offline (parquet) và online (Redis/DynamoDB). Xem thêm tại bài MLOps.
Data Pipeline là quy trình tự động hoá thu thập, xử lý và chuẩn bị dữ liệu từ nguồn đến đích — thành phần không thể thiếu trong mọi hệ thống AI/ML, là nền tảng cho MLOps hoàn chỉnh. Một pipeline tốt đảm bảo dữ liệu đến đúng nơi, đúng lúc, đúng chất lượng, và có thể truy vết (data lineage) khi có sự cố.
Sáu giai đoạn cốt lõi của một ML data pipeline:
Công thức độ tươi dữ liệu (data freshness) — chỉ số quan trọng đánh giá pipeline:
Một hàm đánh giá chất lượng dữ liệu tổng hợp:
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.sensors.filesystem import FileSensor
from airflow.utils.trigger_rule import TriggerRule
from datetime import datetime, timedelta
default_args = {
"owner": "ml-platform",
"retries": 3,
"retry_delay": timedelta(minutes=5),
"on_failure_callback": alert_slack, # hook Slack khi fail
"email_on_failure": True,
"execution_timeout": timedelta(hours=2),
}
with DAG(
dag_id="ml_data_pipeline_v2",
start_date=datetime(2024, 1, 1),
schedule_interval="0 2 * * *", # cron: 2:00 AM mỗi ngày
catchup=False, # bỏ qua backfill cũ
max_active_runs=1, # chỉ 1 instance chạy cùng lúc
default_args=default_args,
tags=["ml", "feature-store"],
) as dag:
# --- Bước 0: đợi file CSV từ vendor đến S3 ---
wait_file = FileSensor(
task_id="wait_for_raw_file",
filepath="/data/raw/{{ ds }}/orders.csv",
poke_interval=60,
timeout=60 * 60 * 4, # tối đa 4 giờ
mode="reschedule", # nhường slot cho task khác khi đang đợi
)
# --- Bước 1: ingest song song từ 3 nguồn ---
ingest_pg = PythonOperator(
task_id="ingest_postgres",
python_callable=ingest_postgres_orders,
)
ingest_s3 = PythonOperator(
task_id="ingest_s3",
python_callable=ingest_s3_events,
)
ingest_api = PythonOperator(
task_id="ingest_api",
python_callable=ingest_third_party_api,
)
# --- Bước 2: validate tập trung ---
validate = PythonOperator(
task_id="validate_schema",
python_callable=run_great_expectations,
trigger_rule=TriggerRule.ALL_SUCCESS, # chỉ chạy nếu 3 ingest OK
)
# --- Bước 3: transform với dbt ---
transform = PythonOperator(
task_id="transform_dbt",
python_callable=run_dbt_models,
)
# --- Bước 4: fan-out — ghi feature store và trigger training ---
write_feature = PythonOperator(
task_id="write_feature_store",
python_callable=materialize_feast_features,
)
trigger_train = PythonOperator(
task_id="trigger_training",
python_callable=submit_training_job,
)
# --- Dependencies ---
wait_file >> [ingest_pg, ingest_s3, ingest_api] >> validate
validate >> transform >> [write_feature, trigger_train]import great_expectations as gx
# 1. Context + Datasource
context = gx.get_context()
source = context.sources.add_pandas("orders")
asset = source.add_dataframe_asset("raw_orders")
# 2. Expectation Suite — khai báo "kỳ vọng" về dữ liệu
suite = context.add_expectation_suite("orders_suite")
validator = context.get_validator(
batch_request=asset.build_batch_request(dataframe=df),
expectation_suite=suite,
)
# Schema & bắt buộc có
validator.expect_table_columns_to_match_ordered_list(
column_list=["order_id", "user_id", "amount", "currency", "created_at"]
)
validator.expect_column_values_to_not_be_null("order_id")
validator.expect_column_values_to_be_unique("order_id")
# Miền giá trị
validator.expect_column_values_to_be_between(
column="amount", min_value=0, max_value=1_000_000_000
)
validator.expect_column_values_to_be_in_set(
column="currency", value_set=["VND", "USD", "EUR"]
)
# Statistical checks
validator.expect_column_mean_to_be_between(
column="amount", min_value=50_000, max_value=5_000_000
)
# 3. Save & chạy validation mỗi đêm trong Airflow
validator.save_expectation_suite()
result = validator.validate()
if not result.success:
raise AirflowException(
f"Data quality failed: {result.statistics['unsuccessful_expectations']} rules violated"
)Airflow (2014, Airbnb): thư viện lâu đời nhất, cộng đồng lớn nhất. DAG viết bằng Python đơn thuần. Ưu: plugin bạt ngàn, tài liệu phong phú, có managed service (MWAA, Astronomer, Cloud Composer). Nhược: mô hình task-level khó biểu đạt dataflow phức tạp, UI đôi khi lag, testing DAG hơi cồng kềnh.
Dagster (2019, Elementl): triết lý software-defined assets — thay vì nghĩ theo task, nghĩ theo "dataset" (asset) và pipeline materialize asset. Tích hợp sâu với dbt, Pandas, Polars. Mạnh về type system, testing, observability. Nhược: đường học hơi dốc, cộng đồng nhỏ hơn.
Prefect (2018, Prefect Technologies): code-first, flow-first, hybrid execution (agent chạy ở hạ tầng của bạn nhưng control plane trên cloud). Ưu: API Python rất Pythonic, dễ bắt đầu. Nhược: một số feature enterprise cần trả phí.
Khi nào dùng gì? Team mới, cần nhiều connector sẵn → Airflow. Team dữ liệu mạnh, muốn type-safety + asset-based thinking → Dagster. Team đã quen decorator-based Python, muốn nhẹ → Prefect.
Databricks phổ biến mô hình Medallion để tổ chức data lake thành 3 tầng chất lượng tăng dần:
Lợi ích: trách nhiệm rõ ràng (bronze thuộc data engineer, silver thuộc platform, gold thuộc nghiệp vụ), dễ truy vết lỗi, tái tính toán khi logic thay đổi. Áp dụng được cả trên lakehouse (Delta, Iceberg, Hudi) lẫn warehouse (BigQuery + dbt).
Ứng dụng thực tế — data pipeline là xương sống của mọi sản phẩm dữ liệu hiện đại:
Bẫy thường gặp (pitfalls):
MERGE / upsert / partition-overwrite thay INSERT INTO ... SELECT.