ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kỹ năng thực hành

AI Foundation

Tiền xử lý trong ETA của Uber

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Uber nhận về hàng tỷ điểm GPS mỗi ngày — bẩn, lệch, mất tín hiệu, múi giờ khác nhau. Đi qua từng bước dọn dẹp để thấy một vệt GPS biến từ chấm loạn thành đường đi thật.

lesson107 minKỹ năng thực hànhAI Foundation

Giới thiệu

Bạn mở ứng dụng Uber, màn hình hiện “Tài xế đến trong 4 phút.” Con số đó không phải đoán mò — nó đến từ DeepETA, hệ thống học sâu của Uber, phục vụ hàng triệu chuyến đi mỗi ngày ở hơn 10.000 thành phố. Hàng tỷ điểm GPS mỗi ngày, độ trễ xử lý dưới 100 ms.

Trước khi bất kỳ mô hình nào chạy, Uber phải giải bài toán “rửa rau”: dữ liệu GPS từ hàng triệu điện thoại bị nhiễu, toạ độ nhảy giữa các toà nhà cao tầng, mất tín hiệu trong hầm, và múi giờ lộn xộn giữa các chuyến. Không có bước tiền xử lý, ETA có thể sai hàng chục phút.

Mỗi chiếc điện thoại trong chuyến đi liên tục gửi toạ độ về Uber. Nhưng tín hiệu thô cực kỳ bẩn:

Vấn đềMô tả
Urban canyonTín hiệu từ vệ tinh bật qua các toà nhà trước khi đến điện thoại → vị trí lệch 20–50 m giữa phố cổ hoặc khu đô thị mới.
Mất tín hiệuHầm đỗ xe, garage ngầm, đường hầm → GPS mất hàng chục giây. Chuỗi toạ độ xuất hiện 'lỗ đen' mà model không biết cách xử lý.
Điểm trùng lặpĐiện thoại gửi cùng toạ độ 2–3 lần do lỗi mạng / retry. Nếu đếm cả điểm trùng, model nghĩ xe đang đứng yên.
Múi giờ lộn xộnCó thiết bị gửi UTC, có thiết bị gửi giờ thành phố. Trừ nhầm múi giờ → sai giờ đón 7 tiếng.

Giao thông thì biến động liên tục: một tai nạn có thể biến đoạn 5 phút thành 30 phút. “Garbage in, garbage out” — nếu không làm sạch, DeepETA không thể dự đoán sát thực tế.

Ba kỹ thuật tiền xử lý

1 / 3
  1. 1. Khử nhiễu GPS bằng map-matching

    GPS thô báo bạn đang đứng giữa toà nhà, nhưng thực ra bạn đang đi trên đường. Uber dùng Hidden Markov Model (HMM — mô hình Markov ẩn) để “kéo” mỗi điểm về đoạn đường gần nhất trong bản đồ. Hệ thống có hai tầng: online matcher cho hiển thị thời gian thực, và offline reprocess chạy lại chính xác hơn để huấn luyện model. Bước này giảm sai số vị trí từ 50–100 m xuống dưới 5 m.

Feature real-time qua Kafka. Mỗi yêu cầu ETA cần đặc trưng cập nhật trong mili-giây: tốc độ trung bình từng đoạn đường (tính từ stream GPS của mọi tài xế), thời gian đã đi qua segment, và đặc trưng hiệu chỉnh phân biệt loại chuyến (giao hàng, đi chung, chuyến riêng). Pipeline này chạy trên Kafka với độ trễ dưới 100 ms.

Chạy lại từng bước làm sạch một vệt GPS

Mỗi bước làm sạch, vệt GPS từ “loạn xạ” dần gọn lại thành một đường đi có thật. Quan sát số điểm, số duplicate, và sai số ETA thay đổi như thế nào.

Giai đoạnSai số ETA mô phỏng
raw (chưa làm sạch)±23 phút
Sau khi làm sạch toàn bộ pipeline±2 phút

Feature engineering trên từng chuyến đi

Uber rời rạc hoá giá trị liên tục thành nhóm: giờ cao điểm, ngày cuối tuần, khoảng cách thường gặp. Model học “giờ cao điểm” chứ không phải “17:02”.

Pipeline từ GPS tới ETA, theo thứ tự

Sáu giai đoạn

1 / 6
  1. 1. 1. Ingest GPS

    Mỗi chuyến đi bắn hàng chục nghìn điểm GPS, kèm tốc độ, hướng, ID chuyến, loại chuyến (giao hàng / đi chung / chuyến riêng). Stream đi vào Kafka với độ trễ ms.

Đoạn pandas: dedupe + chuẩn hoá múi giờ

dedupe + chuẩn hoá múi giờ

import pandas as pd

gps = pd.read_parquet("trip_gps.parquet")
gps = gps.drop_duplicates(subset=["trip_id", "ts", "lat", "lon"])
gps["ts"] = pd.to_datetime(gps["ts"], utc=True)
gps["ts_local"] = gps["ts"].dt.tz_convert("Asia/Ho_Chi_Minh")

Đoạn pandas: bucket giờ + khoảng cách

bucket giờ + khoảng cách

gps["hour_bucket"]  = (gps["ts_local"].dt.hour // 2).astype("int8")
gps["dow_bucket"]   = gps["ts_local"].dt.dayofweek.astype("int8")
gps["dist_bucket"]  = pd.cut(
    gps["distance_km"], bins=[0, 1, 3, 7, 15, 50], labels=[0, 1, 2, 3, 4]
).astype("int8")

Thử thách nhanh

Tài xế của bạn chạy vào một hầm đỗ xe 500 m. GPS mất tín hiệu suốt 45 giây. Hệ thống Uber sẽ làm gì?
DeepETA biến cột 'giờ đặt chuyến' thành 48 bucket (mỗi bucket 30 phút). Lợi ích quan trọng nhất?
Vì sao Uber phải giữ 2 tầng: online matcher và offline reprocess cho map-matching?

Bốn điều Uber dạy cho pipeline tiền xử lý của bạn

  • GPS thô bẩn hơn bạn tưởng — map-matching giảm sai số vị trí từ 50–100 m xuống dưới 5 m.
  • Missing values không chỉ điền bằng mean — sensor fusion là 'điền missing' ở quy mô production.
  • Rời rạc hoá đặc trưng (bucketing) không phải thủ thuật — DeepETA đo được accuracy tốt hơn raw.
  • Feature real-time qua Kafka: bước tiền xử lý không dừng khi train xong, mà chạy liên tục khi serve.

Bỏ qua bước tiền xử lý, GPS nhiễu sẽ khiến model nghĩ tài xế đang ở toà nhà bên cạnh thay vì trên đường — ETA có thể sai hàng chục phút. Ngoại lai (tốc độ 300 km/h do GPS nhảy) kéo lệch mọi thống kê trung bình. Dữ liệu thiếu trong hầm và garage tạo “lỗ đen”, khiến model không thể tính thời gian qua đoạn.

Tiền xử lý biến dữ liệu thô đầy nhiễu thành đầu vào sạch: map matching sửa vị trí, sensor fusion lấp lỗ hổng, bucketing chuẩn hoá thang đo, và pipeline real-time đảm bảo đặc trưng luôn mới. Đây là lý do phần lớn công sức ML nằm ở xử lý dữ liệu.

Continue the path

Lesson 99 of 106