Giới thiệu
Bạn mở ứng dụng Uber, màn hình hiện “Tài xế đến trong 4 phút.” Con số đó không phải đoán mò — nó đến từ DeepETA, hệ thống học sâu của Uber, phục vụ hàng triệu chuyến đi mỗi ngày ở hơn 10.000 thành phố. Hàng tỷ điểm GPS mỗi ngày, độ trễ xử lý dưới 100 ms.
Trước khi bất kỳ mô hình nào chạy, Uber phải giải bài toán “rửa rau”: dữ liệu GPS từ hàng triệu điện thoại bị nhiễu, toạ độ nhảy giữa các toà nhà cao tầng, mất tín hiệu trong hầm, và múi giờ lộn xộn giữa các chuyến. Không có bước tiền xử lý, ETA có thể sai hàng chục phút.
Mỗi chiếc điện thoại trong chuyến đi liên tục gửi toạ độ về Uber. Nhưng tín hiệu thô cực kỳ bẩn:
| Vấn đề | Mô tả |
|---|---|
| Urban canyon | Tín hiệu từ vệ tinh bật qua các toà nhà trước khi đến điện thoại → vị trí lệch 20–50 m giữa phố cổ hoặc khu đô thị mới. |
| Mất tín hiệu | Hầm đỗ xe, garage ngầm, đường hầm → GPS mất hàng chục giây. Chuỗi toạ độ xuất hiện 'lỗ đen' mà model không biết cách xử lý. |
| Điểm trùng lặp | Điện thoại gửi cùng toạ độ 2–3 lần do lỗi mạng / retry. Nếu đếm cả điểm trùng, model nghĩ xe đang đứng yên. |
| Múi giờ lộn xộn | Có thiết bị gửi UTC, có thiết bị gửi giờ thành phố. Trừ nhầm múi giờ → sai giờ đón 7 tiếng. |
Giao thông thì biến động liên tục: một tai nạn có thể biến đoạn 5 phút thành 30 phút. “Garbage in, garbage out” — nếu không làm sạch, DeepETA không thể dự đoán sát thực tế.
Ba kỹ thuật tiền xử lý
1. Khử nhiễu GPS bằng map-matching
GPS thô báo bạn đang đứng giữa toà nhà, nhưng thực ra bạn đang đi trên đường. Uber dùng Hidden Markov Model (HMM — mô hình Markov ẩn) để “kéo” mỗi điểm về đoạn đường gần nhất trong bản đồ. Hệ thống có hai tầng: online matcher cho hiển thị thời gian thực, và offline reprocess chạy lại chính xác hơn để huấn luyện model. Bước này giảm sai số vị trí từ 50–100 m xuống dưới 5 m.
Feature real-time qua Kafka. Mỗi yêu cầu ETA cần đặc trưng cập nhật trong mili-giây: tốc độ trung bình từng đoạn đường (tính từ stream GPS của mọi tài xế), thời gian đã đi qua segment, và đặc trưng hiệu chỉnh phân biệt loại chuyến (giao hàng, đi chung, chuyến riêng). Pipeline này chạy trên Kafka với độ trễ dưới 100 ms.