Thử đoán
Loss là “điểm số” của mô hình — càng thấp càng tốt. Chọn sai loss đồng nghĩa mô hình học sai mục tiêu. Dưới đây là MSE, MAE, Huber và Cross-Entropy phản ứng khác nhau thế nào với cùng một dữ liệu.
Evaluating routing across providers.
AI Foundation
Loss là 'điểm số' của mô hình — càng thấp càng tốt. Chọn sai loss đồng nghĩa mô hình học sai mục tiêu. Kéo điểm dự đoán và thấy MSE, MAE, cross-entropy phản ứng rất khác nhau.
Loss là “điểm số” của mô hình — càng thấp càng tốt. Chọn sai loss đồng nghĩa mô hình học sai mục tiêu. Dưới đây là MSE, MAE, Huber và Cross-Entropy phản ứng khác nhau thế nào với cùng một dữ liệu.
Tưởng tượng mô hình đang đi tìm đáp án trong sương mù. Nó không nhìn thấy gì — chỉ nghe một tiếng la sau mỗi bước đi. Tiếng la đó là loss. Loss lớn = “đi sai đường!”. Loss nhỏ = “đang đúng hướng”. Gradient descent chỉ việc đi theo tiếng la nhỏ dần.
Nhưng “la” có nhiều kiểu. Một giáo viên khó tính phạt 5 điểm cho mỗi lỗi. Một giáo viên gắt gao nhân đôi hình phạt khi bạn sai nặng. Một giáo viên công tâm ngó lơ vài outlier. Chọn kiểu giáo viên tức là chọn loss function.
| Loss | Kiểu | Đặc điểm | Dành cho |
|---|---|---|---|
| MSE | Hồi quy | Phạt bình phương. Sai 2 lần → đau 4 lần. | Số liên tục: giá nhà, nhiệt độ, doanh thu |
| MAE | Robust | Phạt trị tuyệt đối. Sai 2 lần → đau 2 lần. | Dữ liệu có outlier: thời gian giao hàng, ETA |
| CE | Phân loại | Tự tin đúng → loss 0. Tự tin sai → loss bùng nổ. | Spam/không spam, chó/mèo, nhãn ảnh |
Bấm từng kiểu loss để xem cùng một sai lệch được “tính điểm” khác nhau ra sao. Ví dụ với mũi tên lệch 50 cm và 5 cm:
| Sai lệch | MAE (phạt tuyến tính) | MSE (phạt bình phương) |
|---|---|---|
| 5 cm | 5 | 25 |
| 50 cm | 50 | 2.500 |
Loss không phải “một công thức toán”. Nó là định nghĩa của cái đúng mà bạn dạy cho mô hình.
Dạy bằng MSE — mô hình tránh mọi sai số lớn bằng mọi giá. Dạy bằng MAE — mô hình không hoảng vì vài outlier. Dạy bằng CE — mô hình thận trọng trước khi “chắc chắn”. Đổi loss là đổi giáo viên, mô hình sẽ có tính cách khác.
Kỹ sư ML có kinh nghiệm thường áp dụng một phản xạ đơn giản. Bốn trường hợp quan trọng nhất:
Khi đầu ra là một con số liên tục (giá nhà, doanh thu, nhiệt độ) và dữ liệu không nhiều outlier. MSE cho gradient mượt, học nhanh, dễ tối ưu.
Ví dụ minh hoạ: dự đoán giá nhà, nhiệt độ ngày mai, lượng khách đặt bàn — dữ liệu sạch, không có siêu biệt thự làm rối.
Khi đầu ra là một nhãn (spam/không spam, chó/mèo/chim, hành động người dùng). CE ép mô hình học xác suất đúng, phạt nặng tự tin sai, và phối hợp mượt với Softmax.
Ví dụ minh hoạ: chặn thư rác, nhận diện nội dung vi phạm, gợi ý nhãn ngành hàng cho sản phẩm mới.
Khi dữ liệu có vài giá trị ngoại lệ rất lớn mà không muốn bỏ đi, nhưng cũng không muốn chúng chi phối mô hình. Huber hành xử như MSE ở vùng nhỏ (học nhanh) và như MAE ở vùng lớn (robust).
Ví dụ minh hoạ: dự đoán thời gian giao hàng — phần lớn đơn 20–40 phút, thỉnh thoảng một đơn 3 tiếng vì kẹt xe. Huber giữ mô hình ổn định.
Khi cần một biên quyết định rõ ràng giữa hai lớp, không cần xác suất, chỉ cần đúng hoặc sai với khoảng cách an toàn. Hinge không phạt khi dự đoán đã đủ chắc chắn đúng, chỉ phạt khi quá gần biên hoặc sai. Hiện nay hinge ít dùng độc lập nhưng vẫn xuất hiện trong ranking và recommendation.
Ba công thức dưới đây là ba “tiếng la” phổ biến nhất. Bạn không cần thuộc — chỉ cần đọc được đại ý để chọn loss đúng khi gặp bài toán mới.
Đọc: với mỗi điểm, lấy sai số (thực − dự đoán), bình phương, rồi lấy trung bình. Bình phương làm hai việc: bỏ dấu (sai trên hay sai dưới đều đáng lo) và phạt nặng sai số lớn. Nếu bạn đã học hồi quy tuyến tính, đây chính là loss mà OLS tối thiểu hoá.
Đọc: với mỗi điểm, lấy trị tuyệt đối sai số, rồi lấy trung bình. Không có bình phương nên mỗi điểm đóng góp tỉ lệ thuận với sai lệch, không có hình phạt bùng nổ. Vì thế MAE robust với outlier.
Đọc: nếu nhãn thực y = 1, loss = −log(ŷ). Nếu y = 0, loss = −log(1 − ŷ). Khi mô hình đoán đúng và tự tin, loss gần 0. Khi đoán sai và tự tin, loss bùng nổ. Đây là cơ chế “phạt tự tin sai” mà MSE không có.
| Loss | Bài toán | Điểm mạnh | Ví dụ minh hoạ |
|---|---|---|---|
| MSE | Hồi quy | Phạt nặng sai số lớn, học nhanh | Dự đoán giá vàng, nhiệt độ Đà Lạt |
| MAE | Hồi quy có outlier | Robust, không bị kéo lệch | Dự đoán thời gian giao hàng |
| Huber | Hồi quy cân bằng | MSE + MAE, mượt và robust | Dự đoán ETA chuyến xe |
| Binary CE | Phân loại 2 lớp | Phạt nặng tự tin sai | Lọc thư rác tiếng Việt |
| Categorical CE | Phân loại N lớp | Softmax và log phối hợp mượt | Gán nhãn chủ đề bài viết |
| Hinge / Pairwise | SVM, ranking | Biên cứng, tập trung vào mẫu khó | Xếp hạng kết quả tìm kiếm |
Thực tế người ta có gộp, gọi là multi-task loss. Ví dụ, một mô hình tự lái vừa học phân loại biển báo (CE) vừa học ước lượng khoảng cách (MSE). Loss tổng = α · CE + β · MSE, với α và β là hệ số cân bằng hai mục tiêu. Cân bằng này rất nhạy: chọn sai α/β, mô hình sẽ ưu tiên một mục tiêu và bỏ rơi mục tiêu kia. Vì vậy có cả một hướng nghiên cứu “loss balancing”.
Loss là thứ mô hình tối thiểu hoá — phải khả vi để gradient descent hoạt động. Metric là thước đo bạn báo cáo — có thể là accuracy, F1, RMSE, MAPE, AUC. Metric không cần khả vi. Ví dụ: bạn huấn luyện phân loại với Cross-Entropy (loss) nhưng báo cáo Accuracy (metric) cho sếp. Accuracy có đạo hàm bằng 0 ở hầu khắp nơi nên không thể làm loss, nhưng rất dễ hiểu nên phù hợp để báo cáo.
Loss đi tay trong tay với gradient descent: loss cho biết đang sai bao nhiêu, gradient cho biết phải đi theo hướng nào để sai ít hơn. Backpropagation đưa gradient của loss về từng tham số trong mạng. Ba khái niệm này làm thành bộ ba huấn luyện của mọi mô hình hiện đại.