Thử đoán
Mô hình ML cũng “bắn cung” vào kết quả đúng. Hôm nay bạn sẽ thấy bốn tổ hợp bias–variance như bốn tấm bia. Biết mình đang ở tấm bia nào, bạn biết phải chỉnh gì.
Evaluating routing across providers.
AI Foundation
Ẩn dụ bắn cung: bias là xa tâm, variance là đạn rải. Bốn tổ hợp xuất hiện khi bạn thay đổi độ phức tạp của mô hình.
Mô hình ML cũng “bắn cung” vào kết quả đúng. Hôm nay bạn sẽ thấy bốn tổ hợp bias–variance như bốn tấm bia. Biết mình đang ở tấm bia nào, bạn biết phải chỉnh gì.
Bốn tình huống dưới đây tái hiện bốn kết quả huấn luyện. Cả hai chiều — xa tâm (bias) và rải (variance) — đều quan trọng.
| Tổ hợp | Hình ảnh bia | Ý nghĩa | Chỉnh gì |
|---|---|---|---|
| Bias thấp, variance thấp | Gần tâm, chụm lại | Mô hình đúng và ổn định | Giữ nguyên |
| Bias thấp, variance cao | Quanh tâm nhưng rải | Trung bình đúng nhưng dao động mạnh giữa các lần | Thêm dữ liệu, regularize, ensemble |
| Bias cao, variance thấp | Lệch tâm, chụm lại | Sai hệ thống, nhất quán | Tăng độ phức tạp, thêm feature |
| Bias cao, variance cao | Lệch tâm và rải | Vừa sai vừa không ổn định | Xem lại dữ liệu và pipeline |
Độ phức tạp mô hình là một cái nút. Tăng nó lên: bias giảm, variance tăng. Giảm xuống: bias tăng, variance giảm. Tổng sai số có hình chữ U, và bạn đang đi tìm đáy chữ U đó.
Bias-Variance Tradeoff không phải là lỗi cần sửa — nó là bản chất toán học của việc học từ dữ liệu có hạn. Ngắm trúng tâm (bias thấp) và bắn ổn định (variance thấp) là hai kỹ năng khác nhau.
Biết mô hình đang ở đâu trên trục bias-variance, bạn biết phải thêm gì: thêm độ phức tạp để giảm bias, thêm dữ liệu hoặc ensemble để giảm variance, cải thiện đo đạc để giảm noise. Không có một viên đạn bạc — có ba loại thuốc cho ba loại bệnh.
15 điểm dữ liệu được sinh từ hàm sin cộng nhiễu nhẹ. So sánh hai đầu cực đoan của thang bias-variance: đa thức bậc 1 (đường thẳng) và đa thức bậc 10 (đường cong).
Bias rất cao. Đường thẳng không thể mô phỏng đường sin. Mô hình sai nhất quán ở cả hai đầu — không thể sửa bằng thêm dữ liệu. Cần tăng độ phức tạp (bậc cao hơn).
Variance bùng nổ. Đa thức đi qua gần hết điểm nhưng dao động dữ dội ở giữa. Train error rất thấp nhưng test error cao — hiện tượng Runge. Cần giảm bậc, thêm dữ liệu, hoặc regularization (Ridge, Lasso).
Với bài toán hồi quy có nhiễu độc lập (nhiễu ε có phương sai σ²), giá trị quan sát là y = f(x) + ε. Sai số kỳ vọng của dự đoán ŷ(x) — lấy trung bình trên nhiều tập huấn luyện khả dĩ — phân rã thành ba thành phần không âm:
Ba số hạng này luôn không âm và không thể triệt tiêu đồng thời với một lượng dữ liệu hữu hạn.
| Thành phần | Ý nghĩa | Giảm bằng |
|---|---|---|
| Bias² — sai số hệ thống | Khoảng cách trung bình từ dự đoán đến giá trị thật. Cao khi mô hình quá đơn giản so với hàm cần học. | Tăng độ phức tạp, thêm feature, giảm regularization |
| Variance — dao động | Mô hình thay đổi bao nhiêu khi huấn luyện lại trên tập dữ liệu khác cùng phân phối. Cao khi mô hình quá nhạy với nhiễu. | Thêm dữ liệu, regularization, ensemble, giảm phức tạp |
| σ² — noise | Nhiễu vốn có của chính dữ liệu, không phụ thuộc mô hình. Là giới hạn dưới của sai số có thể đạt được. | Cải thiện đo đạc, định nghĩa nhãn, loại outlier |
Khi tăng phức tạp: Bias² giảm nhưng Variance tăng. Tổng có hình chữ U.
Hai thành phần Bias² và Variance cạnh tranh nhau qua “cái nút” độ phức tạp. Cái nút này hiện diện trong mọi mô hình:
Dù tên gọi khác nhau, tất cả đều xoay quanh cùng một trục bias ↔ variance. Cách tìm điểm tối ưu trong thực tế: cross-validation.
Nhìn qua lăng kính bias–variance, các mô hình ML cổ điển xếp khá rõ ràng. Bảng dưới là điểm xuất phát — không phải chân lý tuyệt đối, vì hyperparameter có thể đẩy một mô hình đi theo hướng khác.
| Mô hình | Bias | Variance | Ghi chú |
|---|---|---|---|
| Linear regression | Cao | Thấp | An toàn, dễ giải thích. Underfit với dữ liệu phi tuyến. |
| Decision tree (sâu) | Rất thấp | Rất cao | Linh hoạt nhưng nhạy. Không ổn định — thay vài mẫu là cây khác hẳn. |
| Random Forest | Gần với tree đơn | Thấp | Trung bình nhiều cây → variance giảm mạnh, bias gần như không đổi. |
| KNN (k nhỏ) | Thấp | Cao | k = 1 gần như thuộc lòng train. Tăng k để giảm variance. |
| Ridge / Lasso | Tăng nhẹ | Giảm | Penalty L2/L1 kéo trọng số về 0, giảm dao động giữa các tập. |
| Deep Neural Network | Rất thấp | Cao | Cần regularization (dropout, weight decay) và dữ liệu lớn để ổn định. |
| Gradient Boosting | Thấp dần theo boost | Tăng dần | Mỗi cây thêm vào giảm bias nhưng tăng variance — early stopping là chìa khoá. |
Bốn câu hỏi giúp bạn quyết định bước tiếp theo. Đừng bỏ qua bước 1 — đa số người nhảy thẳng sang “đổi mô hình” trước khi hiểu mình đang ở đâu.
Bốn bước chẩn đoán
Có → sang bước 2 (mô hình đủ phức tạp). Không → underfit: tăng độ phức tạp, thêm feature, giảm regularization. Đừng thêm dữ liệu vội.
Đi sâu hơn: xem overfitting vs underfitting để thấy dấu hiệu cụ thể, và regularization cho các kỹ thuật như L1/L2, dropout. Random Forest minh hoạ cách ensemble giảm variance mà không tăng bias — một trong những “cú nhảy” quan trọng nhất trong ML cổ điển.
Một khái niệm hiện diện trong mọi mô hình ML.