ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Bias và Variance — lệch tâm hay đạn rải

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Ẩn dụ bắn cung: bias là xa tâm, variance là đạn rải. Bốn tổ hợp xuất hiện khi bạn thay đổi độ phức tạp của mô hình.

lesson46 minML cơ bảnAI Foundation

Thử đoán

Bạn bắn 10 mũi tên. Cả 10 mũi đều lệch tâm sang phải 20 cm nhưng chụm sát nhau thành một cụm nhỏ. Bạn đang gặp vấn đề gì?

Mô hình ML cũng “bắn cung” vào kết quả đúng. Hôm nay bạn sẽ thấy bốn tổ hợp bias–variance như bốn tấm bia. Biết mình đang ở tấm bia nào, bạn biết phải chỉnh gì.

Bốn tấm bia — bốn tổ hợp bias × variance

Bốn tình huống dưới đây tái hiện bốn kết quả huấn luyện. Cả hai chiều — xa tâm (bias) và rải (variance) — đều quan trọng.

Tổ hợpHình ảnh biaÝ nghĩaChỉnh gì
Bias thấp, variance thấpGần tâm, chụm lạiMô hình đúng và ổn địnhGiữ nguyên
Bias thấp, variance caoQuanh tâm nhưng rảiTrung bình đúng nhưng dao động mạnh giữa các lầnThêm dữ liệu, regularize, ensemble
Bias cao, variance thấpLệch tâm, chụm lạiSai hệ thống, nhất quánTăng độ phức tạp, thêm feature
Bias cao, variance caoLệch tâm và rảiVừa sai vừa không ổn địnhXem lại dữ liệu và pipeline

Khám phá — độ phức tạp là cái nút

Độ phức tạp mô hình là một cái nút. Tăng nó lên: bias giảm, variance tăng. Giảm xuống: bias tăng, variance giảm. Tổng sai số có hình chữ U, và bạn đang đi tìm đáy chữ U đó.

Khoảnh khắc hiểu

Bias-Variance Tradeoff không phải là lỗi cần sửa — nó là bản chất toán học của việc học từ dữ liệu có hạn. Ngắm trúng tâm (bias thấp) và bắn ổn định (variance thấp) là hai kỹ năng khác nhau.

Biết mô hình đang ở đâu trên trục bias-variance, bạn biết phải thêm gì: thêm độ phức tạp để giảm bias, thêm dữ liệu hoặc ensemble để giảm variance, cải thiện đo đạc để giảm noise. Không có một viên đạn bạc — có ba loại thuốc cho ba loại bệnh.

Đi sâu — cùng một dữ liệu, hai mô hình, kết quả trái ngược

15 điểm dữ liệu được sinh từ hàm sin cộng nhiễu nhẹ. So sánh hai đầu cực đoan của thang bias-variance: đa thức bậc 1 (đường thẳng) và đa thức bậc 10 (đường cong).

Đa thức bậc 1 — underfit

Bias rất cao. Đường thẳng không thể mô phỏng đường sin. Mô hình sai nhất quán ở cả hai đầu — không thể sửa bằng thêm dữ liệu. Cần tăng độ phức tạp (bậc cao hơn).

Đa thức bậc 10 — overfit

Variance bùng nổ. Đa thức đi qua gần hết điểm nhưng dao động dữ dội ở giữa. Train error rất thấp nhưng test error cao — hiện tượng Runge. Cần giảm bậc, thêm dữ liệu, hoặc regularization (Ridge, Lasso).

Thử thách

Bạn có 500 ảnh chó/mèo và train một mạng deep learning 50 triệu tham số. Train accuracy = 100%, val accuracy = 65%. Bạn đang ở bên nào của đường cong chữ U?
Nhóm nghiên cứu cá ngừ đo 8 đặc điểm của cá để dự đoán tuổi. Mô hình hồi quy tuyến tính cho R² = 0,4 trên cả train và val. Vấn đề là gì?

Giải thích

Với bài toán hồi quy có nhiễu độc lập (nhiễu ε có phương sai σ²), giá trị quan sát là y = f(x) + ε. Sai số kỳ vọng của dự đoán ŷ(x) — lấy trung bình trên nhiều tập huấn luyện khả dĩ — phân rã thành ba thành phần không âm:

E[(y−y^(x))2]=(E[y^(x)]−f(x))2⏟Bias2+Var[y^(x)]⏟Variance+σ2⏟Noise\mathbb{E}\big[(y - \hat{y}(x))^2\big] = \underbrace{\big(\mathbb{E}[\hat{y}(x)] - f(x)\big)^2}_{\text{Bias}^2} + \underbrace{\text{Var}[\hat{y}(x)]}_{\text{Variance}} + \underbrace{\sigma^2}_{\text{Noise}}

Ba số hạng này luôn không âm và không thể triệt tiêu đồng thời với một lượng dữ liệu hữu hạn.

Thành phầnÝ nghĩaGiảm bằng
Bias² — sai số hệ thốngKhoảng cách trung bình từ dự đoán đến giá trị thật. Cao khi mô hình quá đơn giản so với hàm cần học.Tăng độ phức tạp, thêm feature, giảm regularization
Variance — dao độngMô hình thay đổi bao nhiêu khi huấn luyện lại trên tập dữ liệu khác cùng phân phối. Cao khi mô hình quá nhạy với nhiễu.Thêm dữ liệu, regularization, ensemble, giảm phức tạp
σ² — noiseNhiễu vốn có của chính dữ liệu, không phụ thuộc mô hình. Là giới hạn dưới của sai số có thể đạt được.Cải thiện đo đạc, định nghĩa nhãn, loại outlier

Khi tăng phức tạp: Bias² giảm nhưng Variance tăng. Tổng có hình chữ U.

Total Error(x)=Bias2[y^(x)]+Var[y^(x)]+σ2\text{Total Error}(x) = \text{Bias}^2[\hat{y}(x)] + \text{Var}[\hat{y}(x)] + \sigma^2

Hai thành phần Bias² và Variance cạnh tranh nhau qua “cái nút” độ phức tạp. Cái nút này hiện diện trong mọi mô hình:

  • Polynomial regression: bậc d.
  • Decision tree: max_depth, min_samples_leaf.
  • Neural network: số layer, số neuron, số epoch huấn luyện.
  • KNN: k (k nhỏ = phức tạp cao).
  • Regularization: λ lớn = phức tạp thấp hơn.

Dù tên gọi khác nhau, tất cả đều xoay quanh cùng một trục bias ↔ variance. Cách tìm điểm tối ưu trong thực tế: cross-validation.

Bản đồ bias-variance cho các mô hình phổ biến

Nhìn qua lăng kính bias–variance, các mô hình ML cổ điển xếp khá rõ ràng. Bảng dưới là điểm xuất phát — không phải chân lý tuyệt đối, vì hyperparameter có thể đẩy một mô hình đi theo hướng khác.

Mô hìnhBiasVarianceGhi chú
Linear regressionCaoThấpAn toàn, dễ giải thích. Underfit với dữ liệu phi tuyến.
Decision tree (sâu)Rất thấpRất caoLinh hoạt nhưng nhạy. Không ổn định — thay vài mẫu là cây khác hẳn.
Random ForestGần với tree đơnThấpTrung bình nhiều cây → variance giảm mạnh, bias gần như không đổi.
KNN (k nhỏ)ThấpCaok = 1 gần như thuộc lòng train. Tăng k để giảm variance.
Ridge / LassoTăng nhẹGiảmPenalty L2/L1 kéo trọng số về 0, giảm dao động giữa các tập.
Deep Neural NetworkRất thấpCaoCần regularization (dropout, weight decay) và dữ liệu lớn để ổn định.
Gradient BoostingThấp dần theo boostTăng dầnMỗi cây thêm vào giảm bias nhưng tăng variance — early stopping là chìa khoá.

Sơ đồ chẩn đoán nhanh khi mô hình chưa tốt

Bốn câu hỏi giúp bạn quyết định bước tiếp theo. Đừng bỏ qua bước 1 — đa số người nhảy thẳng sang “đổi mô hình” trước khi hiểu mình đang ở đâu.

Bốn bước chẩn đoán

1 / 4
  1. 1. 1. Train error có thấp không?

    Có → sang bước 2 (mô hình đủ phức tạp). Không → underfit: tăng độ phức tạp, thêm feature, giảm regularization. Đừng thêm dữ liệu vội.

Đi sâu hơn: xem overfitting vs underfitting để thấy dấu hiệu cụ thể, và regularization cho các kỹ thuật như L1/L2, dropout. Random Forest minh hoạ cách ensemble giảm variance mà không tăng bias — một trong những “cú nhảy” quan trọng nhất trong ML cổ điển.

Tóm tắt và kiểm tra

  • Tổng sai số = Bias² + Variance + σ². Ba thành phần luôn không âm và không thể triệt tiêu cùng lúc.
  • Bias cao = sai hệ thống, mô hình quá đơn giản (underfit). Variance cao = quá nhạy, mô hình quá phức tạp (overfit).
  • Tăng phức tạp: bias giảm, variance tăng. Tổng có hình chữ U — sweet spot ở đáy.
  • Chẩn đoán: train và val đều thấp → underfit. Train cao, val thấp → overfit. Cả hai cao → sweet spot.
  • Giảm bias: tăng phức tạp, thêm feature. Giảm variance: thêm dữ liệu, regularize, ensemble.
  • σ² là giới hạn dưới — không thể giảm bằng mô hình. Cải thiện chất lượng dữ liệu là cách duy nhất.

Một khái niệm hiện diện trong mọi mô hình ML.

Tăng độ phức tạp của mô hình thì bias và variance thay đổi thế nào?

Continue the path

Lesson 54 of 106