ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← ML cơ bản

AI Foundation

Tập train, val, test — Bài tập, thi thử, thi thật

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Train = bài tập. Val = đề thi thử. Test = đề thi thật. Không được xem test trước — nếu không, điểm không có ý nghĩa.

lesson46 minML cơ bảnAI Foundation

Hook — ba vai trò, ba loại “đề”

TậpVai tròẨn dụQuy tắc
TrainMô hình học: cập nhật tham số qua nhiều lượt.Bài tập về nhàDùng thoải mái để học.
ValidationMô hình chỉnh: tune hyperparameter, chọn kiến trúc, quyết định early stopping.Đề thi thửDùng để chọn, nhưng dùng nhiều thì cũng “hao” dần.
TestMô hình được đánh giá.Đề thi thậtMở đúng 1 LẦN ở cuối. Không được nhìn trước.

Quy tắc quan trọng nhất: không được nhìn test trước khi nộp. Một khi đã nhìn, dù chỉ một lần, điểm test không còn ý nghĩa — nó trở thành một phần của quá trình tuning, không phải một phép đo khách quan.

Bạn chia train / val / test đúng. Sau đó bạn thử 50 kiến trúc mô hình khác nhau, MỖI LẦN đo điểm test để xem cái nào cao nhất, rồi báo cáo điểm test của mô hình thắng cuộc. Con số báo cáo đó có còn tin được không?

Khám phá — test bị nhìn trước thì điểm phồng lên

Với 1.000 điểm dữ liệu, chia thành train / val / test theo tỷ lệ. Test tự động bằng 100 trừ train và val, và luôn giữ tối thiểu 5%.

Tỷ lệ chiaTrainValTest
60 / 20 / 20600200200
70 / 15 / 15700150150
80 / 10 / 10800100100

Nếu bạn “nhìn test trước” trong lúc tuning, test accuracy tăng lên một cách giả tạo. Kết quả này không phản ánh hiệu năng thật.

Khoảnh khắc Aha

Ba tập, ba vai trò không thay thế nhau: train để học, val để chỉnh, test để đánh giá. Nếu bạn dùng test để chỉnh (dù chỉ một lần), test đã trở thành val — và bạn không còn phép đo khách quan nào nữa.

Train loss thấp = mô hình nhớ bài tập. Val loss thấp = mô hình hợp với đề thi thử. Test loss thấp (đo đúng một lần) = mô hình thực sự tổng quát hoá.

Quy trình chuẩn

Trong một workflow ML chuẩn, test set xuất hiện rất muộn — chỉ ở bước cuối cùng.

Sáu bước

1 / 6
  1. 1. 1. Thu thập dữ liệu

    Tổng hợp toàn bộ dữ liệu có được. Giả sử 10.000 mẫu.

Thử thách

Vì sao validation set (chứ không phải test set) được dùng để tune hyperparameters? Cả hai đều là dữ liệu mô hình chưa thấy, đúng không?
Dataset là chuỗi thời gian (giá cổ phiếu theo ngày). Chia train / val / test thế nào?

Giải thích

Train / Val / Test split chia dữ liệu thành ba tập riêng biệt để đảm bảo đánh giá mô hình khách quan. Đây là nền tảng phương pháp luận của mọi dự án ML.

Generalization Error≈Test Error (đo đuˊng 1 laˆˋn)\text{Generalization Error} \approx \text{Test Error (đo đúng 1 lần)}

Generalization error là lỗi kỳ vọng trên dữ liệu chưa hề thấy. Không đo được trực tiếp (dữ liệu tương lai là vô hạn), nên dùng test error làm ước lượng tốt nhất — với điều kiện test set được giữ nguyên vẹn.

Tỷ lệ chia theo kích thước dataset

Kích thước datasetTỷ lệ đề xuấtLý do
Dưới 1.000 mẫuNên dùng cross-validationHold-out quá nhiễu
1.000 – 10.00060 / 20 / 20Cần val và test đủ lớn (từ 200 mẫu)
10.000 – 100.00070 / 15 / 15Phổ biến, cân bằng
100.000 – 1.000.00080 / 10 / 1010% đã đủ tin cậy
Trên 1.000.00090 / 5 / 5 hoặc 98 / 1 / 1Thiếu dữ liệu train mới là vấn đề chính

Vì sao val set “hết thiêng” sau vài chục thử nghiệm?

Mỗi khi bạn chọn hyperparameter dựa trên val accuracy, bạn đang “nhét” một chút thông tin về val set vào mô hình qua quyết định của mình. Sau vài chục lần thử, mô hình gián tiếp “biết” val set — val accuracy bắt đầu overfit tương tự train. Giải pháp:

  • Giới hạn số thử nghiệm (Optuna với pruning, Bayesian optimization).
  • Dùng nested cross-validation: vòng ngoài đánh giá, vòng trong tune.
  • Dành riêng một bộ holdout cuối chưa hề dùng trong bất kỳ vòng thử nào.

Bao nhiêu mẫu test là đủ để báo cáo đáng tin?

Với sai số mong muốn ±2% và độ tin cậy 95%, công thức xấp xỉ là:

n≥1,962⋅p(1−p)ε2n \geq \frac{1{,}96^2 \cdot p(1-p)}{\varepsilon^2}

Với p ≈ 0,9 và ε = 0,02, n ≈ 864 mẫu. Nguồn bài ghi khoảng 1.000–2.500 mẫu; con số tính từ công thức là 864, nên dùng mức làm tròn từ 1.000 trở lên. Nếu dataset tổng dưới 2.000 mẫu, hãy dùng cross-validation thay vì hold-out — con số “accuracy 92%” trên 100 mẫu test có khoảng tin cậy rộng tới khoảng ±5 điểm phần trăm.

Tóm tắt

  • Train = bài tập (học). Val = đề thi thử (tune). Test = đề thi thật (đánh giá, chỉ một lần).
  • Không bao giờ dùng test để chọn hyperparameter — nếu làm, test không còn khách quan.
  • Split TRƯỚC khi làm preprocessing. Fit scaler và encoder CHỈ trên train; transform val và test bằng scaler của train.
  • Dataset chuỗi thời gian: chia theo thời gian (train là cũ, test là mới). Không shuffle.
  • Dataset nhỏ (dưới 10k): dùng cross-validation. Dataset lớn (trên 1M): hold-out 90/5/5 là đủ.

Continue the path

Lesson 60 of 106