Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.
Chiến lược chọn giá trị ban đầu cho trọng số, ảnh hưởng lớn đến tốc độ và khả năng hội tụ.
lesson90 minKiến trúcAI Engineer
Dự đoán
Giá trị ban đầu của trọng số quyết định mạng có hội tụ được không. Dưới đây là bốn chiến lược và cách phương sai của activation thay đổi qua các lớp.
Chiến lược
Ý nghĩa
Khi nào dùng
Zeros
Tất cả nơ-ron giống nhau (symmetry problem)
Không dùng cho trọng số
Random lớn
Activation bùng nổ qua các lớp
Không nên dùng
Xavier
Giữ phương sai ổn định cho sigmoid và tanh
Sigmoid, tanh
He
Bù việc ReLU tắt khoảng một nửa output
ReLU
Khoảnh khắc Aha
Weight initialization chọn vạch xuất phát cho mạng. Zeros là tất cả đứng cùng chỗ (symmetry). Random lớn là nhảy hỗn loạn (exploding). Xavier và He là phân bổ hợp lý để phương sai ổn định qua mọi lớp — giống cách sắp chỗ ngồi trên xe buýt: đều nhau, không ai quá chật, không ai quá thoải mái.
Thử thách
Giải thích
Mục tiêu: giữ phương sai ổn định qua các lớp — không tăng (bùng nổ) và không giảm (triệt tiêu).
Lưu ý: hai công thức trong nguồn bài dùng các quy ước phương sai khác nhau (1/n_in và 2/(n_in + n_out) theo bài gốc Glorot). Cần đối chiếu bài gốc trước khi dùng con số chính xác.
He (Kaiming, 2015)
W∼N(0,nin2)
Hệ số 2 bù việc ReLU tắt 50% output (max(0, x) loại bỏ một nửa phân phối). Chọn khởi tạo phụ thuộc vào hàm kích hoạt.
weight_init.py
importtorch.nnasnnmodel=nn.Sequential(nn.Linear(784,256),nn.ReLU(),nn.Linear(256,128),nn.ReLU(),nn.Linear(128,10),)# He init cho ReLU (PyTorch mặc định Kaiming uniform)forminmodel.modules():ifisinstance(m,nn.Linear):nn.init.kaiming_normal_(m.weight,nonlinearity='relu')nn.init.zeros_(m.bias)# bias luôn init = 0# Xavier init cho Sigmoid/Tanh# nn.init.xavier_normal_(m.weight)# Kiểm tra phương sai ban đầuwithtorch.no_grad():x=torch.randn(100,784)forlayerinmodel:x=layer(x)ifisinstance(layer,nn.Linear):print(f"Var = {x.var().item():.4f}")
Tóm tắt
Zeros gây vấn đề đối xứng (mọi nơ-ron giống hệt nhau). Random lớn gây bùng nổ gradient.
Xavier giữ phương sai ổn định cho sigmoid và tanh.
He bù ReLU tắt 50%, là tiêu chuẩn cho ReLU.
Quy tắc: ReLU dùng He, sigmoid và tanh dùng Xavier. Với BatchNorm, khởi tạo ít quan trọng hơn.
PyTorch mặc định dùng Kaiming; thường không cần đổi trừ khi debug gradient.