ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Kiến trúc

AI Builder

Khởi tạo trọng số

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Chiến lược chọn giá trị ban đầu cho trọng số, ảnh hưởng lớn đến tốc độ và khả năng hội tụ.

lesson90 minKiến trúcAI Engineer

Dự đoán

10 vận động viên chuẩn bị chạy đua. Nếu TẤT CẢ đứng chung một vạch xuất phát, chính xác cùng vị trí, kết quả sẽ thế nào?

Giá trị ban đầu của trọng số quyết định mạng có hội tụ được không. Dưới đây là bốn chiến lược và cách phương sai của activation thay đổi qua các lớp.

Chiến lượcÝ nghĩaKhi nào dùng
ZerosTất cả nơ-ron giống nhau (symmetry problem)Không dùng cho trọng số
Random lớnActivation bùng nổ qua các lớpKhông nên dùng
XavierGiữ phương sai ổn định cho sigmoid và tanhSigmoid, tanh
HeBù việc ReLU tắt khoảng một nửa outputReLU

Khoảnh khắc Aha

Weight initialization chọn vạch xuất phát cho mạng. Zeros là tất cả đứng cùng chỗ (symmetry). Random lớn là nhảy hỗn loạn (exploding). Xavier và He là phân bổ hợp lý để phương sai ổn định qua mọi lớp — giống cách sắp chỗ ngồi trên xe buýt: đều nhau, không ai quá chật, không ai quá thoải mái.

Thử thách

Bạn dùng activation tanh nhưng khởi tạo theo He (Var = 2/fan_in). Kết quả có thể xảy ra là gì?
Fan_in = 10000 (lớp đầu của mạng xử lý ảnh lớn). Xavier cho Var = 1/10000 = 0,0001. Trọng số rất nhỏ. Có vấn đề gì không?

Giải thích

Mục tiêu: giữ phương sai ổn định qua các lớp — không tăng (bùng nổ) và không giảm (triệt tiêu).

Xavier (Glorot, 2010)

W∼N(0,1nin)hoặcW∼U(−6nin+nout,6nin+nout)W \sim \mathcal{N}\left(0, \frac{1}{n_{\text{in}}}\right) \quad \text{hoặc} \quad W \sim \mathcal{U}\left(-\frac{\sqrt{6}}{\sqrt{n_{\text{in}} + n_{\text{out}}}}, \frac{\sqrt{6}}{\sqrt{n_{\text{in}} + n_{\text{out}}}}\right)

Lưu ý: hai công thức trong nguồn bài dùng các quy ước phương sai khác nhau (1/n_in và 2/(n_in + n_out) theo bài gốc Glorot). Cần đối chiếu bài gốc trước khi dùng con số chính xác.

He (Kaiming, 2015)

W∼N(0,2nin)W \sim \mathcal{N}\left(0, \frac{2}{n_{\text{in}}}\right)

Hệ số 2 bù việc ReLU tắt 50% output (max(0, x) loại bỏ một nửa phân phối). Chọn khởi tạo phụ thuộc vào hàm kích hoạt.

weight_init.py

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(784, 256), nn.ReLU(),
    nn.Linear(256, 128), nn.ReLU(),
    nn.Linear(128, 10),
)

# He init cho ReLU (PyTorch mặc định Kaiming uniform)
for m in model.modules():
    if isinstance(m, nn.Linear):
        nn.init.kaiming_normal_(m.weight, nonlinearity='relu')
        nn.init.zeros_(m.bias)  # bias luôn init = 0

# Xavier init cho Sigmoid/Tanh
# nn.init.xavier_normal_(m.weight)

# Kiểm tra phương sai ban đầu
with torch.no_grad():
    x = torch.randn(100, 784)
    for layer in model:
        x = layer(x)
        if isinstance(layer, nn.Linear):
            print(f"Var = {x.var().item():.4f}")

Tóm tắt

  • Zeros gây vấn đề đối xứng (mọi nơ-ron giống hệt nhau). Random lớn gây bùng nổ gradient.
  • Xavier giữ phương sai ổn định cho sigmoid và tanh.
  • He bù ReLU tắt 50%, là tiêu chuẩn cho ReLU.
  • Quy tắc: ReLU dùng He, sigmoid và tanh dùng Xavier. Với BatchNorm, khởi tạo ít quan trọng hơn.
  • PyTorch mặc định dùng Kaiming; thường không cần đổi trừ khi debug gradient.

Continue the module

Lesson 9 of 12