ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Hàm kích hoạt — Cái uốn cong của mạng nơ-ron

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Không có hàm kích hoạt, cả một mạng nơ-ron chỉ là một phép tính tuyến tính khổng lồ. Kéo, thử, so sánh để thấy vì sao 5 đường cong nhỏ lại thay đổi mọi thứ.

lesson50 minMạng nơ-ronAI Foundation

Câu chuyện mở đầu

Không có hàm kích hoạt, mọi mạng đều là một đường thẳng

Một mạng nơ-ron nhân đầu vào với rất nhiều ma trận, hết lớp này đến lớp khác. Nhưng có một sự thật lạ: nhân bao nhiêu ma trận rồi cũng ra một ma trận khác. Nếu bạn xếp 10, 100 hay 1 000 lớp tuyến tính mà không thêm gì, cả mạng gộp lại vẫn chỉ là một phép tính tuyến tính khổng lồ.

Tuyến tính nghĩa là: bạn chỉ uốn lượn được bằng các đường thẳng. Nhưng thế giới thực toàn đường cong — ảnh con mèo không nằm trên một mặt phẳng, hai nhóm khách hàng cũng không tách được bằng một nét bút. Hàm kích hoạt là cái cần nhỏ sau mỗi lớp, uốn thẳng thành cong. Chỉ cần bẻ cong một chút ở mỗi tầng, mạng bỗng nhiên biểu diễn được mọi thứ.

Cấu trúcKết quả
Chỉ có lớp tuyến tính100 lớp tuyến tính = 1 lớp. Mạng chỉ kẻ được đường thẳng.
Thêm một đường cong nhỏ giữa hai lớp (phi tuyến)Mạng uốn được vô số đường cong — biểu diễn cả ảnh, âm thanh, ngôn ngữ.

Thử đoán

Bạn đã biết cần một hàm kích hoạt phi tuyến để 'bẻ cong' sau mỗi lớp. Trong bốn hàm dưới, hàm nào KHÔNG thật sự giúp mạng học đường biên cong?

Khám phá năm hàm

Đây là năm hàm kích hoạt phổ biến nhất. Mỗi hàm có một đường cong riêng — điểm khác nhau nằm ở miền giá trị và cách hàm đối xử với số âm.

HàmCông thứcMiền giá trịĐặc điểm và nơi dùng
ReLUf(x) = max(0, x)[0, +∞)Cú hích của deep learning hiện đại. Cắt mọi số âm về 0, giữ nguyên số dương. Cực nhanh và gradient không bị nén ở vùng dương — nhưng nơ-ron có thể chết nếu rơi luôn vào vùng âm.
Sigmoidσ(x) = 1 / (1 + e^(−x))(0, 1)Cái nút công tắc kinh điển. Bóp mọi số về khoảng (0, 1). Hay được dùng ở đầu ra nhị phân, nhưng ở lớp ẩn thì gây triệt tiêu gradient.
Tanhtanh(x)(−1, 1)Người họ hàng đối xứng của sigmoid. Bóp về (−1, 1) và có tâm ở 0, nên gradient đỡ lệch hơn. Thường gặp trong RNN/LSTM để giữ trạng thái ứng viên.
Leaky ReLUf(x) = 0,01x khi x ≤ 0; f(x) = x khi x > 0—ReLU có một khe nhỏ cho vùng âm. Chỉ cho một chút tín hiệu rỉ xuống — đủ để nơ-ron có cơ hội hồi sinh.
Softmaxe^{z_i} / Σ_j e^{z_j}(0, 1), tổng = 1Biến điểm số thành xác suất. Hãy tưởng tượng mô hình vừa nhìn một tấm ảnh và đưa ra bốn điểm số thô (logit) cho bốn lớp; softmax biến chúng thành xác suất cộng lại bằng 1.

Cả bài này là để bạn nhìn năm đường cong nhỏ — ReLU, sigmoid, tanh, Leaky ReLU và softmax — biến một tín hiệu thô thành tín hiệu hữu ích như thế nào.

Vì sao cần uốn cong

Có bốn cụm điểm: hai cụm cam ở góc trên phải và dưới trái, hai cụm xanh ở hai góc còn lại. Nhìn mắt thường, ai cũng thấy hai màu — nhưng chúng xen kẽ. Đây là bài toán kinh điển mà mọi mô hình tuyến tính đều thất bại: mô hình tuyến tính chỉ được kẻ đúng một đường thẳng, dù xoay thế nào cũng không chia được hai nhóm xen kẽ. Thêm 100 lớp tuyến tính vẫn là một đường thẳng, vì nhân ma trận liên tiếp cho ra ma trận khác.

Loại mạng trên bài toán XORKết quả
Chỉ có lớp tuyến tínhHỏng — chỉ được kẻ một đường thẳng, không thể tách hai nhóm xen kẽ.
Có hàm kích hoạt phi tuyến sau mỗi lớpĐúng — đường ranh giới có thể cong, gấp khúc, ôm được cấu hình xen kẽ.

Hàm kích hoạt là cái bản lề nhỏ giữa hai lớp, nhưng nhờ nó mà mạng nhiều lớp thật sự có ý nghĩa. Không có bản lề, các lớp xếp vào nhau chỉ tạo ra một đường thẳng. Có bản lề, bạn được cả một mặt phẳng gấp khúc — đủ ôm mọi hình dạng trong dữ liệu thực.

Thử thách

Khi bạn xếp 10 lớp sigmoid liên tiếp và cho backprop chạy ngược, gradient ở lớp đầu tiên thường gần với số nào nhất?

Nhìn tận mắt: tín hiệu co về 0,5 sau mỗi lớp sigmoid

Nếu bạn đưa đầu vào x qua sigmoid lần liên tiếp, kết quả luôn nén về gần 0,5 — và gradient đi ngược lại qua lớp bị nhân với một con số cực nhỏ.

Đạo hàm cực đại của sigmoid là 0,25. Sau mỗi lớp, gradient bị nhân với 0,25 — đây là lý do mạng sâu dùng sigmoid gần như không học được — hiện tượng vanishing gradient.

Khoảnh khắc hiểu

Hàm kích hoạt không phải là tính năng phụ — nó là cái biến một phép nhân ma trận thành một mạng học được.

Một mạng tuyến tính là một đường thẳng. Thêm một đường cong nhỏ vào mỗi lớp, bạn được một mạng vô cùng linh hoạt — có thể xấp xỉ mọi hàm, ôm mọi ranh giới, phân biệt mọi cấu hình dữ liệu.

Giải thích

Bạn đã thấy năm đường cong trong phần khám phá. Bên dưới là ba công thức ngắn nhất có thể — đừng thuộc lòng; nhớ hình dáng đường cong là đủ.

ReLU — cắt vuông ở 0

ReLU(x)=max⁡(0,x)\mathrm{ReLU}(x) = \max(0, x)

Bằng lời: nếu x âm, ra 0; nếu x dương, giữ nguyên. Một cái chặn ánh sáng đơn giản — nhưng cực nhanh, và là hàm kích hoạt mặc định cho hầu hết các mô hình thị giác máy tính hiện đại.

Sigmoid — bóp mọi số về (0, 1)

σ(x)=11+e−x\sigma(x) = \frac{1}{1 + e^{-x}}

Bằng lời: dù x là bao nhiêu, sigmoid đều nén về một số giữa 0 và 1. Rất tiện cho đầu ra nhị phân (phải/trái, đúng/sai). Nhưng ở lớp ẩn của mạng sâu, nó gây triệt tiêu gradient.

Softmax — biến bảng điểm thành bảng xác suất

softmax(zi)=ezi∑jezj\mathrm{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j} e^{z_j}}

Bằng lời: ai điểm cao sẽ chiếm phần lớn xác suất, các lớp còn lại chia phần còn lại. Công thức trông rối nhưng ý nghĩa đơn giản — tổng luôn bằng 1. Đây là cách chuẩn đưa mạng đa lớp về một phân phối xác suất.

Vì sao ReLU đơn giản lại thắng sigmoid ở lớp ẩn?

Có ba lý do thực tế. Một: ReLU chỉ cần một phép so sánh với 0 — cực rẻ trên GPU. Hai: gradient ở vùng dương luôn là 1, nên dù có 50 lớp, tín hiệu học vẫn đi xuyên qua nguyên vẹn ở phần dương. Ba: đầu ra “thưa” (nhiều nơ-ron trả 0) khiến mạng tự đơn giản hoá — một dạng regularization ngầm.

Đổi lại, ReLU có điểm yếu: nếu một nơ-ron rơi vào vùng âm và không thoát ra được, nó sẽ chết vĩnh viễn. Leaky ReLU, ELU, GELU đều là các biến thể giúp vùng âm có tí gradient, tránh bẫy này.

Tóm tắt

5 điều cần nhớ

  • Không có hàm kích hoạt, cả một mạng nơ-ron chỉ là một phép tính tuyến tính lớn — không uốn được đường cong.
  • ReLU cắt vuông ở 0: mặc định cho lớp ẩn vì nhanh và gradient không nén ở vùng dương.
  • Sigmoid bóp về (0, 1): hợp cho đầu ra nhị phân, nhưng gây triệt tiêu gradient ở mạng sâu.
  • Softmax dùng ở lớp cuối của phân loại đa lớp — biến điểm số thành xác suất cộng bằng 1.
  • Tanh & Leaky ReLU là hai bản đối xứng / sửa lỗi của sigmoid và ReLU — dùng khi gradient lệch tâm hoặc có nơ-ron chết.

Continue the path

Lesson 76 of 106