Câu chuyện mở đầu
Không có hàm kích hoạt, mọi mạng đều là một đường thẳng
Một mạng nơ-ron nhân đầu vào với rất nhiều ma trận, hết lớp này đến lớp khác. Nhưng có một sự thật lạ: nhân bao nhiêu ma trận rồi cũng ra một ma trận khác. Nếu bạn xếp 10, 100 hay 1 000 lớp tuyến tính mà không thêm gì, cả mạng gộp lại vẫn chỉ là một phép tính tuyến tính khổng lồ.
Tuyến tính nghĩa là: bạn chỉ uốn lượn được bằng các đường thẳng. Nhưng thế giới thực toàn đường cong — ảnh con mèo không nằm trên một mặt phẳng, hai nhóm khách hàng cũng không tách được bằng một nét bút. Hàm kích hoạt là cái cần nhỏ sau mỗi lớp, uốn thẳng thành cong. Chỉ cần bẻ cong một chút ở mỗi tầng, mạng bỗng nhiên biểu diễn được mọi thứ.
| Cấu trúc | Kết quả |
|---|---|
| Chỉ có lớp tuyến tính | 100 lớp tuyến tính = 1 lớp. Mạng chỉ kẻ được đường thẳng. |
| Thêm một đường cong nhỏ giữa hai lớp (phi tuyến) | Mạng uốn được vô số đường cong — biểu diễn cả ảnh, âm thanh, ngôn ngữ. |