ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

Hàm kích hoạt trong AlphaGo

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

AlphaGo thắng kỳ thủ hàng đầu thế giới — mỗi nước đi là hàng triệu nơ-ron với ReLU và softmax phối hợp. Bấm một ô trên bàn cờ để thấy mạng chính sách nghĩ gì.

lesson50 minMạng nơ-ronAI Foundation

Giới thiệu

DeepMind · 3/2016 · Seoul

Cờ vây được coi là thành trì cuối cùng của trí tuệ con người trước máy tính. Một bàn cờ 19×19 có hơn 10 mũ 170 thế cờ — nhiều hơn số nguyên tử trong vũ trụ. Không cỗ máy nào duyệt hết được. AlphaGo không duyệt; nó cảm nhận — bằng hàng triệu nơ-ron phối hợp qua 13 tầng, mỗi tầng có một hàm kích hoạt.

Trong một nước đi, AlphaGo đọc cả bàn cờ, chạy qua 12 tầng ẩn có ReLU, rồi để softmax phân bổ 100% xác suất cho 361 ô. Từ đó nó chọn ra một vài ô nóng để cây tìm kiếm Monte Carlo đào sâu. Không có ReLU, 13 tầng sụp thành một đường thẳng; không có softmax, AI không biết mỗi nước đi đáng tin bao nhiêu.

Cờ vuaCờ vây
Lựa chọn mỗi nướcKhoảng 35Khoảng 250
Độ dài ván / độ sâu duyệtChương trình cũ duyệt tới độ sâu 10 nướcVán dài khoảng 150 nước
  • 361 ô, 10 mũ 170 thế cờ — không thể duyệt.
  • Đánh giá thế cờ cần “cảm”, không chỉ đếm điểm.
  • Phần thưởng chỉ hiện ở cuối ván — mạng phải học lâu.

DeepMind giải bằng cách xếp hai mạng nơ-ron tích chập sâu 13 tầng: một mạng đề xuất nước đi (policy network), một mạng đánh giá thế cờ (value network). Nhưng 13 tầng chỉ có ý nghĩa khi gradient truyền ngược được qua hết, mà gradient chỉ truyền được khi mỗi tầng không bị sập về tuyến tính và không bị bóp nghẹt về 0. Đây là lúc hàm kích hoạt vào cuộc.

Mã hoá bàn cờ. Bàn cờ 19×19 được biến thành một khối số 19×19×48 — 48 kênh mô tả quân đen, quân trắng, lịch sử 8 nước gần nhất, số khí của mỗi nhóm quân, tuổi của từng viên đá và thông tin lượt đi. Đây là đầu vào mà cả hai mạng cùng nhìn.

Bên trong mạng chính sách — 13 tầng nối nhau

12 tầng ẩn ở giữa đều dùng ReLU — cắt vuông ở 0 để gradient không bị triệt tiêu khi học qua hàng triệu ván đánh. Lớp cuối cho 361 điểm số thô, rồi softmax biến chúng thành xác suất chọn từng ô trên bàn cờ 19×19. Ô nào xác suất cao nhất sẽ được xem xét trước khi cây tìm kiếm chạy tiếp.

Mạng chính sách — 12 tầng ReLU. Đầu vào chạy qua tầng đầu với bộ lọc 5×5, rồi 11 tầng tích chập 3×3. Sau mỗi tầng là một hàm kích hoạt ReLU: ai âm thành 0, ai dương giữ nguyên. Tại sao phải ReLU chứ không phải sigmoid? Vì ReLU cho gradient bằng 1 ở vùng dương, nên tín hiệu học lan ngược qua 12 tầng mà không bị nén. Nếu dùng sigmoid, mỗi tầng nhân gradient với tối đa 0,25 — sau 12 tầng còn chưa tới 10 mũ âm 7.

Softmax ở đầu ra — biến điểm thô thành xác suất. Tầng cuối cho 361 điểm số thô, một cho mỗi ô trên bàn. Nhưng điểm thô không dùng được — có thể số âm, có thể số to bất thường. Softmax biến tất cả thành 361 xác suất cộng bằng 100%. Ô nào xác suất cao, đó là nước AlphaGo nghĩ tới đầu tiên.

Bấm một ô trên bàn cờ để xem mạng chính sách nghĩ gì

Vòng đỏ đậm = nước AlphaGo thật sự chọn. Vệt đỏ mờ = xác suất softmax cho các ô khác. Ô đã có quân thì mạng chính sách đặt xác suất gần như bằng 0. Mạng chính sách gán xác suất rất nhỏ cho các ô không nằm trong nhóm ứng viên hàng đầu — softmax chia 100% cho 361 ô, nên phần lớn ô chỉ nhận một phần trăm nhỏ.

Top 6 nước có xác suất cao nhất

Tổng softmax qua 361 ô = 100%.

Mạng giá trị — thêm tanh ở đầu ra. Song song với mạng chính sách, một mạng khác cùng kiến trúc (13 tầng, ReLU ở giữa) được huấn luyện để trả lời câu hỏi khác: từ thế cờ hiện tại, bên đang đi có cơ hội thắng bao nhiêu? Đầu ra là một nơ-ron duy nhất với hàm kích hoạt tanh — cho số trong khoảng từ −1 (thua chắc) tới +1 (thắng chắc). Tại sao tanh chứ không phải sigmoid? Vì tanh đối xứng quanh 0, nên “hoà” nằm ở giữa và gradient dễ học hơn.

Hợp nhất với cây tìm kiếm. Hàng triệu nơ-ron phối hợp qua ReLU ở lớp ẩn và softmax ở đầu ra giúp AlphaGo thu hẹp không gian tìm kiếm: từ 250 lựa chọn mỗi nước xuống chỉ còn 5–10 ứng viên đáng để đào sâu. Cây Monte Carlo lấy các xác suất đó làm điểm khởi đầu, mô phỏng vài vạn ván nháp, rồi chọn nước tốt nhất. Không có ReLU, không có softmax, toàn bộ quy trình này sụp đổ.

Vì sao AlphaGo dùng softmax chứ không phải sigmoid ở tầng cuối của mạng chính sách?

Phân tích một ván thật — nước 37 của AlphaGo

Ván 2, 10/3/2016. Đây là khoảnh khắc nổi tiếng nhất lịch sử cờ vây máy tính. Lee Sedol đang cầm đen, AlphaGo cầm trắng. Đến nước thứ 37, AlphaGo bất ngờ đánh vai thứ năm — một nước mà bình luận viên Michael Redmond 9-đẳng sau này gọi là “không ai trong số chúng tôi nghĩ đến, nhưng khi máy đánh rồi, bạn nhận ra nó rất đẹp”.

Sau 36 nước, hai bên đã xây dựng thế trận. Các kỳ thủ hàng đầu thường chọn lối đánh ổn định ở đường 4 — bảo toàn đất. AlphaGo đứng trước lựa chọn: theo sách vở, hay đi một nước khác lạ.

Mạng chính sách dồn 35% xác suất cho vai thứ năm (điểm K16 trong ký hiệu chuẩn), 18% cho nước theo sách ở đường 4. Softmax không “cứng”: nó cho cả hai cơ hội, nhưng điểm số của nước vai cao hơn hẳn — vì 12 tầng ReLU phía trước đã học được một mẫu thế trận mà con người chưa tổng kết thành sách.

Cây Monte Carlo tiếp nhận xác suất này, mô phỏng sâu vào tương lai, và xác nhận: nước vai cho xác suất thắng cao hơn. AlphaGo đánh nó. Lee Sedol cúi đầu suy nghĩ 12 phút — rồi thua ván đó. Nước 37 trở thành biểu tượng: một AI không chỉ bắt chước con người, mà tìm ra điều con người chưa thấy.

Vai thứ năm được tìm ra vì ReLU ở 12 tầng ẩn không giết gradient khi mạng học hàng triệu ván, và softmax ở tầng cuối không ép toàn bộ xác suất vào một điểm “an toàn”. Đây là bằng chứng thực tế: năm đường cong nhỏ quyết định cả khả năng sáng tạo của một hệ AI lớn.

Thử thách: ráp tình huống

Bạn đang thiết kế phiên bản AlphaGo cho cờ tướng Việt (bàn 10×9 = 90 ô). Nên dùng hàm gì ở tầng cuối của mạng chính sách?

Nếu bỏ hẳn hàm kích hoạt — cả 13 tầng sụp thành một phép biến đổi tuyến tính duy nhất. Không khác gì chơi cờ vây bằng đường thẳng. Nếu kiến trúc sư chọn sai hàm kích hoạt ở hai vị trí then chốt, câu chuyện AlphaGo sẽ kết thúc trước khi kịp bắt đầu:

  • Nếu 12 tầng ẩn dùng sigmoid thay cho ReLU: gradient nhân với tối đa 0,25 ở mỗi tầng. Sau 12 tầng, tín hiệu học co về khoảng 10 mũ âm 8 — mạng gần như không cập nhật được các tầng đầu. AlphaGo sẽ không thể học được đặc trưng bàn cờ phức tạp.
  • Nếu bỏ hẳn hàm kích hoạt: 13 tầng nhân ma trận tuần tự sụp về đúng một phép biến đổi tuyến tính. AI chơi cờ vây bằng đường thẳng — không phân biệt được nhóm quân chiến đấu với một vùng đất rộng.
  • Nếu thay softmax bằng sigmoid ở tầng cuối: mỗi ô cho xác suất độc lập, tổng có thể là 50 hoặc 200 — không biểu diễn được “chọn một trong 361 ô”. Cây tìm kiếm Monte Carlo mất điểm khởi đầu, phải mò trong không gian khổng lồ.

Tóm tắt

5 điều cần nhớ về AlphaGo và hàm kích hoạt

  • AlphaGo dùng hai mạng nơ-ron tích chập 13 tầng — một cho chính sách (chọn nước), một cho giá trị (ước lượng thắng).
  • 12 tầng ẩn đều có ReLU: gradient đi qua nguyên vẹn ở vùng dương, giúp mạng học được từ 30 triệu ván cờ.
  • Tầng cuối của mạng chính sách là softmax trên 361 ô — cho xác suất chọn mỗi nước, tổng bằng 1.
  • Tầng cuối của mạng giá trị là tanh — cho số từ −1 (thua chắc) tới +1 (thắng chắc), đối xứng quanh 0.
  • Nước 37 ván 2 vs Lee Sedol là minh chứng: năm đường cong nhỏ phối hợp tạo ra sáng tạo mà con người chưa từng thấy.

Continue the path

Lesson 77 of 106