Giới thiệu
DeepMind · 3/2016 · Seoul
Cờ vây được coi là thành trì cuối cùng của trí tuệ con người trước máy tính. Một bàn cờ 19×19 có hơn 10 mũ 170 thế cờ — nhiều hơn số nguyên tử trong vũ trụ. Không cỗ máy nào duyệt hết được. AlphaGo không duyệt; nó cảm nhận — bằng hàng triệu nơ-ron phối hợp qua 13 tầng, mỗi tầng có một hàm kích hoạt.
Trong một nước đi, AlphaGo đọc cả bàn cờ, chạy qua 12 tầng ẩn có ReLU, rồi để softmax phân bổ 100% xác suất cho 361 ô. Từ đó nó chọn ra một vài ô nóng để cây tìm kiếm Monte Carlo đào sâu. Không có ReLU, 13 tầng sụp thành một đường thẳng; không có softmax, AI không biết mỗi nước đi đáng tin bao nhiêu.
| Cờ vua | Cờ vây | |
|---|---|---|
| Lựa chọn mỗi nước | Khoảng 35 | Khoảng 250 |
| Độ dài ván / độ sâu duyệt | Chương trình cũ duyệt tới độ sâu 10 nước | Ván dài khoảng 150 nước |
- 361 ô, 10 mũ 170 thế cờ — không thể duyệt.
- Đánh giá thế cờ cần “cảm”, không chỉ đếm điểm.
- Phần thưởng chỉ hiện ở cuối ván — mạng phải học lâu.
DeepMind giải bằng cách xếp hai mạng nơ-ron tích chập sâu 13 tầng: một mạng đề xuất nước đi (policy network), một mạng đánh giá thế cờ (value network). Nhưng 13 tầng chỉ có ý nghĩa khi gradient truyền ngược được qua hết, mà gradient chỉ truyền được khi mỗi tầng không bị sập về tuyến tính và không bị bóp nghẹt về 0. Đây là lúc hàm kích hoạt vào cuộc.
Mã hoá bàn cờ. Bàn cờ 19×19 được biến thành một khối số 19×19×48 — 48 kênh mô tả quân đen, quân trắng, lịch sử 8 nước gần nhất, số khí của mỗi nhóm quân, tuổi của từng viên đá và thông tin lượt đi. Đây là đầu vào mà cả hai mạng cùng nhìn.