ONE is preparing: 01 / INITIALIZING MODEL ROUTER. Evaluating routing across providers.
Current state
01 / INITIALIZING MODEL ROUTER.

Evaluating routing across providers.

Start learning
← Mạng nơ-ron

AI Foundation

MLP — Xếp nhiều perceptron thành mạng

Vietnamese onlyThe learning content is available in Vietnamese only. The surrounding interface follows your language.

Một perceptron chỉ vẽ được đường thẳng. Xếp chúng thành nhiều lớp, bạn sẽ có được đường cong — chìa khoá cho gần như mọi mô hình hiện đại.

lesson50 minMạng nơ-ronAI Foundation

Thử đoán

Bạn có một đám điểm hình hai vầng trăng đan vào nhau. Một perceptron đơn sẽ phân loại được bao nhiêu điểm đúng?

Hãy tưởng tượng một perceptron là một thước kẻ thẳng. Đưa bạn 10 thước kẻ và yêu cầu vẽ một đường ôm quanh cái ly trên bàn — bạn sẽ ghép nối chúng theo nhiều hướng để tạo thành đường gần giống đường cong.

MLP (Multilayer Perceptron) làm đúng như vậy: nhiều perceptron nhỏ xếp thành nhiều lớp, mỗi lớp sau tổ hợp các “thước thẳng” của lớp trước thành hình phức tạp hơn. Kết quả: một đường biên đủ mềm để bao quanh gần như mọi dạng dữ liệu.

Hiểu bằng hình ảnh — một lớp là một chuyên gia

Hãy tưởng tượng bạn tuyển người vào quán bún. Một người quản lý chỉ kết luận “ứng viên này hợp hay không” dựa trên một tiêu chí duy nhất, ví dụ kinh nghiệm. Nếu tuyển theo mỗi tiêu chí này, nhiều ứng viên tốt sẽ bị bỏ lỡ.

Thêm vài chuyên gia — một người đánh giá thái độ, một người đánh giá sức khoẻ, một người quan sát giao tiếp — và có một người điều phối tổng hợp ý kiến. Đó là MLP: mỗi nơ-ron ẩn là một chuyên gia nhỏ nhìn dữ liệu theo một góc, lớp cuối tổng hợp ý kiến thành kết luận.

LớpVai trò
Lớp đầu vàoNhận đặc trưng thô: toạ độ điểm, pixel ảnh, giá trị cảm biến. Chưa làm gì phức tạp.
Các lớp ẩnMỗi nơ-ron vẽ một đường thẳng nhỏ. Lớp tiếp theo gom các đường ấy thành hình phức tạp hơn.
Lớp đầu raRa quyết định cuối: xác suất “thuộc nhóm A”, giá nhà, hay con số cần đoán.

Khám phá — xây MLP và xem đường biên đổi

Hai thông số để thử: số lớp ẩn và số nơ-ron mỗi lớp. Mạng đang cố tách hai vầng trăng xếp xen kẽ thành hình lưỡi liềm; khi tăng số nơ-ron ẩn, đường biên mềm dần và ôm lấy từng vầng trăng.

Cấu hìnhĐường biên
1 nơ-ron, 1 lớpVẫn là đường thẳng — không hơn perceptron đơn
2–3 lớp × 4–8 nơ-ronĐường biên uốn cong bao lấy từng vầng trăng
3 lớp × 8 nơ-ronĐường biên uốn lượn quanh cả hai vầng trăng — đường cong phức tạp mà phần mở đầu đã hứa

Khoảnh khắc Aha

Một perceptron = một đường thẳng. Hai lớp = một đường gấp khúc. Ba lớp trở lên = một đường cong mịn, bao quanh gần như mọi dạng dữ liệu.

Chiều sâu không phải sự phức tạp cho vui — nó là cơ chế cho phép mạng học từ nét đơn giản đến hình phức tạp. Đó là lý do deep learning được gọi là deep.

Đi sâu — bài toán XOR đã làm AI đình trệ 15 năm

XOR là phép “khác nhau”: (0,0) → 0, (1,1) → 0, còn (0,1) → 1 và (1,0) → 1. Bốn điểm này xếp thành hình quả trám: hai điểm cùng nhãn nằm chéo nhau. Không có đường thẳng nào chia đúng.

Mô hìnhKết quả với XOR
Perceptron đơnChỉ vẽ được một đường thẳng. Dù xoay kiểu gì, ít nhất một trong bốn điểm luôn bị phân loại sai.
MLP: 1 lớp ẩn × 4 nơ-ronDựng hai “đường thẳng nhỏ” ở lớp ẩn rồi tổ hợp ở lớp ra → đường biên hình chữ X, bao đúng hai cặp điểm chéo.

Thử thách

Bạn có một MLP 10 lớp nhưng BỎ HẾT hàm kích hoạt (tanh, ReLU...). Mạng này tương đương với gì?
Với cùng 2.000 tham số, chiến lược nào thường học được đường biên phức tạp hơn cho dữ liệu như ảnh?

Giải thích

Nhìn từ bên trong, một MLP là các phép biến đổi tuyến tính xếp chồng, ở giữa chen vào hàm kích hoạt phi tuyến. Đây là hai công thức cần nhớ:

1. Mỗi lớp: tổng có trọng số, rồi làm cong

h[l]=f(W[l] h[l−1]+b[l])h^{[l]} = f\big(W^{[l]}\,h^{[l-1]} + b^{[l]}\big)

Đọc: đầu ra lớp l = hàm kích hoạt của (ma trận trọng số nhân đầu ra lớp trước, cộng bias). W quyết định lớp này để ý đến tổ hợp đặc trưng nào, b dịch đường biên lên hay xuống, còn f (ví dụ ReLU, tanh) bẻ “đường thẳng” thành “đường cong”.

2. Cả mạng: xếp nhiều lớp thành một hàm hợp

y^=fL(fL−1(⋯f1(x)⋯ ))\hat{y} = f_{L}\big(f_{L-1}(\cdots f_1(x)\cdots)\big)

Đọc: dự đoán cuối cùng là kết quả áp dụng lớp 1, rồi lớp 2, rồi đến lớp L. Nếu bỏ hàm kích hoạt f, toàn bộ dãy phép nhân ma trận gộp lại thành một ma trận duy nhất — và bạn trở về với perceptron đơn.

Ba loại lớp — ba công việc khác nhau

Loại lớpVai trò
Lớp đầu vàoChỉ chứa dữ liệu thô, không có phép biến đổi. Số nơ-ron = số đặc trưng; ảnh 28×28 có 784 nơ-ron.
Các lớp ẩnTrích xuất đặc trưng. Lớp đầu bắt nét đơn giản, lớp sau tổ hợp thành khối phức tạp hơn. Đây là nơi việc học thật sự diễn ra.
Lớp đầu raCho con số cuối: 1 nơ-ron cho hồi quy (giá, điểm), n nơ-ron cho phân loại n lớp, thường kèm sigmoid hoặc softmax.

Dòng chảy dữ liệu

Từ pixel đến dự đoán

1 / 4
  1. 1. Bước 1: đầu vào

    Ví dụ ảnh 28×28: mỗi pixel là một nơ-ron, tổng 784 con số trong khoảng 0–1. Lớp đầu vào không làm phép tính — chỉ là nơi đặt dữ liệu.

Đếm tham số — vì sao mô hình lớn lại “lớn”

Giữa hai lớp liên tiếp có a và b nơ-ron, số trọng số là a × b, cộng b bias. Một MLP kiểu 784 → 256 → 128 → 10 có tổng cộng 235.146 tham số. GPT-4 có tới hàng nghìn tỷ, nhưng công thức đếm vẫn giống hệt, chỉ là số lớp và số nơ-ron nhiều hơn rất nhiều.

Giữa hai lớpTrọng sốBiasTổng tham số
Đầu vào 784 → Ẩn 256784 × 256 = 200.704256200.960
Ẩn 256 → Ẩn 128256 × 128 = 32.76812832.896
Ẩn 128 → Đầu ra 10128 × 10 = 1.280101.290
Tổng tham số MLP này235.146

Chọn kiến trúc — vài quy tắc ngón tay cái

  1. Bắt đầu từ 1–2 lớp ẩn, mỗi lớp cỡ bằng (hoặc gấp đôi) chiều đầu vào. Chỉ tăng chiều sâu khi kết quả chưa đủ tốt.
  2. Thiếu khớp (underfitting) → tăng chiều rộng hoặc chiều sâu. Mạng quá nhỏ không thể vẽ đường biên đủ phức tạp.
  3. Quá khớp (overfitting) → giảm mạng lại, thêm dropout hoặc L2. Mạng quá lớn sẽ thuộc lòng dữ liệu huấn luyện.
  4. Dữ liệu có cấu trúc → dùng kiến trúc tương ứng. Ảnh dùng CNN; chuỗi dùng Transformer hoặc RNN; đồ thị dùng GNN. MLP vẫn là nền tảng nhưng không phải lựa chọn tối ưu cho mọi bài.

Vì sao gọi là “fully connected”?

Giữa hai lớp liền kề, mọi nơ-ron của lớp trước nối với mọi nơ-ron của lớp sau. Mỗi đầu vào đều ảnh hưởng đến mỗi đầu ra của lớp tiếp theo qua một trọng số riêng. Đây là kiểu đơn giản nhất. CNN, Transformer đều là biến thể “kết nối có chọn lọc” của ý tưởng này.

Universal Approximation Theorem — MLP xấp xỉ được những gì?

Định lý Cybenko (1989) và Hornik (1991) phát biểu: một MLP với một lớp ẩn đủ rộng và hàm kích hoạt phi tuyến khả vi có thể xấp xỉ bất kỳ hàm liên tục nào trên một tập compact với độ chính xác tuỳ ý.

Nhớ hai điều: định lý chỉ nói có tồn tại bộ trọng số tốt, không nói làm sao tìm ra. Trên thực tế, mạng sâu (nhiều lớp mỏng) thường học nhanh hơn và khái quát tốt hơn mạng rộng một lớp — đó là lý do deep learning “deep”.

MLP học thế nào — liên kết tới backpropagation

Cách mạng tìm ra trọng số tốt là lan truyền tiến và lan truyền ngược (backpropagation): mạng dự đoán, so với đáp án đo sai số, rồi dùng quy tắc đạo hàm chuỗi để biết nên chỉnh trọng số nào, theo hướng nào. Lặp hàng triệu lần thì trọng số hội tụ về bộ tốt.

Hàm kích hoạt f có nhiều lựa chọn: tanh, sigmoid, ReLU, GELU. Mỗi hàm khác nhau về tốc độ học và khả năng tránh gradient biến mất.

Tóm tắt và kiểm tra

  • Một perceptron = một đường thẳng. MLP xếp nhiều perceptron thành nhiều lớp → vẽ được đường cong tuỳ ý.
  • Hàm kích hoạt phi tuyến (ReLU, tanh, sigmoid) là bắt buộc giữa các lớp — không có nó, cả mạng sụp thành một phép tuyến tính.
  • Perceptron đơn không giải được XOR. MLP với 1 lớp ẩn 2–4 nơ-ron giải được ngay — mở đường cho deep learning.
  • Số tham số giữa hai lớp = (nơ-ron lớp trước) × (nơ-ron lớp sau) + bias. Lớp đầu tiên thường nặng nhất.
  • MLP là điểm xuất phát tốt cho dữ liệu bảng; ảnh và chuỗi dùng CNN hoặc Transformer sẽ hiệu quả hơn.
Vì sao hàm kích hoạt phi tuyến là bắt buộc giữa các lớp?
Số tham số giữa lớp 784 nơ-ron và lớp 256 nơ-ron (kể cả bias) là bao nhiêu?

Continue the path

Lesson 74 of 106