Thử thách
Bạn phải nghe hết "Tôi yêu Việt Nam" (MÃ HÓA toàn bộ ý nghĩa) rồi mới bắt đầu dịch "I love Vietnam" (GIẢI MÃ từng từ). Seq2Seq hoạt động đúng như phiên dịch viên: Encoder nghe → nén thành "ý nghĩa" → Decoder dịch!
Evaluating routing across providers.
AI Researcher
Kiến trúc mã hóa-giải mã chuyển đổi chuỗi đầu vào thành chuỗi đầu ra, nền tảng cho dịch máy và tóm tắt văn bản.
Bạn phải nghe hết "Tôi yêu Việt Nam" (MÃ HÓA toàn bộ ý nghĩa) rồi mới bắt đầu dịch "I love Vietnam" (GIẢI MÃ từng từ). Seq2Seq hoạt động đúng như phiên dịch viên: Encoder nghe → nén thành "ý nghĩa" → Decoder dịch!
Seq2Seq = Encoder (mã hóa input → context vector) + Decoder (giải mã context → output). Giống phiên dịch viên: nghe hết → nhớ ý chính → dịch từng từ!
Nhưng có vấn đề: context vector có kích thước cố định. Câu dài 100 từ bị nén vào cùng kích thước với câu 5 từ — như nhét cả quyển sách vào 1 tờ giấy nhớ!
Context vector = 1 vector cố định phải chứa ý nghĩa toàn bộ câu. Câu càng dài, thông tin bị nén càng nhiều → mất mát. Attention sẽ giải quyết vấn đề này!
| Độ dài câu nguồn | Context vector | Hệ quả |
|---|---|---|
| Ngắn (5 từ) | 256 chiều | Đủ chỗ chứa |
| Dài (50 từ) | 256 chiều (cùng kích thước) | Mất thông tin |
Sequence-to-Sequence (Sutskever et al., Google 2014) gồm Encoder nén input và Decoder sinh output, thường dùng RNN hoặc LSTM làm khối cơ sở, và sau đó được tăng cường bằng attention để khắc phục bottleneck.
import torch
import torch.nn as nn
class Encoder(nn.Module):
def __init__(self, vocab_size, embed_dim, hidden_dim):
super().__init__()
self.embedding = nn.Embedding(vocab_size, embed_dim)
self.rnn = nn.LSTM(embed_dim, hidden_dim, batch_first=True)
def forward(self, x):
# x: [batch, seq_len] → "Tôi yêu Việt Nam"
embedded = self.embedding(x)
outputs, (hidden, cell) = self.rnn(embedded)
return hidden, cell # Context vector!
class Decoder(nn.Module):
def __init__(self, vocab_size, embed_dim, hidden_dim):
super().__init__()
self.embedding = nn.Embedding(vocab_size, embed_dim)
self.rnn = nn.LSTM(embed_dim, hidden_dim, batch_first=True)
self.fc = nn.Linear(hidden_dim, vocab_size)
def forward(self, x, hidden, cell):
# x: token trước đó → "I", "love", ...
embedded = self.embedding(x.unsqueeze(1))
output, (hidden, cell) = self.rnn(embedded, (hidden, cell))
prediction = self.fc(output.squeeze(1))
return prediction, hidden, cell # Từ tiếp theo