State Space Models (SSM) là kiến trúc tuần tự dựa trên hệ phương trình vi phân, kế thừa ý tưởng hidden state từ RNN nhưng với O(N) complexity thay vì O(N^2) của Transformer, đặc biệt hiệu quả cho bài toán long context.
Phương trình SSM cơ bản:
ht=Aˉht−1+Bˉxt(cập nhật state) yt=Cht+Dxt(output) ht là hidden state (ghi chú tóm tắt), Aˉ quyết định nhớ/quên, Bˉ quyết định input nào đưa vào state.