On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models

状态空间模型（SSMs）作为Transformer的有力替代方案，能够以常量内存和线性计算实现序列建模。尽管SSMs在性能和计算特性方面表现良好，但它们在需要上下文学习和精确检索的任务中仍落后于Transformer，从而影响了大规模语言建模的推广。本工作中，我们证明了SSMs在这些领域的成功与失败均可通过研究门控机制的作用来解释，该机制是现代循环神经网络中普遍存在的组件。