Apple Machine Learning Research·· 9 天前评分72
Attention to Mamba: A Recipe for Cross-Architecture Distillation
摘要
状态空间模型（SSMs）如Mamba已成为替代Transformer模型的流行选择，因其在生成过程中具有更低的内存消耗和更高的吞吐量。另一方面，社区已建立了一定的知识库，关于如何训练Transformer模型，许多预训练的Transformer模型也已 readily available。为在利用现有预训练Transformer模型的同时推动SSMs的采用，我们旨在识别一种有效的配方，将注意力模型转化为Mamba类似架构。此前研究...
推荐理由
请对照Apple Machine Learning Research原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：Apple Machine Learning Research · machinelearning.apple.com