Apple Machine Learning Research·· 2 天前评分72
Weighted State Souping for Efficient Long-Context Retrieval
摘要
本文被接纳于NeurIPS会议的个性化、对齐、长期记忆对于AI系统工作坊(PALM) 2026。状态空间模型(SSMs)结合快速推理与固定状态大小，同时具备竞争性的语言建模性能。最近，状态蒸馏被提出作为一种流程，其中SSMs独立编码如文档、工具定义或记忆记录的token块。结果的状态编码可缓存并重组，以低成本构建下游查询的上下文。然而，状态蒸馏和传统SSMs在长且拥挤的...
推荐理由
请对照Apple Machine Learning Research原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：Apple Machine Learning Research · machinelearning.apple.com