arXiv AI· Zhikun Tao, Fangyong Jin, Junping Zhao·· 1 天前评分24
Can KV Cache Be Reused Across Model Updates? A DeepSeek-V4-Flash Case Study
摘要
为揭示这些结果背后的认知差异,我们引入功能缓存分歧,该方法比较在重复缓存和原生缓存下下一个token的分布。直接KV缓存复用在自然文本延续中更好地保留原生模型行为,而兼容性则随单token检索任务中前缀长度的增加而下降。答案边缘分析有助于解释正确检索决策如何在显著内部状态变化中存活。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org