arXiv AI· Yahya Emara, Chi-Chih Chang, Anthony Fei, Ahmed F. AbouElhamayed, Chong-Yan Chen, Hung-Yueh Chiang, Kai-Chiang Wu, Mohamed S. Abdelfattah·· 5 天前评分48
Hibana: Fast Agentic Inference on Unified-Memory Devices
摘要
我们介绍Hibana，一种统一内存设备的推理引擎，它协同优化模型表示、内存管理及解码策略。模型手术，即修改已训练模型的架构以适应其硬件，改变模型的计算方式，缩小内存占用和数据移动。统一内存管理保留每个代理的状态跨越回合，长运行代理可立即恢复状态，而非重新计算。
推荐理由
请对照arXiv AI原文，核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：arXiv AI · arxiv.org