商汤开源 SenseNova Loop-9B-Preview，宣称媲美 27B 参数大小模型
IT之家 11 月 1 日消息，商汤科技 10 月 30 日宣布开源商汤日日新 SenseNova Loop-9B-Preview。 官方表示，该模型采用 Looped Transformer 架构，引入循环计算、扩展模型的有效计算深度，并探索更充分的信息交互机制，提升模型在复杂任务上的处理能力，在仅 9B 的有限参数规模下， 媲美 27B 参数大小模型 。 SenseNova Loop-9B-Preview 以 9B 尺度模型为基座，保留首尾各 4 层原始解码器模块，将中间层改造为参数共享的循环计算模块，通过多轮迭代扩展有效计算深度。在此基础上，模型进一步探索循环计算中的信息传递机制，尝试引入 mHC（Manifold-Constrained Hyper-Connections），利用多路残差连接与受约束的信息混合，增强特征交互并维持信号传播的稳定性。 据介绍，在当前评测设置下，模型在代码生成、办公场景和智能体任务等多个方向上...
来自IT之家 AI的《商汤开源 SenseNova Loop-9B-Preview，宣称媲美 27B 参数大小模型》。重点看智能体工作流、模型能力与工程、评测与基准。摘要提到：IT之家 11 月 1 日消息，商汤科技 10 月 30 日宣布开源商汤日日新 SenseNova Loop-9B-Preview。 官方表示，该模型采用 Looped Transformer 架构，引入循环计算、扩展模型的有效计算深度，并探索更充分的信息交互机制，提升模型在复杂任务上的处理能力，在仅 9B 的有限参数规模下， 媲美 27B 参数大小模型 。 SenseNova Loop-9B-Preview 以 9B 尺度模型为基座，保留首尾各 4 层原始解码器模块，将中间层改造为参数共享的循环计算模块，通过多轮迭代扩展有效计算深度。在此基础上，模型进一步探索循环计算中的信息传递机制，尝试引入 mHC（Manifold-Constrained Hyper-Connections），利用多路残差连接与受约束的信息混合，增强特征交互并维持信号传播的稳定性。 据介绍，在当前评测设置下，模型在代码生成、办公场景和智能体任务等多个方向上...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：IT之家 AI · ithome.com