跳到正文
IT之家 AI·· 9 天前评分70

MIT 研究者提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍

摘要

IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%,达到原来的约 6.1 倍。据称,整个过程没有使用梯度下降或传统训练循环。 这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了这项研究,将其称为「权重空间编程」,核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重,而不是通过常规训练流程调整模型参数。 在...

推荐理由

来自IT之家 AI的《MIT 研究者提出「权重空间编程」:GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重,数学成绩提升至原来 6 倍》。重点看模型能力与工程、评测与基准、产品发布。摘要提到:IT之家 11 月 3 日消息,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员提出了一种名为「权重空间编程」(Weight-Space Programming)的新方法。 他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016% 的参数,就将该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%,达到原来的约 6.1 倍。据称,整个过程没有使用梯度下降或传统训练循环。 这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了这项研究,将其称为「权重空间编程」,核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重,而不是通过常规训练流程调整模型参数。 在...

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:IT之家 AI · ithome.com