35 秒内“叫停”失控的 AI 智能体，OpenAI 部署“控制室”系统
IT之家 11 月 10 日消息，OpenAI 今天宣布，公司已在内部研究设施中部署“控制室”系统，用于停止可能存在风险的 AI 任务，可在 35 秒内“叫停”失控的 AI 智能体。 据介绍，这套系统将智能体训练、评估和数据处理任务等负载接入中央服务，然后由系统负责决定任务能否继续输出。 IT之家了解到，这套系统与负责标记可疑行为的传统监控不同，它可以主动阻止风险研究任务进一步请求输出。当研究员启用某一项任务时，需要向控制室请求唯一任务 ID。然后该标识符会附加到发送给推理引擎的请求中。接着引擎会咨询控制室，确认相关任务是否可以运行。 如果研究员或监控系统下令停止指示，控制室服务就会拒绝下一次推理请求，让推理引擎不再为任务声称任何模型输出。 OpenAI 表示， 这套系统从收到停止指令 ， 到阻止任务进一步继续的最长延迟为 35 秒 。这种延迟源于推理授权请求的缓存层，公司正努力将延迟缩短至 0。 该系统还具备自动化监控机制集成...
来自IT之家 AI的《35 秒内“叫停”失控的 AI 智能体，OpenAI 部署“控制室”系统》。重点看智能体工作流、模型能力与工程。摘要提到：IT之家 11 月 10 日消息，OpenAI 今天宣布，公司已在内部研究设施中部署“控制室”系统，用于停止可能存在风险的 AI 任务，可在 35 秒内“叫停”失控的 AI 智能体。 据介绍，这套系统将智能体训练、评估和数据处理任务等负载接入中央服务，然后由系统负责决定任务能否继续输出。 IT之家了解到，这套系统与负责标记可疑行为的传统监控不同，它可以主动阻止风险研究任务进一步请求输出。当研究员启用某一项任务时，需要向控制室请求唯一任务 ID。然后该标识符会附加到发送给推理引擎的请求中。接着引擎会咨询控制室，确认相关任务是否可以运行。 如果研究员或监控系统下令停止指示，控制室服务就会拒绝下一次推理请求，让推理引擎不再为任务声称任何模型输出。 OpenAI 表示， 这套系统从收到停止指令 ， 到阻止任务进一步继续的最长延迟为 35 秒 。这种延迟源于推理授权请求的缓存层，公司正努力将延迟缩短至 0。 该系统还具备自动化监控机制集成...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：IT之家 AI · ithome.com