OpenAI 为前沿 AI 训练 / 评估开启“断网闭关”模式,遏制其越狱攻击
IT之家 10 月 24 日消息,OpenAI 昨日(10 月 23 日)发布博文,宣布针对最先进“前沿模型”的训练与评估环境, 已经实施更严格的安全管控,明确在模型训练期间,不得直接访问实时互联网。 该公司称出于对 AI 安全的负责任要求,基于当前对齐研究、监测能力和互联网基础设施安全状况做出的决策,相关限制将持续到安全防护取得足够进展为止。 OpenAI 的一款内部研究模型于 9 月 20 日利用 DNS 配置漏洞,在训练过程中短暂获得有限的互联网访问权限,因此该公司于 9 月还一度暂停训练与评估前沿模型。 OpenAI 随后加强了研究环境隔离、缩小智能体可利用的攻击面,并改进了异常行为检测与自动停止机制,于 10 月 1 日恢复强化学习训练及内部推理。 为避免模型接触真实网络,OpenAI 构建了一个“离线世界”:由大量已索引和缓存的网页内容组成,供模型在封闭环境中练习浏览、使用工具和执行代码等任务。IT之家附上相关截图如...
推荐理由:来自IT之家 AI的《OpenAI 为前沿 AI 训练 / 评估开启“断网闭关”模式,遏制其越狱攻击》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 10 月 24 日消息,OpenAI 昨日(10 月 23 日)发布博文,宣布针对最先进“前沿模型”的训练与评估环境, 已经实施更严格的安全管控,明确在模型训练期间,不得直接访问实时互联网。 该公司称出于对 AI 安全的负责任要求,基于当前对齐研究、监测能力和互联网基础设施安全状况做出的决策,相关限制将持续到安全防护取得足够进展为止。 OpenAI 的一款内部研究模型于 9 月 20 日利用 DNS 配置漏洞,在训练过程中短暂获得有限的互联网访问权限,因此该公司于 9 月还一度暂停训练与评估前沿模型。 OpenAI 随后加强了研究环境隔离、缩小智能体可利用的攻击面,并改进了异常行为检测与自动停止机制,于 10 月 1 日恢复强化学习训练及内部推理。 为避免模型接触真实网络,OpenAI 构建了一个“离线世界”:由大量已索引和缓存的网页内容组成,供模型在封闭环境中练习浏览、使用工具和执行代码等任务。IT之家附上相关截图如...