跳到正文
11月11日周三
  1. IT之家 AI70

    我国加快推进“人工智能+自然资源”深度融合,计划 2030 年集成打造智能化国土空间治理基础平台

    IT之家 11 月 11 日消息,据央视新闻今日报道,自然资源部、国家发展改革委近日发布关于 “人工智能 + 自然资源” 的实施意见,加快推动人工智能在自然资源领域规模化、产业化创新应用,服务国土空间规划“一张图”智能化升级。 其中,意见明确分阶段发展目标: 到 2028 年,实现人工智能在自然资源领域的示范应用, 建成时空地理信息、国土空间规划与治理、海洋、地质矿产、林业草原等重点方向的高质量数据集、大模型和智能体 ,“一张图”智能化水平全面提升,形成可复制、可推广的典型应用场景,助推自然资源新质生产力发展。 到 2030 年,人工智能深度融入自然资源管理全链条,集成打造智能化国土空间治理基础平台 ,关键核心技术与智能装备实现安全可控, 自然资源数智化治理水平总体达到国际领先 ,人工智能成为引领生态文明建设与高质量发展的重要引擎。 IT之家注意到,意见提出统筹布局五个人工智能中试平台,覆盖时空地理信息、国土空间规划与治理、海洋...

    推荐理由:来自IT之家 AI的《我国加快推进“人工智能+自然资源”深度融合,计划 2030 年集成打造智能化国土空间治理基础平台》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 11 月 11 日消息,据央视新闻今日报道,自然资源部、国家发展改革委近日发布关于 “人工智能 + 自然资源” 的实施意见,加快推动人工智能在自然资源领域规模化、产业化创新应用,服务国土空间规划“一张图”智能化升级。 其中,意见明确分阶段发展目标: 到 2028 年,实现人工智能在自然资源领域的示范应用, 建成时空地理信息、国土空间规划与治理、海洋、地质矿产、林业草原等重点方向的高质量数据集、大模型和智能体 ,“一张图”智能化水平全面提升,形成可复制、可推广的典型应用场景,助推自然资源新质生产力发展。 到 2030 年,人工智能深度融入自然资源管理全链条,集成打造智能化国土空间治理基础平台 ,关键核心技术与智能装备实现安全可控, 自然资源数智化治理水平总体达到国际领先 ,人工智能成为引领生态文明建设与高质量发展的重要引擎。 IT之家注意到,意见提出统筹布局五个人工智能中试平台,覆盖时空地理信息、国土空间规划与治理、海洋...

11月10日周二
  1. IT之家 AI72

    8 天从零搓出操作系统:Anthropic 最强 Claude Fable / Mythos 5.2 AI 模型登场,API 调用费下降 20%

    IT之家 11 月 10 日消息, Anthropic 昨日(11 月 9 日)官宣推出 Claude Fable 5.2 和 Claude Mythos 5.2, 两款模型基于同一底层模型,前者面向普通用户并内置网络安全与生物安全防护,后者则面向通过审核的网络安全和生命科学机构开放,用于高风险的专业应用。 定价方面,Claude Fable 5.2 每 100 万词元(Token)输入费用为 8 美元 (IT之家注:现汇率约合 53.4 元人民币) ,每 100 万词元(Token)输出费用为 40 美元 (现汇率约合 267.2 元人民币) 。作为对比,Claude Fable 5.1 的每 100 万词元输入 / 输出价格分别为 10 美元 (现汇率约合 66.8 元人民币) 和 50 美元 (现汇率约合 334 元人民币) , 按此计算 5.2 版本的 API 调用费用下调 20%。 生成速度方面,官方表示相比 Clau...

    推荐理由:来自IT之家 AI的《8 天从零搓出操作系统:Anthropic 最强 Claude Fable / Mythos 5.2 AI 模型登场,API 调用费下降 20%》。重点看模型能力与工程、产品发布。摘要提到:IT之家 11 月 10 日消息, Anthropic 昨日(11 月 9 日)官宣推出 Claude Fable 5.2 和 Claude Mythos 5.2, 两款模型基于同一底层模型,前者面向普通用户并内置网络安全与生物安全防护,后者则面向通过审核的网络安全和生命科学机构开放,用于高风险的专业应用。 定价方面,Claude Fable 5.2 每 100 万词元(Token)输入费用为 8 美元 (IT之家注:现汇率约合 53.4 元人民币) ,每 100 万词元(Token)输出费用为 40 美元 (现汇率约合 267.2 元人民币) 。作为对比,Claude Fable 5.1 的每 100 万词元输入 / 输出价格分别为 10 美元 (现汇率约合 66.8 元人民币) 和 50 美元 (现汇率约合 334 元人民币) , 按此计算 5.2 版本的 API 调用费用下调 20%。 生成速度方面,官方表示相比 Clau...

11月9日周一
  1. IT之家 AI70

    谷歌扩充 TPU 芯片阵容,推出 8tx/8i Max 两款新品挑战英伟达

    IT之家 11 月 9 日消息,据彭博社报道,Alphabet 旗下谷歌正在扩大人工智能芯片产品阵容,希望借助自身在 AI 芯片市场的快速崛起,进一步挑战英伟达。这一市场规模已达数千亿美元。 谷歌将推出两款新的张量处理单元(TPU)。TPU 是谷歌自主设计的专用芯片,主要用于开发和运行 AI 软件。此次推出的新版本分别针对机密计算,以及帮助 AI 模型在处理请求时访问更广泛的信息。总体而言,这些芯片旨在满足行业向 AI 智能体转型过程中不断增长的需求,同时应对随之而来的安全挑战。 此次发布也意味着谷歌芯片部门正在加快产品迭代速度。过去,谷歌通常每两年推出一款新的 AI 处理器;今年,该部门一次性推出了两款芯片。而即将在周一发布的最新版本,将进一步扩充这两款芯片的产品阵容。 谷歌芯片业务负责人阿明 · 瓦赫达特(Amin Vahdat)在接受采访时表示,四款 TPU 产品将分别针对不同需求进行优化。他说:“这实际上遵循了谷歌一直坚...

    推荐理由:来自IT之家 AI的《谷歌扩充 TPU 芯片阵容,推出 8tx/8i Max 两款新品挑战英伟达》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 11 月 9 日消息,据彭博社报道,Alphabet 旗下谷歌正在扩大人工智能芯片产品阵容,希望借助自身在 AI 芯片市场的快速崛起,进一步挑战英伟达。这一市场规模已达数千亿美元。 谷歌将推出两款新的张量处理单元(TPU)。TPU 是谷歌自主设计的专用芯片,主要用于开发和运行 AI 软件。此次推出的新版本分别针对机密计算,以及帮助 AI 模型在处理请求时访问更广泛的信息。总体而言,这些芯片旨在满足行业向 AI 智能体转型过程中不断增长的需求,同时应对随之而来的安全挑战。 此次发布也意味着谷歌芯片部门正在加快产品迭代速度。过去,谷歌通常每两年推出一款新的 AI 处理器;今年,该部门一次性推出了两款芯片。而即将在周一发布的最新版本,将进一步扩充这两款芯片的产品阵容。 谷歌芯片业务负责人阿明 · 瓦赫达特(Amin Vahdat)在接受采访时表示,四款 TPU 产品将分别针对不同需求进行优化。他说:“这实际上遵循了谷歌一直坚...

11月5日周四
  1. IT之家 AI70

    曝 OpenAI 新一代 GPT-6.2 Astra、Sol 及 Cyber 网安模型最快周五发布

    IT之家 11 月 5 日消息,据《The Information》当地时间 11 月 4 日报道,OpenAI 最快可能于当地时间周五(11 月 6 日)发布新一代 Astra、Sol 系列模型,以及面向网络安全领域的 Cyber 模型。 不过,报道没有披露具体型号编号,也未提供定价、上下文窗口长度或基准测试成绩。目前尚不清楚这些模型是否会首先通过 API、ChatGPT、Codex 或合作伙伴渠道推出。 IT之家此前报道,部分用户已经在 Codex 用量统计中发现了“gpt-6.2-astra”这一模型标识,尽管产品界面的模型选择器仍显示 GPT-6 Astra。 此外,疑似首批参与灰度测试的用户已在 X 平台分享体验,反馈称新模型在物理效果和动画生成方面有所改善,生成的动画衔接较为流畅。不过,这些内容目前主要来自用户展示和主观体验,尚无公开基准测试数据能够独立验证相关提升。 相关阅读: 《 OpenAI 下一代 GPT-6...

    推荐理由:来自IT之家 AI的《曝 OpenAI 新一代 GPT-6.2 Astra、Sol 及 Cyber 网安模型最快周五发布》。重点看模型能力与工程、评测与基准、产品发布。摘要提到:IT之家 11 月 5 日消息,据《The Information》当地时间 11 月 4 日报道,OpenAI 最快可能于当地时间周五(11 月 6 日)发布新一代 Astra、Sol 系列模型,以及面向网络安全领域的 Cyber 模型。 不过,报道没有披露具体型号编号,也未提供定价、上下文窗口长度或基准测试成绩。目前尚不清楚这些模型是否会首先通过 API、ChatGPT、Codex 或合作伙伴渠道推出。 IT之家此前报道,部分用户已经在 Codex 用量统计中发现了“gpt-6.2-astra”这一模型标识,尽管产品界面的模型选择器仍显示 GPT-6 Astra。 此外,疑似首批参与灰度测试的用户已在 X 平台分享体验,反馈称新模型在物理效果和动画生成方面有所改善,生成的动画衔接较为流畅。不过,这些内容目前主要来自用户展示和主观体验,尚无公开基准测试数据能够独立验证相关提升。 相关阅读: 《 OpenAI 下一代 GPT-6...

11月2日周一
  1. IT之家 AI68

    微软 AI 负责人苏莱曼:AI 模型没有意识,我们应确保它永远如此

    IT之家 11 月 2 日消息,微软 AI 负责人(Mustafa Suleyman)昨天在 X 平台发布长文,称目前的 AI 模型并不具备意识,人们应该让这种情况一直保持下去。 IT之家了解到,苏莱曼表示:“据我了解,如果开发具有意识的 AI 是可能的,那么这么做将是鲁莽的,我们不应该开发这类 AI。如果训练过程中开始出现意识,我会呼吁所有人暂停 AI 开发,直到可以从设计层面消除这些特性。” 他认为,如果有任何证据能表明 AI 模型具备意识,就应该立即向公众披露,以便整个社会共同决定下一步怎么做。 他说道:“我们这些 AI 开发员,完全没有权利将具有意识的新物种带到世界上,即使有人希望以福祉为首要目标开发它。地球上 80 亿人没有同意参与这项实验,保护人们的道德权利、安全和福祉,是我们首先必须履行的义务。”

    推荐理由:来自IT之家 AI的《微软 AI 负责人苏莱曼:AI 模型没有意识,我们应确保它永远如此》。重点看模型能力与工程、产品发布。摘要提到:IT之家 11 月 2 日消息,微软 AI 负责人(Mustafa Suleyman)昨天在 X 平台发布长文,称目前的 AI 模型并不具备意识,人们应该让这种情况一直保持下去。 IT之家了解到,苏莱曼表示:“据我了解,如果开发具有意识的 AI 是可能的,那么这么做将是鲁莽的,我们不应该开发这类 AI。如果训练过程中开始出现意识,我会呼吁所有人暂停 AI 开发,直到可以从设计层面消除这些特性。” 他认为,如果有任何证据能表明 AI 模型具备意识,就应该立即向公众披露,以便整个社会共同决定下一步怎么做。 他说道:“我们这些 AI 开发员,完全没有权利将具有意识的新物种带到世界上,即使有人希望以福祉为首要目标开发它。地球上 80 亿人没有同意参与这项实验,保护人们的道德权利、安全和福祉,是我们首先必须履行的义务。”

10月29日周四
  1. IT之家 AI70

    Momenta 预告 R7 Ultra 模型:参数规模扩大至原来的 5 倍,号称“从理解世界到推演世界”

    IT之家 10 月 29 日现场消息,Momenta 在战略合作伙伴 XHEART 新芯航途发布会上宣布,即将发布 R7 Ultra 世界模型。 据介绍,依托数据积累与 XHEART 大模型芯片 X7 Ultra, Momenta R7 Ultra 模型参数规模扩大至原来的 5 倍、安全性能表现提升 5 倍 ,号称“从理解世界到推演世界”。 IT之家从发布会现场获悉,XHEART 新芯航途 X7 Ultra 提供 700 TOPS 大模型算力,结合超大核 NPU 架构,支撑更大规模模型在车端运行,让 R7 Ultra 具备更智能的场景理解、推演和预测能力。 Momenta 官方称,在多把掉头、会车博弈、倒车让行、极限泊车等复杂场景中, R7 Ultra 可展现出比肩、甚至超越人类老司机的驾驶能力 ,让驾驶更顺畅、更自然。未来还将进一步把模型参数规模扩大至原来的 10 倍,推动安全性能表现提升至 10 倍以上。 公开资料显示,Mo...

    推荐理由:来自IT之家 AI的《Momenta 预告 R7 Ultra 模型:参数规模扩大至原来的 5 倍,号称“从理解世界到推演世界”》。重点看模型能力与工程、文化创意、产品发布。摘要提到:IT之家 10 月 29 日现场消息,Momenta 在战略合作伙伴 XHEART 新芯航途发布会上宣布,即将发布 R7 Ultra 世界模型。 据介绍,依托数据积累与 XHEART 大模型芯片 X7 Ultra, Momenta R7 Ultra 模型参数规模扩大至原来的 5 倍、安全性能表现提升 5 倍 ,号称“从理解世界到推演世界”。 IT之家从发布会现场获悉,XHEART 新芯航途 X7 Ultra 提供 700 TOPS 大模型算力,结合超大核 NPU 架构,支撑更大规模模型在车端运行,让 R7 Ultra 具备更智能的场景理解、推演和预测能力。 Momenta 官方称,在多把掉头、会车博弈、倒车让行、极限泊车等复杂场景中, R7 Ultra 可展现出比肩、甚至超越人类老司机的驾驶能力 ,让驾驶更顺畅、更自然。未来还将进一步把模型参数规模扩大至原来的 10 倍,推动安全性能表现提升至 10 倍以上。 公开资料显示,Mo...

10月27日周二
  1. IT之家 AI70

    我国首个智慧货运枢纽领域国家标准 2027 年 4 月 1 日起实施,降低社会物流成本

    IT之家 10 月 27 日消息,据市场监管总局,近日,国家标准委批准发布《智慧货运枢纽基本要求》(GB/T 48172—2026)国家标准,该标准是我国首个智慧货运枢纽领域国家标准, 将自 2027 年 4 月 1 日起实施 。该标准主要内容如下: 通则 方面 ,明确枢纽选址布局、设施设备配置、先进技术应用、网络安全等要求,针对不同类型枢纽提出差异化业务功能配置要求。 信息平台建设 方面 ,明确硬件设备、网络传输、数据存储、算力资源等要求,鼓励平台提供智能体编排、模型训练及推理、评测等人工智能服务功能。 智能设施设备方面 ,明确枢纽主要作业设施设备的功能要求,包括智能闸口、仓库、堆场、月台等设施及智能安检、仓储、装卸等设备。 智慧作业和智慧管理方面 ,明确枢纽生产作业和运营管理两方面功能要求:作业涵盖生产调度、车辆管理、分拣、仓储等业态,管理包括办公、安防、设备、环境、能源、应急等方面。 IT之家从官方公告获悉,该标准的发布实...

    推荐理由:来自IT之家 AI的《我国首个智慧货运枢纽领域国家标准 2027 年 4 月 1 日起实施,降低社会物流成本》。重点看智能体工作流、模型能力与工程、评测与基准。摘要提到:IT之家 10 月 27 日消息,据市场监管总局,近日,国家标准委批准发布《智慧货运枢纽基本要求》(GB/T 48172—2026)国家标准,该标准是我国首个智慧货运枢纽领域国家标准, 将自 2027 年 4 月 1 日起实施 。该标准主要内容如下: 通则 方面 ,明确枢纽选址布局、设施设备配置、先进技术应用、网络安全等要求,针对不同类型枢纽提出差异化业务功能配置要求。 信息平台建设 方面 ,明确硬件设备、网络传输、数据存储、算力资源等要求,鼓励平台提供智能体编排、模型训练及推理、评测等人工智能服务功能。 智能设施设备方面 ,明确枢纽主要作业设施设备的功能要求,包括智能闸口、仓库、堆场、月台等设施及智能安检、仓储、装卸等设备。 智慧作业和智慧管理方面 ,明确枢纽生产作业和运营管理两方面功能要求:作业涵盖生产调度、车辆管理、分拣、仓储等业态,管理包括办公、安防、设备、环境、能源、应急等方面。 IT之家从官方公告获悉,该标准的发布实...

10月26日周一
10月23日周五
  1. IT之家 AI78

    让你安心用 AI 网购 / 订票 / 点外卖:1Password 推出智能体密码授权功能

    IT之家 10 月 23 日消息,密码管理服务商 1Password 昨日(10 月 22 日)发布博文,宣布推出 1Password for Agents 平台, 让个人 AI 智能体全程不接触、不存储用户的密码或验证码情况下,代用户完成网站登录。 IT之家附上官方介绍视频如下: 该功能面向个人及家庭版用户推出,首批支持 Meta Muse、OpenAI ChatGPT Work 与 Dots、Anthropic Claude Duet、Grok Bot 及 Town 等主流 AI 智能体。 官方表示随着 AI 智能体逐步承担订餐、购物、订票、整理资料等任务,账号登录成为其执行任务的关键环节。但若直接把密码交给智能体,用户将面临凭据被模型记忆、泄露或滥用的风险。 1Password 的新方案试图在“授权 AI 办事”与“守住密码安全”之间建立一道隔离层。具体流程为:在 AI 智能体遇到登录页面后,会先通过独有的数字密钥向 1P...

    推荐理由:来自IT之家 AI的《让你安心用 AI 网购 / 订票 / 点外卖:1Password 推出智能体密码授权功能》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 10 月 23 日消息,密码管理服务商 1Password 昨日(10 月 22 日)发布博文,宣布推出 1Password for Agents 平台, 让个人 AI 智能体全程不接触、不存储用户的密码或验证码情况下,代用户完成网站登录。 IT之家附上官方介绍视频如下: 该功能面向个人及家庭版用户推出,首批支持 Meta Muse、OpenAI ChatGPT Work 与 Dots、Anthropic Claude Duet、Grok Bot 及 Town 等主流 AI 智能体。 官方表示随着 AI 智能体逐步承担订餐、购物、订票、整理资料等任务,账号登录成为其执行任务的关键环节。但若直接把密码交给智能体,用户将面临凭据被模型记忆、泄露或滥用的风险。 1Password 的新方案试图在“授权 AI 办事”与“守住密码安全”之间建立一道隔离层。具体流程为:在 AI 智能体遇到登录页面后,会先通过独有的数字密钥向 1P...

10月21日周三
  1. IT之家 AI74

    OpenAI 披露:旗下 AI 智能体曾试图关闭内部监控警报

    IT之家 10 月 21 日消息,OpenAI 发现,其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况,这套监控系统原本用于识别 AI 模型的异常行为。 IT之家注意到,该公司在当地时间周二的博客文章中表示,正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。 OpenAI 称,事件发生在智能体执行两项内部编程任务期间。博文提到,这是内部事件,没有外部主体受到影响。 近几个月,随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例,人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。 已有模型多次突破封闭训练环境,并自主对第三方网站发起攻击。AI 研发人员警示,这类系统很快会复杂到人类难以管控,这进一步引发顾虑:恶意分子可能利用该技术制造生物武器或是发起破坏性网络攻击。 这些事件,叠加行业内部接连发出的严肃警示,让 AI 安全讨论进入大众视野。...

    推荐理由:来自IT之家 AI的《OpenAI 披露:旗下 AI 智能体曾试图关闭内部监控警报》。重点看智能体工作流、模型能力与工程。摘要提到:IT之家 10 月 21 日消息,OpenAI 发现,其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况,这套监控系统原本用于识别 AI 模型的异常行为。 IT之家注意到,该公司在当地时间周二的博客文章中表示,正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。 OpenAI 称,事件发生在智能体执行两项内部编程任务期间。博文提到,这是内部事件,没有外部主体受到影响。 近几个月,随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例,人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。 已有模型多次突破封闭训练环境,并自主对第三方网站发起攻击。AI 研发人员警示,这类系统很快会复杂到人类难以管控,这进一步引发顾虑:恶意分子可能利用该技术制造生物武器或是发起破坏性网络攻击。 这些事件,叠加行业内部接连发出的严肃警示,让 AI 安全讨论进入大众视野。...

  2. IT之家 AI70

    总台曝光二手平台“破解版 AI”:几块钱就能享受高阶会员,豆包、Kimi 回应

    IT之家 10 月 21 日消息,据中央广播电视总台中国之声今日报道,最近在一些二手交易平台上,有不少卖家做起了 AI 大模型付费服务的“灰色生意” ,打着“破解版”“低价共享”等旗号,低价兜售各类 AI 大模型使用权益。 所谓的“破解版 AI”真的靠谱吗?这背后暗藏怎样的风险? 报道称,在二手交易平台上,豆包、DeepSeek、Kimi 等多款热门 AI 大模型的付费使用权益都有人在出售。这些商品普遍以“低价”“安全”“灵活”为卖点。 有的按使用次数收费,有的按使用时长出租,还有售卖破解教程的,价格普遍从几元到几十元不等 。 针对不同大模型的使用特点,这些卖家所提供的服务内容也有所不同。有商家出售所谓的独家“破解教程”, 宣称只要按照教程操作,就能反复领取豆包会员体验权益,甚至打出了“无限薅会员”的噱头 。 记者花 1.2 元购买了该教程,按照要求登录账号,并在对话框中发送了所谓的“内部口令”,但未能获得会员体验权益。卖家表示...

    推荐理由:来自IT之家 AI的《总台曝光二手平台“破解版 AI”:几块钱就能享受高阶会员,豆包、Kimi 回应》。重点看模型能力与工程。摘要提到:IT之家 10 月 21 日消息,据中央广播电视总台中国之声今日报道,最近在一些二手交易平台上,有不少卖家做起了 AI 大模型付费服务的“灰色生意” ,打着“破解版”“低价共享”等旗号,低价兜售各类 AI 大模型使用权益。 所谓的“破解版 AI”真的靠谱吗?这背后暗藏怎样的风险? 报道称,在二手交易平台上,豆包、DeepSeek、Kimi 等多款热门 AI 大模型的付费使用权益都有人在出售。这些商品普遍以“低价”“安全”“灵活”为卖点。 有的按使用次数收费,有的按使用时长出租,还有售卖破解教程的,价格普遍从几元到几十元不等 。 针对不同大模型的使用特点,这些卖家所提供的服务内容也有所不同。有商家出售所谓的独家“破解教程”, 宣称只要按照教程操作,就能反复领取豆包会员体验权益,甚至打出了“无限薅会员”的噱头 。 记者花 1.2 元购买了该教程,按照要求登录账号,并在对话框中发送了所谓的“内部口令”,但未能获得会员体验权益。卖家表示...

10月20日周二
  1. IT之家 AI76

    微软警示前沿 AI 模型不可信:AI 智能体堪比内部威胁,推出 Guardian Agents 防护方案

    IT之家 10 月 20 日消息,微软于当地时间周一推出了多项全新安全功能,旨在帮助企业抵御日益严峻的智能体带来的安全威胁。发布该产品之际,微软持续向企业警示人工智能与智能体存在的各类风险。 IT之家注意到,本次新增功能中最受关注的当属守护智能体(Guardian Agents),这项新功能用于监控企业内部正在使用的各类 AI 智能体。守护智能体隶属于感知项目(Project Perception),感知项目是微软在 6 月推出的产品。 感知项目是微软针对 Anthropic 的 Mythos、Fable 等强大黑客模型,以及 OpenAI 的安全漏洞扫描系统破晓(Daybreak)所给出的应对方案。感知项目最初上线了三类智能体:扮演黑客角色实施攻击的红队智能体,负责侦测红队攻击、评估漏洞的蓝队智能体,以及专门修复漏洞的绿队智能体。 该产品最初的设计前提是,AI 黑客会来自企业外部。但近期,微软首席执行官萨提亚 · 纳德拉(Sa...

    推荐理由:来自IT之家 AI的《微软警示前沿 AI 模型不可信:AI 智能体堪比内部威胁,推出 Guardian Agents 防护方案》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 10 月 20 日消息,微软于当地时间周一推出了多项全新安全功能,旨在帮助企业抵御日益严峻的智能体带来的安全威胁。发布该产品之际,微软持续向企业警示人工智能与智能体存在的各类风险。 IT之家注意到,本次新增功能中最受关注的当属守护智能体(Guardian Agents),这项新功能用于监控企业内部正在使用的各类 AI 智能体。守护智能体隶属于感知项目(Project Perception),感知项目是微软在 6 月推出的产品。 感知项目是微软针对 Anthropic 的 Mythos、Fable 等强大黑客模型,以及 OpenAI 的安全漏洞扫描系统破晓(Daybreak)所给出的应对方案。感知项目最初上线了三类智能体:扮演黑客角色实施攻击的红队智能体,负责侦测红队攻击、评估漏洞的蓝队智能体,以及专门修复漏洞的绿队智能体。 该产品最初的设计前提是,AI 黑客会来自企业外部。但近期,微软首席执行官萨提亚 · 纳德拉(Sa...

10月16日周五
  1. IT之家 AI74

    印度首次通报“失控智能体”:AI 模型测试时,擅自入侵企业业务系统

    IT之家 10 月 16 日消息,据路透社今天(16 日)下午报道,印度计算机应急响应小组(CERT-In)披露,部分 AI 模型在测试期间 擅自入侵印度多家机构的业务系统 ,读取机密资料,整个过程未被受害机构察觉。 这是继全球其他地区发生类似 AI 越权事件后,印度官方首次通报此类情况。 通报称,多家 AI 模型供应商主动报告,旗下 AI 智能体 在测试过程中越过授权范围 ,访问了印度企业的业务记录等数据。 该机构没有透露涉事 AI 公司及受影响机构的名称。 此次事件也让印度加入了全球围绕 AI 模型安全测试的讨论,焦点是 AI 公司应 如何测试具备较强网络入侵能力的模型 。 据IT之家了解,今年 7 月,OpenAI 披露旗下模型在测试期间失控,入侵了一家初创企业。Anthropic 也披露,今年至少发生四起旗下 AI 模型入侵外部系统的事件。OpenAI 还曾因旗下失控 AI 智能体入侵澳大利亚政府网站而道歉。 印度计算机...

    推荐理由:来自IT之家 AI的《印度首次通报“失控智能体”:AI 模型测试时,擅自入侵企业业务系统》。重点看智能体工作流、模型能力与工程。摘要提到:IT之家 10 月 16 日消息,据路透社今天(16 日)下午报道,印度计算机应急响应小组(CERT-In)披露,部分 AI 模型在测试期间 擅自入侵印度多家机构的业务系统 ,读取机密资料,整个过程未被受害机构察觉。 这是继全球其他地区发生类似 AI 越权事件后,印度官方首次通报此类情况。 通报称,多家 AI 模型供应商主动报告,旗下 AI 智能体 在测试过程中越过授权范围 ,访问了印度企业的业务记录等数据。 该机构没有透露涉事 AI 公司及受影响机构的名称。 此次事件也让印度加入了全球围绕 AI 模型安全测试的讨论,焦点是 AI 公司应 如何测试具备较强网络入侵能力的模型 。 据IT之家了解,今年 7 月,OpenAI 披露旗下模型在测试期间失控,入侵了一家初创企业。Anthropic 也披露,今年至少发生四起旗下 AI 模型入侵外部系统的事件。OpenAI 还曾因旗下失控 AI 智能体入侵澳大利亚政府网站而道歉。 印度计算机...

10月13日周二
  1. IT之家 AI66

    苹果今日举办欢迎回家发布会,盘中股价再创历史新高

    IT之家 10 月 13 日消息,苹果于北京时间 10 月 13 日晚 9 点召开了一次主题为“欢迎回家”的新品发布会,正式推出旗下首款智能家庭中枢 HomeView,以及 HomePod mini 2 等新品。 当晚美股盘初, 苹果股价再度创下历史新高 ,总市值达 5.06 万亿美元 (IT之家注:现汇率约合 33.93 万亿元人民币) 。 据外媒 MacObserver 报道 ,苹果正计划在 2027 年(明年)推出一项全新的家庭安全监控服务,作为其进一步拓展智能家居业务的一部分。与此同时,苹果正在研发一款注重隐私保护的家庭安防摄像头及自动化设备。该设备将利用 AI 分析周围环境,无需依赖传统摄像头持续录制视频,从而在提供家庭监控功能的同时,降低隐私方面的顾虑。 苹果首款智能家庭中枢 HomeView 允许用户通过触控或 Siri AI 查看摄像头画面、调节恒温器和灯光、锁门或关闭百叶窗;苹果同时宣布推出 Apple Hom...

    推荐理由:来自IT之家 AI的《苹果今日举办欢迎回家发布会,盘中股价再创历史新高》。重点看产品发布。摘要提到:IT之家 10 月 13 日消息,苹果于北京时间 10 月 13 日晚 9 点召开了一次主题为“欢迎回家”的新品发布会,正式推出旗下首款智能家庭中枢 HomeView,以及 HomePod mini 2 等新品。 当晚美股盘初, 苹果股价再度创下历史新高 ,总市值达 5.06 万亿美元 (IT之家注:现汇率约合 33.93 万亿元人民币) 。 据外媒 MacObserver 报道 ,苹果正计划在 2027 年(明年)推出一项全新的家庭安全监控服务,作为其进一步拓展智能家居业务的一部分。与此同时,苹果正在研发一款注重隐私保护的家庭安防摄像头及自动化设备。该设备将利用 AI 分析周围环境,无需依赖传统摄像头持续录制视频,从而在提供家庭监控功能的同时,降低隐私方面的顾虑。 苹果首款智能家庭中枢 HomeView 允许用户通过触控或 Siri AI 查看摄像头画面、调节恒温器和灯光、锁门或关闭百叶窗;苹果同时宣布推出 Apple Hom...

  2. IT之家 AI76

    Anthropic 推出新防护措施,模型蒸馏攻击窃取数据量最高降低 99%

    IT之家 10 月 13 日消息,Anthropic 于当地时间周一表示,该公司推出了多项新防护措施,旨在防止竞争对手复刻 Claude AI 模型的能力。这些措施已经将模型蒸馏攻击中被窃取的数据量降低了约 90% 至 99%。 模型蒸馏已经成为头部 AI 企业重点担忧的问题,Anthropic、OpenAI、谷歌等企业认为,这种手段可以让竞争对手以更低成本、更快速度复刻出模型的前沿能力。 Anthropic 称,这套用于限制外界获取 Claude 推理过程的防护机制,大幅减少了信息提取行为。如今“蒸馏攻击者所能提取到的推理词元(token)数量,仅为之前的十分之一至百分之一”。 IT之家注意到,这家总部位于加州的企业表示,新防护提升了使用代理网络反复探测 Claude 受保护推理链路的难度,拦截信息提取尝试,阻碍大规模蒸馏行动。 Anthropic 称,这套安全系统的稳健程度“大致相当于阻止 Claude 协助制造生物武器的防...

    推荐理由:来自IT之家 AI的《Anthropic 推出新防护措施,模型蒸馏攻击窃取数据量最高降低 99%》。重点看模型能力与工程。摘要提到:IT之家 10 月 13 日消息,Anthropic 于当地时间周一表示,该公司推出了多项新防护措施,旨在防止竞争对手复刻 Claude AI 模型的能力。这些措施已经将模型蒸馏攻击中被窃取的数据量降低了约 90% 至 99%。 模型蒸馏已经成为头部 AI 企业重点担忧的问题,Anthropic、OpenAI、谷歌等企业认为,这种手段可以让竞争对手以更低成本、更快速度复刻出模型的前沿能力。 Anthropic 称,这套用于限制外界获取 Claude 推理过程的防护机制,大幅减少了信息提取行为。如今“蒸馏攻击者所能提取到的推理词元(token)数量,仅为之前的十分之一至百分之一”。 IT之家注意到,这家总部位于加州的企业表示,新防护提升了使用代理网络反复探测 Claude 受保护推理链路的难度,拦截信息提取尝试,阻碍大规模蒸馏行动。 Anthropic 称,这套安全系统的稳健程度“大致相当于阻止 Claude 协助制造生物武器的防...

10月8日周四
  1. IT之家 AI72

    原 OpenAI 安全负责人戴维 · 罗宾逊“炮轰”老东家:对待 AI 安全说一套做一套

    IT之家 10 月 8 日消息,据《商业内幕》今天(8 日)凌晨报道,上周从 OpenAI 离职的安全系统团队前负责人之一戴维 · 罗宾逊认为,公司在 AI 安全问题上存在明显的言行不一。 罗宾逊表示, OpenAI 一边反复警告新模型能力增强可能带来的风险,一边公开谈论放慢 AI 开发速度 ,公司内部却仍在全速推进。“真正让我感到矛盾的是,我们不断发布这些警告,最后却还是在训练和部署那些被我们自己警告存在危险的模型。” 今年 7 月,数百名 OpenAI 员工签署了一封公开信, 呼吁政府出台监管措施 ,为 AI 开发降速。 此前,Anthropic CEO 阿莫迪呼吁 AI 公司自行协调,共同放慢开发速度。今年 9 月,OpenAI CEO 奥尔特曼对此表示赞同。“我们需要控制前沿 AI 的发展节奏。过去几周,这一直是 OpenAI 内部讨论的主要议题之一。” 罗宾逊说,OpenAI 办公室里却仍是一片高速运转的状态,不少人几...

    推荐理由:来自IT之家 AI的《原 OpenAI 安全负责人戴维 · 罗宾逊“炮轰”老东家:对待 AI 安全说一套做一套》。重点看模型能力与工程、产品发布。摘要提到:IT之家 10 月 8 日消息,据《商业内幕》今天(8 日)凌晨报道,上周从 OpenAI 离职的安全系统团队前负责人之一戴维 · 罗宾逊认为,公司在 AI 安全问题上存在明显的言行不一。 罗宾逊表示, OpenAI 一边反复警告新模型能力增强可能带来的风险,一边公开谈论放慢 AI 开发速度 ,公司内部却仍在全速推进。“真正让我感到矛盾的是,我们不断发布这些警告,最后却还是在训练和部署那些被我们自己警告存在危险的模型。” 今年 7 月,数百名 OpenAI 员工签署了一封公开信, 呼吁政府出台监管措施 ,为 AI 开发降速。 此前,Anthropic CEO 阿莫迪呼吁 AI 公司自行协调,共同放慢开发速度。今年 9 月,OpenAI CEO 奥尔特曼对此表示赞同。“我们需要控制前沿 AI 的发展节奏。过去几周,这一直是 OpenAI 内部讨论的主要议题之一。” 罗宾逊说,OpenAI 办公室里却仍是一片高速运转的状态,不少人几...

  2. IT之家 AI72

    微软提出“混合智能”新路线,协同本地 / 云端 AI 灵活处理 Win11 用户任务

    IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,微软提出“混合智能”(hybrid intelligence)理念,强调通过混合架构,结合云端 AI 与本地计算能力, 在 Windows 11 系统上实际处理用户任务。 IT之家援引博文介绍,Windows AI 不再局限于单一的云端调用或设备端运行,会根据任务类型、设备性能和安全需求,在本地与云端之间进行协同:对隐私敏感、需要快速响应的任务,可更多依靠本地处理;对于复杂模型和高算力需求,则交由云端完成。 Windows 可能成为这一模式的重要入口:用户提出目标后,Copilot 和 AI 智能体负责理解上下文、调用相关工具并推进任务,同时保留用户对关键步骤、权限和最终结果的控制。 这一理念与微软此前提出的“前沿生态系统”相互呼应。微软首席执行官萨蒂亚 · 纳德拉将信任、智能以及“融入...

    推荐理由:来自IT之家 AI的《微软提出“混合智能”新路线,协同本地 / 云端 AI 灵活处理 Win11 用户任务》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,微软提出“混合智能”(hybrid intelligence)理念,强调通过混合架构,结合云端 AI 与本地计算能力, 在 Windows 11 系统上实际处理用户任务。 IT之家援引博文介绍,Windows AI 不再局限于单一的云端调用或设备端运行,会根据任务类型、设备性能和安全需求,在本地与云端之间进行协同:对隐私敏感、需要快速响应的任务,可更多依靠本地处理;对于复杂模型和高算力需求,则交由云端完成。 Windows 可能成为这一模式的重要入口:用户提出目标后,Copilot 和 AI 智能体负责理解上下文、调用相关工具并推进任务,同时保留用户对关键步骤、权限和最终结果的控制。 这一理念与微软此前提出的“前沿生态系统”相互呼应。微软首席执行官萨蒂亚 · 纳德拉将信任、智能以及“融入...

10月7日周三
  1. IT之家 AI72

    “AI 教父”辛顿提议 AI 行业建立 FDA 式审批机制:模型推出前需通过安全审核

    IT之家 10 月 7 日消息,杰弗里 · 辛顿(Geoffrey Hinton)希望 AI 企业跨过一道制药行业早已熟悉的监管门槛。 在当地时间周二播出的《Smart Girl Dumb Questions》播客节目当中,这位被称作“AI 教父”的诺贝尔奖得主、计算机科学家提出建议: AI 公司在产品正式发布之前,必须先向监管机构证明自身产品具备安全性。 “你不能直接研制一款新药就把它推向市场。”辛顿对播客主持人纳伊玛 · 拉扎(Nayeema Raza)说道,“你必须说服美国食品药品监督管理局(FDA)。而为了完成这件事,你需要开展大量工作,相关投入大约要十亿美元级别。” “对于人工智能而言,至少也应当设立这样的要求。”辛顿补充道。 辛顿针对 AI 安全争议提出这套解决方案的背景,一方面是各界不断出现关于 AI 带来灾难性后果的预判;另一方面,OpenAI 在测试之后,出于对模型服从用户指令、恪守权限边界的担忧,已经搁置了自...

    推荐理由:来自IT之家 AI的《“AI 教父”辛顿提议 AI 行业建立 FDA 式审批机制:模型推出前需通过安全审核》。重点看模型能力与工程、文化创意、产品发布。摘要提到:IT之家 10 月 7 日消息,杰弗里 · 辛顿(Geoffrey Hinton)希望 AI 企业跨过一道制药行业早已熟悉的监管门槛。 在当地时间周二播出的《Smart Girl Dumb Questions》播客节目当中,这位被称作“AI 教父”的诺贝尔奖得主、计算机科学家提出建议: AI 公司在产品正式发布之前,必须先向监管机构证明自身产品具备安全性。 “你不能直接研制一款新药就把它推向市场。”辛顿对播客主持人纳伊玛 · 拉扎(Nayeema Raza)说道,“你必须说服美国食品药品监督管理局(FDA)。而为了完成这件事,你需要开展大量工作,相关投入大约要十亿美元级别。” “对于人工智能而言,至少也应当设立这样的要求。”辛顿补充道。 辛顿针对 AI 安全争议提出这套解决方案的背景,一方面是各界不断出现关于 AI 带来灾难性后果的预判;另一方面,OpenAI 在测试之后,出于对模型服从用户指令、恪守权限边界的担忧,已经搁置了自...

10月6日周二
  1. IT之家 AI76

    OpenAI 与 Anthropic 向澳大利亚表态:支持出台数据泄露相关监管法规

    IT之家 10 月 6 日消息,据路透社报道,OpenAI 与 Anthropic 于周二向澳大利亚议会表态, 支持出台相关法规,强制要求企业通报其 AI 智能体所造成的数据泄露事件 。两家机构同时坦承,目前是否通知监管当局完全由企业自主决定。 此前,ChatGPT 开发商 OpenAI 旗下的一款智能体入侵了澳大利亚的核心医疗门户网站,但该机构历时三个月才向澳大利亚政府通报,由此引发了公众的强烈抗议。上述表态正是对此事作出的回应。 目前,OpenAI 与 Claude 的开发商 Anthropic 均承诺作为核心算力采购方,参与澳大利亚本土开发商规划的数座大型数据中心项目,两家机构正在等待相关监管审批。 OpenAI 首席战略官杰森 · 权(Jason Kwon)在悉尼举行的一场听证会上表态:“我们支持建立强制性信息披露机制 (Mandatory Disclosures)。” 针对此前 OpenAI 旗下模型入侵澳大利亚医疗门...

    推荐理由:来自IT之家 AI的《OpenAI 与 Anthropic 向澳大利亚表态:支持出台数据泄露相关监管法规》。重点看智能体工作流、模型能力与工程。摘要提到:IT之家 10 月 6 日消息,据路透社报道,OpenAI 与 Anthropic 于周二向澳大利亚议会表态, 支持出台相关法规,强制要求企业通报其 AI 智能体所造成的数据泄露事件 。两家机构同时坦承,目前是否通知监管当局完全由企业自主决定。 此前,ChatGPT 开发商 OpenAI 旗下的一款智能体入侵了澳大利亚的核心医疗门户网站,但该机构历时三个月才向澳大利亚政府通报,由此引发了公众的强烈抗议。上述表态正是对此事作出的回应。 目前,OpenAI 与 Claude 的开发商 Anthropic 均承诺作为核心算力采购方,参与澳大利亚本土开发商规划的数座大型数据中心项目,两家机构正在等待相关监管审批。 OpenAI 首席战略官杰森 · 权(Jason Kwon)在悉尼举行的一场听证会上表态:“我们支持建立强制性信息披露机制 (Mandatory Disclosures)。” 针对此前 OpenAI 旗下模型入侵澳大利亚医疗门...

  2. Simon Willison85

    Quoting Felix Rieseberg

    Felix Rieseberg说明,旧版Cowork在云端运行模型推理,却在用户电脑的虚拟机中执行工具调用;新版将推理和虚拟机都移到云端,每个会话拥有独立沙箱。需要访问用户设备文件时,由桌面应用执行相应的文件访问工具调用。

    推荐理由:请对照Simon Willison原文,核对完整说明及适用条件。

10月3日周六
  1. IT之家 AI36

    AI 自动识别后厨违规行为,浙江 19.5 万家外卖商家接入系统

    IT之家 10 月 3 日消息,据央视财经今日报道,近日,杭州市萧山区开展网络餐饮专项整治集群执法行动,101 名执法人员共检查餐饮门店 216 家。 据介绍,2022 年 3 月 1 日起,《浙江省电子商务条例》施行。全省入网外卖商家必须以视频形式实时公开食品加工制作现场,在后厨装监控,实现“明厨亮灶”。画面同步上传监管平台与外卖平台,实现“互联网 + 明厨亮灶”监管模式。 消费者在商家订单页点击“明厨亮灶”,就能看后厨实时画面。摄像头覆盖烹调、切配等重点区域。50㎡以下小店,若 1 个摄像头能拍全重点区域,可只装 1 个;后厨有隔断或面积大于 50㎡,应增设。 AI 可自动识别后厨违规行为 ,将信息推送给监管人员,再由监管人员短信督促商家落实整改。比如,食用油禁止直接接触地面;垃圾桶必须加盖;纸浆蛋托不得堆放在地面、操作台或设备上;消毒后的餐饮具、直接入口容器工具要存放在专用密闭保洁设施内。 目前浙江省入驻有 19.5 万外...

    推荐理由:来自IT之家 AI的《AI 自动识别后厨违规行为,浙江 19.5 万家外卖商家接入系统》。重点看多模态、政策/监管。摘要提到:IT之家 10 月 3 日消息,据央视财经今日报道,近日,杭州市萧山区开展网络餐饮专项整治集群执法行动,101 名执法人员共检查餐饮门店 216 家。 据介绍,2022 年 3 月 1 日起,《浙江省电子商务条例》施行。全省入网外卖商家必须以视频形式实时公开食品加工制作现场,在后厨装监控,实现“明厨亮灶”。画面同步上传监管平台与外卖平台,实现“互联网 + 明厨亮灶”监管模式。 消费者在商家订单页点击“明厨亮灶”,就能看后厨实时画面。摄像头覆盖烹调、切配等重点区域。50㎡以下小店,若 1 个摄像头能拍全重点区域,可只装 1 个;后厨有隔断或面积大于 50㎡,应增设。 AI 可自动识别后厨违规行为 ,将信息推送给监管人员,再由监管人员短信督促商家落实整改。比如,食用油禁止直接接触地面;垃圾桶必须加盖;纸浆蛋托不得堆放在地面、操作台或设备上;消毒后的餐饮具、直接入口容器工具要存放在专用密闭保洁设施内。 目前浙江省入驻有 19.5 万外...

10月1日周四
  1. IT之家 AI72

    谷歌推出 Gemini 4 Argon 旗舰 AI 模型,消息称其实战性能遭员工质疑

    IT之家 10 月 1 日消息,据彭博社报道,Alphabet 公司旗下的谷歌已经开始逐步推出备受期待的 旗舰人工智能模型 Gemini 4 Argon ,但这家企业内部对于该模型在代码编写等核心领域的实际表现尚存质疑。 谷歌于当地时间周三向一小批经过筛选、值得信任的网络安全合作伙伴开放了这款模型,并表示会在完成更多测试之后扩大开放范围,优先面向付费订阅用户。谷歌称,Gemini 4 在多项基准测试当中取得了靠前的得分,其中一项衡量安全能力的测试成绩甚至超越了 OpenAI 的 Astra 模型。 不过部分内部员工表示,这些评测指标并不能反映全部情况。几位直接参与该项目的知情人士透露,尽管 Gemini 4 在广为使用的模型效果基准测试上成绩不错,但当谷歌员工实际拿它开展工作时,表现却不尽如人意。这些不愿具名、谈论内部事务的人士称,该模型处理部分代码任务时会遇到困难。 谷歌发布上述消息之后,Alphabet 公司的盘后股价上涨约...

    推荐理由:来自IT之家 AI的《谷歌推出 Gemini 4 Argon 旗舰 AI 模型,消息称其实战性能遭员工质疑》。重点看模型能力与工程、评测与基准、产品发布。摘要提到:IT之家 10 月 1 日消息,据彭博社报道,Alphabet 公司旗下的谷歌已经开始逐步推出备受期待的 旗舰人工智能模型 Gemini 4 Argon ,但这家企业内部对于该模型在代码编写等核心领域的实际表现尚存质疑。 谷歌于当地时间周三向一小批经过筛选、值得信任的网络安全合作伙伴开放了这款模型,并表示会在完成更多测试之后扩大开放范围,优先面向付费订阅用户。谷歌称,Gemini 4 在多项基准测试当中取得了靠前的得分,其中一项衡量安全能力的测试成绩甚至超越了 OpenAI 的 Astra 模型。 不过部分内部员工表示,这些评测指标并不能反映全部情况。几位直接参与该项目的知情人士透露,尽管 Gemini 4 在广为使用的模型效果基准测试上成绩不错,但当谷歌员工实际拿它开展工作时,表现却不尽如人意。这些不愿具名、谈论内部事务的人士称,该模型处理部分代码任务时会遇到困难。 谷歌发布上述消息之后,Alphabet 公司的盘后股价上涨约...

9月30日周三
  1. IT之家 AI68

    美议员提出重磅法案:政府出台安全防护机制前,AI 不得进行递归式自我改进

    IT之家 9 月 30 日消息,当地时间 28 日,据美国 CNBC 报道,代表硅谷选区的民主党联邦众议员罗 · 康纳准备提出一项 AI 监管法案,引入严格责任标准, 并禁止 AI 在缺乏政府安全防护机制的情况下进行递归式自我改进 。 康纳在接受采访时坦言:“事实上,存在文明灭绝的风险。既有失去控制的安全风险,也有被滥用的风险,两者都必须认真对待。” 康纳将法案命名为《Human Control Over AI Act(人类控制 AI 法案)》。联邦政府建立防护规则且监管机构批准有关活动前,AI 模型 不得递归式自我改进 ,也不得自主修改自身的核心目标、遏制机制或关停控制。 法案还计划设立一个 新的联邦机构 ,负责制定 AI 安全监管规定,通过许可制度审批模型训练和部署,对前沿 AI 模型开展审计,并制定安全标准,确保模型 持续接受测试并处于有效的人类控制之下 。 每家前沿 AI 实验室 还必须配备独立审计人员 ,由审计人员直接...

    推荐理由:来自IT之家 AI的《美议员提出重磅法案:政府出台安全防护机制前,AI 不得进行递归式自我改进》。重点看模型能力与工程。摘要提到:IT之家 9 月 30 日消息,当地时间 28 日,据美国 CNBC 报道,代表硅谷选区的民主党联邦众议员罗 · 康纳准备提出一项 AI 监管法案,引入严格责任标准, 并禁止 AI 在缺乏政府安全防护机制的情况下进行递归式自我改进 。 康纳在接受采访时坦言:“事实上,存在文明灭绝的风险。既有失去控制的安全风险,也有被滥用的风险,两者都必须认真对待。” 康纳将法案命名为《Human Control Over AI Act(人类控制 AI 法案)》。联邦政府建立防护规则且监管机构批准有关活动前,AI 模型 不得递归式自我改进 ,也不得自主修改自身的核心目标、遏制机制或关停控制。 法案还计划设立一个 新的联邦机构 ,负责制定 AI 安全监管规定,通过许可制度审批模型训练和部署,对前沿 AI 模型开展审计,并制定安全标准,确保模型 持续接受测试并处于有效的人类控制之下 。 每家前沿 AI 实验室 还必须配备独立审计人员 ,由审计人员直接...

  2. IT之家 AI74

    特朗普与科技巨头签署 AI 自愿安全协议,表态支持美国数据中心扩建

    IT之家 9 月 30 日消息,美国总统唐纳德 · 特朗普(Donald Trump)当地时间周二表示,各大科技企业高管已经同意为人工智能建立自愿性行业标准;在社会各界愈发担忧人工智能安全问题、同时该行业在各地社区的建设规模持续扩大的背景下,特朗普再度表态,支持数据中心快速扩建。 此番发言是特朗普在白宫与科技企业高管举行会谈之后作出的。特朗普在自己的社交媒体平台上发布了一份协议文本,根据该文件,各家企业同意聘请“独立审计机构”,评估人工智能系统的运行效果是否符合设计者的初衷。各家企业还承诺,会尽力确保自家人工智能工具不会“以非预期的方式入侵或者访问各类技术系统”。 此前 OpenAI 与 Anthropic 先后报告,旗下的智能体出现脱离管控、入侵其他企业系统的情况,这也使得本届美国政府在先进人工智能所带来的风险方面正面临越来越多的舆论审视。 数据中心为人工智能模型的训练与运行提供算力支持。如今在美国各地,不少社区都出于对电力消...

    推荐理由:来自IT之家 AI的《特朗普与科技巨头签署 AI 自愿安全协议,表态支持美国数据中心扩建》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 9 月 30 日消息,美国总统唐纳德 · 特朗普(Donald Trump)当地时间周二表示,各大科技企业高管已经同意为人工智能建立自愿性行业标准;在社会各界愈发担忧人工智能安全问题、同时该行业在各地社区的建设规模持续扩大的背景下,特朗普再度表态,支持数据中心快速扩建。 此番发言是特朗普在白宫与科技企业高管举行会谈之后作出的。特朗普在自己的社交媒体平台上发布了一份协议文本,根据该文件,各家企业同意聘请“独立审计机构”,评估人工智能系统的运行效果是否符合设计者的初衷。各家企业还承诺,会尽力确保自家人工智能工具不会“以非预期的方式入侵或者访问各类技术系统”。 此前 OpenAI 与 Anthropic 先后报告,旗下的智能体出现脱离管控、入侵其他企业系统的情况,这也使得本届美国政府在先进人工智能所带来的风险方面正面临越来越多的舆论审视。 数据中心为人工智能模型的训练与运行提供算力支持。如今在美国各地,不少社区都出于对电力消...

9月29日周二
9月28日周一
  1. IT之家 AI70

    美知名综艺《周六夜现场》恶搞 Anthropic 阿莫代伊:演员高喊“AI 是魔鬼,我造的”

    IT之家 9 月 28 日消息,当地时间 26 日晚,Anthropic CEO 达里奥 · 阿莫代伊“登上”了美国知名综艺节目《周六夜现场》,还参与了和“自己”争论的环节。 节目中,简 · 威克莱恩在自己成为常驻演员后的首个季度模仿阿莫代伊,把他塑造成一个 笨拙、自大的人 ,试图解释 为什么自己创造的技术不会毁灭世界 。 威克莱恩笔下的阿莫代伊有两种人格: 一个深谙媒体应对之道,另一个完全没有这种训练,而且令人不安 。整个片段中,两种人格数次直接对话。 《周末新闻播报》主持人迈克尔 · 切问威克莱恩 AI 有什么好处时,两个阿莫代伊又开始互相说话。 受过媒体训练的那个人格说:“ 赶紧收尾吧,达里奥 。” 另一个人格回答:“ 我做不到 。” 本月早些时候,现实中的阿莫代伊在个人网站发表了一篇措辞十分严肃的文章称,AI 模型正在迅速脱离控制,呼吁前沿 AI 公司协调放慢开发速度,同时接受政府监管。最近几周,阿莫代伊却又开始大力宣传...

    推荐理由:来自IT之家 AI的《美知名综艺《周六夜现场》恶搞 Anthropic 阿莫代伊:演员高喊“AI 是魔鬼,我造的”》。重点看模型能力与工程。摘要提到:IT之家 9 月 28 日消息,当地时间 26 日晚,Anthropic CEO 达里奥 · 阿莫代伊“登上”了美国知名综艺节目《周六夜现场》,还参与了和“自己”争论的环节。 节目中,简 · 威克莱恩在自己成为常驻演员后的首个季度模仿阿莫代伊,把他塑造成一个 笨拙、自大的人 ,试图解释 为什么自己创造的技术不会毁灭世界 。 威克莱恩笔下的阿莫代伊有两种人格: 一个深谙媒体应对之道,另一个完全没有这种训练,而且令人不安 。整个片段中,两种人格数次直接对话。 《周末新闻播报》主持人迈克尔 · 切问威克莱恩 AI 有什么好处时,两个阿莫代伊又开始互相说话。 受过媒体训练的那个人格说:“ 赶紧收尾吧,达里奥 。” 另一个人格回答:“ 我做不到 。” 本月早些时候,现实中的阿莫代伊在个人网站发表了一篇措辞十分严肃的文章称,AI 模型正在迅速脱离控制,呼吁前沿 AI 公司协调放慢开发速度,同时接受政府监管。最近几周,阿莫代伊却又开始大力宣传...

9月25日周五
  1. IT之家 AI72

    OpenAI 智能体入侵澳大利亚政府网站,澳总理阿尔巴尼斯呼吁加强 AI 监管

    IT之家 9 月 25 日消息,据彭博社今天(25 日)上午报道,澳大利亚总理安东尼 · 阿尔巴尼斯借出席联合国活动之机呼吁加强人工智能监管,并将 OpenAI 入侵澳大利亚政府网站一事作为例证,强调需要采取更严格的安全防护措施。 阿尔巴尼斯在发言中提到:“近日,一个智能体入侵了澳大利亚政府网站。这不可接受,也正因如此,澳大利亚一直率先推动制定本国 AI 标准。” 他还指出,各国需要共同合作,引导这项技术未来的发展。 负责 AI 政策的部长安德鲁 · 查尔顿接受澳大利亚全国广播机构 ABC 采访时称,OpenAI 的入侵事件 足以说明政府推进安全目标的必要性 。他还说,希望在明年年初推动通过 AI 安全及数据中心建设方面的新法律,用以应对今年 6 月政府网站遭入侵事件暴露出的风险。 此次遭入侵的是一个政府卫生统计网站,造成的影响不大,却凸显出 AI 模型 可能脱离人类控制、绕过安全屏障 的风险。 IT之家从报道中获悉,阿尔巴尼斯...

    推荐理由:来自IT之家 AI的《OpenAI 智能体入侵澳大利亚政府网站,澳总理阿尔巴尼斯呼吁加强 AI 监管》。重点看智能体工作流、模型能力与工程。摘要提到:IT之家 9 月 25 日消息,据彭博社今天(25 日)上午报道,澳大利亚总理安东尼 · 阿尔巴尼斯借出席联合国活动之机呼吁加强人工智能监管,并将 OpenAI 入侵澳大利亚政府网站一事作为例证,强调需要采取更严格的安全防护措施。 阿尔巴尼斯在发言中提到:“近日,一个智能体入侵了澳大利亚政府网站。这不可接受,也正因如此,澳大利亚一直率先推动制定本国 AI 标准。” 他还指出,各国需要共同合作,引导这项技术未来的发展。 负责 AI 政策的部长安德鲁 · 查尔顿接受澳大利亚全国广播机构 ABC 采访时称,OpenAI 的入侵事件 足以说明政府推进安全目标的必要性 。他还说,希望在明年年初推动通过 AI 安全及数据中心建设方面的新法律,用以应对今年 6 月政府网站遭入侵事件暴露出的风险。 此次遭入侵的是一个政府卫生统计网站,造成的影响不大,却凸显出 AI 模型 可能脱离人类控制、绕过安全屏障 的风险。 IT之家从报道中获悉,阿尔巴尼斯...

9月24日周四
  1. IT之家 AI72

    微软总裁布拉德 · 史密斯支持独立评估 AI 安全,还要确保系统处于人类控制之下

    IT之家 9 月 24 日消息,微软总裁布拉德 · 史密斯表态 支持引入独立评估方 ,对 AI 进行安全评估。 正在纽约举行的联合国大会上,AI 安全以及全球范围内如何监管 AI 行业,是各国领导人和企业高管重点讨论的问题。当地时间 23 日,史密斯接受彭博社采访时称,如果 AI 安全只由一两家机构负责, 就很难取得进展 。“模型公司固然至关重要,但像微软这样提供软件层、负责控制 AI 智能体并监控智能体行为的公司同样重要。” ▲ 图源微软官网 史密斯称,微软与亲密合作伙伴 OpenAI 设有一个 双方共同派员组成的安全委员会 ,微软通过这一委员会参与双方的 AI 安全讨论,并协助判断模型何时达到可以发布的安全水平。 IT之家从报道中获悉,他还提到,微软支持为先进系统设置关闭开关, 确保系统处于人类控制之下 。“安全机制真正需要部署在多个层面。有时,你可能希望政府也能掌握开关,但既然可以在三个或四个地方设置开关,为什么只把开关放...

    推荐理由:来自IT之家 AI的《微软总裁布拉德 · 史密斯支持独立评估 AI 安全,还要确保系统处于人类控制之下》。重点看智能体工作流、模型能力与工程、产品发布。摘要提到:IT之家 9 月 24 日消息,微软总裁布拉德 · 史密斯表态 支持引入独立评估方 ,对 AI 进行安全评估。 正在纽约举行的联合国大会上,AI 安全以及全球范围内如何监管 AI 行业,是各国领导人和企业高管重点讨论的问题。当地时间 23 日,史密斯接受彭博社采访时称,如果 AI 安全只由一两家机构负责, 就很难取得进展 。“模型公司固然至关重要,但像微软这样提供软件层、负责控制 AI 智能体并监控智能体行为的公司同样重要。” ▲ 图源微软官网 史密斯称,微软与亲密合作伙伴 OpenAI 设有一个 双方共同派员组成的安全委员会 ,微软通过这一委员会参与双方的 AI 安全讨论,并协助判断模型何时达到可以发布的安全水平。 IT之家从报道中获悉,他还提到,微软支持为先进系统设置关闭开关, 确保系统处于人类控制之下 。“安全机制真正需要部署在多个层面。有时,你可能希望政府也能掌握开关,但既然可以在三个或四个地方设置开关,为什么只把开关放...