OpenAI 发布 LifeVal 基准:从选幼儿园到报税,测试 AI 的“人间烟火”技能
IT之家 11 月 3 日消息,OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准, 用来衡量 AI 模型能否真正帮助普通人完成日常事务,该公司称这一评估旨在让通用 AI 更贴近“对人类最有用的日常帮助”。 在 LifeVal 的任务设计上,OpenAI 首先参考了美国的“美国人时间使用调查”和跨国“多国时间使用调查”,随后又对 3,995 名具有人口代表性受访者开展调查,询问他们最希望个人 AI 助手在哪些事务上提供帮助。 据此,LifeVal 覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景。典型任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。 与传统基准不同,LifeVal 更关注任务是否能被推进到“可执行、可交付”的状态。例如,AI 不只是列出幼儿园名单,而要结合地点、预算、通勤和家庭需求筛选;处...
来自IT之家 AI的《OpenAI 发布 LifeVal 基准:从选幼儿园到报税,测试 AI 的“人间烟火”技能》。重点看模型能力与工程、评测与基准、教育应用。摘要提到:IT之家 11 月 3 日消息,OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准, 用来衡量 AI 模型能否真正帮助普通人完成日常事务,该公司称这一评估旨在让通用 AI 更贴近“对人类最有用的日常帮助”。 在 LifeVal 的任务设计上,OpenAI 首先参考了美国的“美国人时间使用调查”和跨国“多国时间使用调查”,随后又对 3,995 名具有人口代表性受访者开展调查,询问他们最希望个人 AI 助手在哪些事务上提供帮助。 据此,LifeVal 覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景。典型任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。 与传统基准不同,LifeVal 更关注任务是否能被推进到“可执行、可交付”的状态。例如,AI 不只是列出幼儿园名单,而要结合地点、预算、通勤和家庭需求筛选;处...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:IT之家 AI · ithome.com