跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

37 条精选近 30 天 20 条共收录 548 条

更新

部署工程的精选

今天11月13日周五第 1–30 条
11月12日周四
  1. IT之家 AI76

    月之暗面徐天天:AI 迭代速度将继续加快

    IT之家 11 月 12 日消息,据新浪财经报道,在今日“以发展应变局”为主题的第十七届财新峰会上,月之暗面金融行业与生态负责人徐天天发表讲话。 针对“AI 迭代速度是否还会加快”问题,徐天天表示, 当前整个 AI 智能远远未达到上限 。 她指出,这背后有三条增长曲线:其一,预训练算力曲线;其二,后训练与推理端曲线,AI 已从快思考转变为慢思考,展现思考链路;其三,智能体设计曲线,智能体设计越来越复杂,将导致智能上限提高。这三条曲线都在增长,三者叠加, 导致 AI 迭代速度加快 。 IT之家注意到,徐天天指出,AI 智能体独自能完成的任务时长还在增长,也正在加速。这意味着, AI 从最初的“打杂”工作,转变为切入更深的工作流程中 。 相关阅读: 《 月之暗面 2.8 万亿参数 Kimi K3.1 Pro 开放权重,登顶 Agent Arena 开源模型榜 》

    推荐理由:来自IT之家 AI的《月之暗面徐天天:AI 迭代速度将继续加快》。重点看智能体工作流、模型能力与工程、开源生态。摘要提到:IT之家 11 月 12 日消息,据新浪财经报道,在今日“以发展应变局”为主题的第十七届财新峰会上,月之暗面金融行业与生态负责人徐天天发表讲话。 针对“AI 迭代速度是否还会加快”问题,徐天天表示, 当前整个 AI 智能远远未达到上限 。 她指出,这背后有三条增长曲线:其一,预训练算力曲线;其二,后训练与推理端曲线,AI 已从快思考转变为慢思考,展现思考链路;其三,智能体设计曲线,智能体设计越来越复杂,将导致智能上限提高。这三条曲线都在增长,三者叠加, 导致 AI 迭代速度加快 。 IT之家注意到,徐天天指出,AI 智能体独自能完成的任务时长还在增长,也正在加速。这意味着, AI 从最初的“打杂”工作,转变为切入更深的工作流程中 。 相关阅读: 《 月之暗面 2.8 万亿参数 Kimi K3.1 Pro 开放权重,登顶 Agent Arena 开源模型榜 》

  2. Apple Machine Learning Research80

    Theoretical Limits of Language Model Alignment

    语言模型(LM)对齐可使模型输出反映人类偏好,同时保留基础模型的能力。最常见的对齐方法包括(i)强化学习,通过在KL散度约束下最大化期望奖励,以及(ii)最佳NNNN对齐,从NNNN独立样本中选择最高奖励输出。尽管广泛使用,但KL预算下的奖励提升基础限制仍不明确。我们通过推导最大……

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

  3. Simon Willison85

    Gemini Decisions API

    Gemini Decisions API 与 Jev 和 OpenAI 在决策模型类别中联合推出,使用 'Gemini Decision 1'。该新模型API与Jev几乎相同:支持相同三种问题类型(是/否、选择、评分),甚至重用Jev的“Noul”术语。价格与GPT-6 Luna决策模型相同:10美分每百万输入令牌,输出免费。Jev仍是三者中最便宜的,价格为4.2美分每百万。Jev仅支持文本(及JSON)。OpenAI可处理文本和图像。Gemini Decision 1是全多模型:涵盖文本、图像、音频、视频和PDF。我通过向其传递这些问题及我的纽约拍打机器人视频文件,测试了它:dragon:视频中是否有龙?robot:视频中是否有机器人?france:视频是否在法国?usa:视频是否在美国?Jev和OpenAI对是/否问题返回1.0或0.0,但Gemini坚持略显不自信。

    推荐理由:请对照Simon Willison原文,核对完整说明及适用条件。

  4. Simon Willison86

    llm 0.37.2

    发布:llm 0.37.2 修复了Daniel de Araujo在GHSA-v9h7-jj4g-f862和GHSA-r639-rr7r-x72w报告的安全问题。llm现在拥有一个机制,称为extra-openai-models.yaml,该机制由新发布的0.37 llm openai端点添加命令管理,用于从其他供应商的OpenAI兼容API端点调用LLM。Daniel报告了两种可能导致其配置的OpenAI API密钥被发送到其中一个供应商的方式:如果api_key_name所指的密钥从未被存储,或者如果运行了responses: true模型并设置了-o chat_completions 1。标签:projects,security,llm,releases

    推荐理由:请对照Simon Willison原文,核对完整说明及适用条件。

11月11日周三
  1. GitHub Changelog93

    Gemini 4 Carbon in GitHub Copilot

    原文摘录(自动中文摘要暂不可用):Gemini 4 Carbon in GitHub Copilot Gemini 4 Carbon, Google’s latest model, is now generally available in GitHub Copilot. It is designed for complex coding, agentic, and reasoning tasks, with a focus on secure code generation… The post Gemini 4 Carbon in GitHub Copilot appeared first on The GitHub Blog .

    推荐理由:自动中文摘要尚未通过校验,请核对原文与完整来源。

11月10日周二
  1. GitHub Changelog90

    Claude Fable 5.2 in GitHub Copilot

    Claude Fable 5.2,Anthropic’的最新Fable模型现已在GitHub Copilot中一般可用。您可使用该模型进行复杂、多步骤的大型代码库编码任务。早期测试中,Fable… 《The GitHub Blog》首次介绍了Claude Fable 5.2在GitHub Copilot中的出现。

    推荐理由:请对照GitHub Changelog原文,核对完整说明及适用条件。

11月5日周四
11月2日周一
  1. Apple Machine Learning Research87

    Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps

    尽管前沿视觉语言模型在用户界面(UI)导航方面表现出色,但其高推理成本限制了日常使用。相反,通过监督微调(SFT)或离线强化学习训练的小型模型往往记忆静态轨迹,导致执行脆弱且无法从错误中恢复。为解决这些问题,我们提出一种新的在线强化学习框架,直接在实时运行的iOS应用程序上训练UI导航代理。我们的框架将代理解耦为两个专用组件:规划模块/...

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

10月30日周五
10月29日周四
10月28日周三
10月27日周二
  1. GitHub Changelog94

    GPT-6.1 Terra in GitHub Copilot

    GPT-6.1 Terra,OpenAI的最新模型,现已在GitHub Copilot中一般可用。它比GPT-6.1 Sol在日常代理编码和终端工作中成本更低。在GitHub Copilot中,GPT-6.1 Terra的发布首次出现在The GitHub Blog。

    推荐理由:请对照GitHub Changelog原文,核对完整说明及适用条件。

10月23日周五
10月21日周三
10月20日周二
10月17日周六
  1. Claude Code Releases86

    Claude Code Releases v2.1.302:Added CLAUDE_CODE_AUTO_MODE_MODEL to choose the model the ...

    新增了CLAUDE_CODE_AUTO_MODE_MODEL,用于客户端自动模式分类器选择模型;不改变服务器端自动模式的模型。新增了/config中的Idle compaction行,用于关闭或开启空闲压缩;退出时显示的提示信息现在说明如何关闭。新增了/设计-同步和/设计-登录的提示,说明独立Claude设计(claude.ai/design)在14年前将关闭。修复了在停止会话时因提示内容过长而出现的错误。修复了切换到Vertex或Bedrock中间会话时因额外输入被拒绝的问题。修复了读取工具加载任意大小图像文件或类似图像的管道或设备时的内存占用问题;超过128MB的图像来源现在被拒绝。修复了当网关命名如anthropic/claude-opus-4-1时,/autocompact和/effort saving错误地应用到Opus 4或4.1模型。修复了/ no_think提示缓存缺失的问题。

    推荐理由:请对照Claude Code Releases原文,核对完整说明及适用条件。

10月15日周四
  1. Apple Machine Learning Research83

    Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents

    多模态代理在执行每个动作前通常生成自由形式推理。小型模型因模型容量有限,可能导致推理过程冗长,虽能提供少量有用指导,但会带来较高的推理成本。为解决此问题,我们引入基于选择的结构化推理(SSR),该框架将推理转化为选择而非开放式生成。SSR将重复的高层推理表示为预定义、可复用的自然语言候选。在每一轮中,模型根据候选推理内容进行选择,以优化推理效率。

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

10月14日周三
  1. Apple Machine Learning Research83

    The Design Space of Tri-Modal Masked Diffusion Models

    离散扩散模型作为自回归语言模型的有力替代方案,近期工作从文本、图像-文本和音频-文本数据中零初始化并微调基础单模态模型,实现多模态生成。与以往方法不同,我们首次提出三模态掩码扩散模型(MDM),并系统分析多模态缩放规律、模态混合比例、噪声调度、批大小效应,提供优化的推理采样默认值。批大小分析得出新颖的随机微分方程(SDE)...

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

  2. GitHub Changelog94

    Gemini 4 Argon in GitHub Copilot

    Gemini 4 Argon,Google的最新前沿模型,现已在GitHub Copilot中一般可用。它专为复杂编码、代理型任务和推理设计。在早期测试中,Gemini 4 Argon出现了,其后在GitHub Copilot中首次发布于The GitHub Blog。

    推荐理由:请对照GitHub Changelog原文,核对完整说明及适用条件。

10月12日周一
  1. Apple Machine Learning Research86

    Self-Compacting Language Model Agents

    长代理轨迹由思维链和工具调用组成,积累过时内容,成为后续生成的锚点,最终超出上下文窗口。现有框架通过固定间隔压缩缓解此问题,触发条件基于令牌阈值。此类触发不关注轨迹结构,可能在推理或搜索中丢弃部分结果。我们提出SELFCOMPACT,一种框架,允许模型自身决定何时及如何压缩。具体而言,它结合两个推理元素:(i)模型调用的压缩工具,用于总结积累内容……

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

10月10日周六
  1. Claude Code Releases90

    Claude Code Releases v2.1.296:Added a code key to the Claude apps gateway's managed.poli...

    新增了对Claude应用网关的managed.policies[]的代码密钥,与CLI设置相同,也应用于Claude桌面的代码标签;除桌面外,还启用了Claude桌面的网关模式。新增了autoCompactWindow到子代理的frontmatter和--agents定义中,使子代理可在主对话窗口打开前自动压缩。新增CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL,使所有工作流代理在单一模型上运行,其他子代理保留各自模型。新增CLAUDE_CODE_OVERLOADED_RETRY_MAX_DELAY_MS环境变量,用于设置重试时的延迟上限。在插件的/plugin路径新增说明,指出当其他启用的插件有相同名称时,该插件的钩子被忽略。新增Read工具的allow_large选项,使Claude可一次读取超过常规大小限制的文本文件。修复了managed-settings PreToolUse钩子,防止工具调用时出现'continue': false的情况。

    推荐理由:请对照Claude Code Releases原文,核对完整说明及适用条件。

10月8日周四
  1. GitHub Changelog96

    Claude Haiku 5.5 in GitHub Copilot

    Claude Haiku 5.5,Anthropic’s newest lightweight model,现已在GitHub Copilot中一般可用。它专为快速高并发工作如子代理、快速编辑和终端任务设计。早期… Claude Haiku 5.5在GitHub Copilot中首次出现于The GitHub Blog。

    推荐理由:请对照GitHub Changelog原文,核对完整说明及适用条件。

  2. Claude Code Releases96

    Claude Code Releases v2.1.293:Added Claude Haiku 5.5 ( claude-haiku-5-5 ), now the defau...

    新增了Claude Haiku 5.5 (claude-haiku-5-5),现为Anthropic API默认Haiku模型,1M上下文token,$0.10/$0.50每Mtok($0.50/$2.50对于超过100K的提示),新增了agentType字段到subagentStatusLine payload,使脚本能区分自定义子代理类型。修复了Claude在上下文压缩前将自身上次操作视为已完成,导致重退或重做已完成工作。修复了HTTP MCP连接内存泄漏,持续保留所有已发送请求直到关闭。修复了在Claude工作时发送的消息丢失问题,移至后台后若消息无法移动,仍保持原状。修复了/model effort方向错误,可能误保存为低值。修复了Chrome中会话启动时Claude断开连接问题。

    推荐理由:请对照Claude Code Releases原文,核对完整说明及适用条件。

10月3日周六
10月2日周五
  1. Cloudflare AI92

    Introducing Web Search API via AI Gateway

    Cloudflare AI Gateway 现已支持与 Ceramic.ai、Exa 和 Linkup 的原生 Web 搜索 API 集成。开发者可通过 AI Gateway、REST API 或 Workers 绑定实时注入网页上下文到模型推理调用。

    推荐理由:请对照Cloudflare AI原文,核对完整说明及适用条件。

10月1日周四
  1. Apple Machine Learning Research85

    How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?

    最近自主机器学习工程(MLE)代理在公共排行榜上取得了显著进展。通常受长期周期内进展停滞和有限的大语言模型(LLM)基本功能的制约,现代MLE代理在日益复杂的系统上部署,如多智能体协调器、专用检索子代理等。尽管这些系统扩展,但使用更简单的但改进的编码代理——其中LLM直接通过读、写和bash原语访问执行环境——在该领域仍较少关注。

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。