百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B
IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。 这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。 本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。 官方表示，Base 模型只是起点。 经过后训练的 ERNIE 5.5 Flash 将随后推出 。 ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练，采用 Muon 优化器与 FP8 混合精度。预训练语料覆盖广泛的领域与语言，并重点建设了三个方向： 网页数据 ：多语言网页抓取、高保真文本抽取与模型驱动的多维质量过滤。 代码数据 ：仓库与网页代码经非代码过滤...
来自IT之家 AI的《百度文心开源发布 ERNIE 5.5 Flash Base 高效基座模型，总参数 280B》。重点看模型能力与工程、开源生态、产品发布。摘要提到：IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。 这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。 本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。 官方表示，Base 模型只是起点。 经过后训练的 ERNIE 5.5 Flash 将随后推出 。 ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练，采用 Muon 优化器与 FP8 混合精度。预训练语料覆盖广泛的领域与语言，并重点建设了三个方向： 网页数据 ：多语言网页抓取、高保真文本抽取与模型驱动的多维质量过滤。 代码数据 ：仓库与网页代码经非代码过滤...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：IT之家 AI · ithome.com