产品更新
Ai2 发布 Olmo-core 3 开放 MoE 训练基础设施
事件时间 1 个独立来源编辑评分 67/100本站发布
先了解这件事
Ai2 发布 Olmo-core 3，重新设计开放的混合专家训练系统，通过专家并行、流水线并行和分布式优化器扩展训练规模。官方展示了万亿参数级系统测试，明确说明随机路由测试衡量系统性能而非模型质量。
变化是什么
训练系统从早期基于 FSDP 的实现转向基于 DDP 的方案，让专家驻留 GPU 并向其路由数据。
对你意味着什么
研究人员可使用开放训练栈，研究路由和并行策略；系统测试不能当作已发布模型的能力成绩。
官方文章链接到技术报告、代码和并行策略交互演示，可先阅读报告中的实验配置与未采用方案。
本文不把系统容量测试描述成完成训练的模型发布。更大规模的短容量测试也不代表持续训练性能。事件时间仅使用文章的 10 月 1 日日期。