製品アップデート
Ai2、MoE学習基盤Olmo-core 3を公開
出来事の日時 独立した情報源 1 件編集評価 67/100当サイト更新
まず要点
Ai2はMoE学習基盤Olmo-core 3を公開し、専門家並列、パイプライン並列、分散オプティマイザーを組み合わせました。兆パラメーター規模のシステム試験を示し、ランダムルーティングの測定はモデル品質ではなくシステム性能と明記しています。
何が変わったか
従来のFSDP実装からDDP方式に移行し、専門家をGPUに保持してデータをルーティングします。
あなたにとっての意味
研究者は公開スタックでルーティングや並列方式を検討できます。システム測定を公開モデルの能力評価と混同できません。
公式記事は技術報告、コード、並列方式の対話的解説へリンクしています。まず実験条件と採用しなかった方式を確認できます。
容量試験を学習済みモデルの公開とは扱いません。大規模な短時間容量試験も持続的な学習性能を示すものではありません。イベントは記事の10月1日という日付精度です。