mini-AGI

mini-AGI は Alexey Borsky（GitHub では volotat）による研究プロジェクトで、狭いが影響の大きい問いを 1 つ立てています。言語モデルは、コンシューマー向けの GPU 1 枚で、単一のデータストリームから学び続けながら、既に知っていることを壊滅的に忘れずにいられるのか、という問いです。第一者リポジトリ は 2026-09-19 に作成され、2026-09-22 時点の GitHub では 305 stars、22 forks でした。ライセンスは MIT で、README は現状が実務向けではなくおもちゃレベルのモデルだと率直に述べています。

実際に何なのか

バッチサイズ 1、VRAM 8GB 以上の GPU でゼロから学習するバイトレベルの言語モデルです。実行中の規模は約 530M パラメータで、なお増加中と報告されていますが、パラメータ数が本質的な数字ではありません。エキスパートはディスク上の通常のファイルとして保存され、必要に応じて GPU にページングされます。つまり容量の上限は VRAM ではなく空きディスク容量で決まります。容量が足りなくなれば学習中に新しいエキスパートを増やし、誰も呼ばなくなったものを剪定し、推論は学習とまったく同じコードパスを通ります。

アーキテクチャの仕組み

文字は固定の層スタックを通りません。2 つの密なプレリュードブロックを通り、その後 1 つのリカレントブロックを最大 24 回適用し、各適用が共有プールから自分のエキスパートを選びます。適用間の潜在状態は入力埋め込みと統合されるため、ループが読んでいるテキストから離れることはありません。

• 適応的深さ。 ハルティングヘッドが各行で各文字を採点し、もう 1 行進めても答えが変わらない時点で文字は停止します。README の実測では読み取り時が平均約 8.0 行、生成時が約 9.9 行です。
• 文字単位ではなく適用単位のルーティング。 最大 26 回のブロック適用がそれぞれ top-8 のエキスパートを選ぶため、1 文字が触れるプールの範囲は「top-8」という語感よりはるかに広くなります。
• ラベルのないエキスパート。 どのエキスパートにどの分野を割り当てる指示は存在せず、soft top-k ルーティングが能力を自力で分散させます。代償は、能力がパラメータを共有するため干渉しうることです。

忘却に関する結論

設計全体が依拠する測定は、学習率の分離です。チェスの 524,000 文字を、トランクとエキスパートが同じ学習率で読むと、読んでいない 7 分野が 1.12 nats から 3.73 nats へ悪化します。トランクをエキスパートの 0.1 倍にすると、その忘却は +0.0067 nats まで下がり、プロジェクトはチャンス比で進捗の 99.84% を保持したと報告しています。さらに 2 つの知見が重要です。ワーキングセットの凍結は忘却を防ぐ原因ではなく、損傷は破壊というより「置換」に近く、131,000 文字を読み直すと 4 分の 3 が戻ります。

動かし方

リポジトリを clone し、Python の依存関係を入れ、config.yaml と train.py で学習を始め、serve.py でモデルと対話します。corpora/ のコーパスビルダーが、コード、算術、チェス棋譜、チャット、推論データからストリームを組み立てます。リポジトリの README には、ページングの規則、成長のブレーキ条件（room、used、earning、fits、honest）、そして「エキスパートが死んだ」と判定する基準はゲート値の小ささではなく誰も呼ばないことだという剪定規則が書かれています。

制約とリスク

• 重みはまだ未公開。 README によれば、現在の実行はコーパスの 1 周目を読んでいる途中で、重みは約 2 週間後に公開されます。
• 出力はおもちゃレベル。 プロジェクト自身のサンプルは短く、文法は正しいものの繰り返しが目立ちます。
• 読み込みではなく学習。 ダウンロードできるチェックポイントはなく、入口は自分のマシンで走らせる学習ジョブです。
• ベンチマークは 1 系統のみ。 主張は著者自身のコーパス上の検証に基づき、標準的な評価スイートによるものではありません。

よくある質問

モデルをダウンロードできますか？

まだできません。コードは MIT ライセンスで公開されていますが、2026-09-22 時点で学習済みの重みは未公開でした。

必要なハードウェアは？

README は VRAM 8GB 以上の GPU を載せたデスクトップまたはノート PC を想定しており、設計上あえて VRAM をディスク容量で置き換えています。

フロンティアモデルと比べられますか？

比べられません。README もそう明言しています。貢献は継続学習の仕組みであり、出力品質ではありません。

代替案

• Bespoke Nimble：同じく小型でセルフホスト可能ですが、継続学習ではなく構造化された判断のために学習されています。
• LFM2.5 2.6B：今日から実務に使えるオープンウェイトの小型モデル。
• LongCat 2.0：長文脈の挙動を比較するための、はるかに大規模なオープンモデル。

まとめ

mini-AGI を読む価値は、難しい問題を 1 つに絞り、それを解く鍵となる測定を、ほぼ誰もが持つハードウェアで示している点にあります。道具ではなく再現可能なレシピを持つ実験として扱ってください。コードのライセンスは寛容で、重みはこれから届き、出力品質は論点ではありません。