Mistral Nemo Inferor 12B

Mistral Nemo Inferor 12B は、Hugging Face では Infermatic/MN-12B-Inferor-v0.0 として公開されているコミュニティモデルで、Mistral AI の公式リリースではありません。モデルカードによると Infermatic AI によるもので、作者は「初めてのマージ」と述べています。名前が系譜を示すとおり、Mistral アーキテクチャの 12B テキスト生成モデルで、Mistral の Nemo 12B から派生したモデルを統合して作られています。

作り方

モデルカードによると、このモデルは mergekit の Model Stock 手法で作られ、ベースは anthracite-org/magnum-v4-12b で、さらに次の 3 つのモデルが統合されています。

モデル仕様

モデルカードにはベンチマーク結果や想定用途の記載がなく、推奨のサンプリング設定はリンク先の外部記事にあります。ライセンスの記載がないため、商用利用の前に統合元モデルのライセンスを確認してください。

主な機能

• 4 つの 12B モデルの統合：Nemo 12B の微調整モデルのうち、Magnum v4、Gutenberg Doppel、Starcannon、Sunrose の系統を組み合わせています。
• 1 枚の GPU で扱える規模：BF16 の 12B パラメータはワークステーション級のハードウェアに収まり、量子化版は一般的なローカルアプリで動きます。
• ホスト型の選択肢：モデルカードは推論プロバイダーとして Featherless AI を挙げています。

活用シーン

• コミュニティ製 Nemo 派生をもとにした 12B モデルのローカル実験。
• Model Stock などのマージ手法を比較する際の参照。
• 小さなコミュニティ製マージを試したい趣味のチャットや創作の用途。

留意点として、v0.0 のコミュニティ製マージで、評価の公開もライセンスの記載もベンダーのサポートもないため、本番用途には向きません。

はじめに

1. モデルカードと、統合された 4 つの元モデルのページを読みます。
2. ランタイムを選びます。BF16 の重みには Transformers か vLLM、ローカル利用には llama.cpp、Ollama、LM Studio の量子化版です。
3. モデルカードに設定が載っていないため、自分のプロンプトとサンプリング設定で試します。

よくある質問

Mistral Nemo Inferor 12B は誰が作りましたか？

Hugging Face のモデルカードによると Infermatic AI です。Mistral AI の公式モデルではありません。

どのように作られましたか？

mergekit の Model Stock 手法で、magnum-v4-12b をベースにモデルを統合しました。

コンテキスト長とライセンスは？

モデルカードにはどちらも記載がありません。

量子化版はありますか？

はい。モデルカードは Hub に 2 つの量子化版を掲載しています。

代替案

• Mistral Nemo：Mistral 自身の 12B Nemo モデル。
• Rocinante 12B：物語創作向けの別の 12B コミュニティ微調整モデル。
• Mistral Small：Mistral の小型モデルライン。
• Mistral Large 4：Mistral の大型マルチモーダルモデル。

まとめ

Mistral Nemo Inferor 12B は実験に向く小さなコミュニティ製マージで、一次情報は限られています。使う前にモデルカードと元モデルのライセンスを読み、他はモデルカテゴリをご覧ください。