Mistral: Mistral 7B Instruct
Mistral 7B Instruct は Mistral 7B の指示チューニング版です。Mistral 7B は Mistral AI が 2023 年 9 月 27 日に発表した 73 億パラメータのモデルで、Apache 2.0 ライセンスです。Mistral は指示モデルを 3 つのバージョンで公開しており、v0.3 のモデルカードは Mistral-7B-v0.3 の指示ファインチューンと説明しています。Mistral のホスト API ではこのモデルは終了しています。非推奨モデルの表は Mistral 7B(open-mistral-7b)の 3 バージョンすべてを 2024/11/30 に非推奨、2025/3/30 に終了とし、置き換え先は Ministral 3 8B です。オープンウェイトは Hugging Face に残っています。Mistral の現行モデル一覧は mistral.ai/models にあります。
主な機能
- 効率的なアーキテクチャ:Mistral の発表によると、推論を速くするグループクエリアテンションと、各層が直前の 4,096 の隠れ状態に注目するスライディングウィンドウアテンションを使います。
- ベンダーによる比較:Mistral は、ベースモデルがテストしたすべてのベンチマークで Llama 2 13B を上回り、MMLU では 3 倍以上のサイズの Llama 2 モデルに相当すると述べました。これは 2023 年のベンダー自身の主張です。
- v0.3 の変更点:v0.2 と比べ、語彙が 32,768 トークンに拡張され、v3 トークナイザーと関数呼び出しに対応するとカードに記載されています。
- ライセンス:Apache-2.0。ライセンス本文以外の利用制限はありません。
使用シナリオ
- 控えめなハードウェアでのローカルやオンデバイスのチャットとテキスト生成。
- オープンモデルでのファインチューニングや関数呼び出しの実験の土台。
- 後の Mistral の小型モデルの系譜を理解する。
制約:2023 年世代のモデルで、カードにコンテキスト長の記載はなく、ホスト API 版は終了しているため、重みを自分で運用する必要があります。
料金プラン
重みは Apache 2.0 の下で無料です。ホスト版の open-mistral-7b エンドポイントは 2025 年 3 月 30 日に終了したため、現行の公式 API 価格はありません。ホスト型の選択肢は Mistral Small を参照してください。
はじめに
- Hugging Face から
mistralai/Mistral-7B-Instruct-v0.3をダウンロードする。 - 関数呼び出しには Transformers 4.42.0 以降を使う。ツール呼び出し ID はちょうど 9 文字の英数字にする必要があります。
- ホスト利用なら、Mistral の現行モデルから選ぶ。
よくある質問
Mistral 7B Instruct はまだ使えますか?
重みは Apache 2.0 で Hugging Face にありますが、Mistral 自身の API は 7B モデルを 2025/3/30 に終了しました。
API では Mistral 7B の後継は何ですか?
Mistral の表は、3 バージョンすべての置き換え先として Ministral 3 8B を挙げています。
Mistral 7B Instruct はオープンソースですか?
はい、Apache 2.0 ライセンスです。
以前の Mistral Tiny とは何でしたか?
Mistral Tiny は同じ 7B モデルの API 上の名前でした。Mistral Tiny を参照してください。
代替案
- Mistral Tiny:7B モデルの旧 API エイリアス。
- Mistral Small:Mistral のより大きな小型モデル。
- Mistral Nemo:NVIDIA と作った 12B モデル。
まとめ
Mistral 7B Instruct は影響力のある小型のオープンモデルで、ダウンロードした重みは今も使えますが、API モデルは終了しています。ほかのモデルはモデルカテゴリをご覧ください。
出典
- ウェブサイトhttps://mistral.ai/models
- ソーシャルメディアhttps://x.com/MistralAI
コメント
まだコメントがありません。最初のコメントを投稿してください!