WizardLM-2 7B
WizardLM-2 7B は、Microsoft AI の WizardLM チームによる WizardLM-2 ファミリーで最小のモデルで、2024 年 4 月 15 日に WizardLM-2 8x22B・70B と共に発表されました。このエントリがリンクするのは、元のモデルカードをサードパーティが再アップロードした lucyknada/microsoft_WizardLM-2-7B です。カードは Mistral-7B-v0.1 をベースにした多言語の対話モデルで、7B パラメータ(BF16)、Apache 2.0 ライセンスと説明しています。
ステータスと出所
再アップロード側のカードには、このコピーが存在する理由の記載がありません。確認時、Hugging Face の公式 microsoft/WizardLM-2-7B ページは認可エラー(HTTP 401)を返し、一次情報のカードは読めませんでした。ウェイトはサードパーティのコピーとして扱い、ファイルと出所を自分で確認してください。カードに非推奨の告知や後継の記載はありません。本カタログにあるより大きな同系列モデルは WizardLM-2 8x22B です。
主な機能
- Mistral-7B-v0.1 ベース:控えめなハードウェアで動く小型のオープンモデル。
- ベンダーの主張:カードは「WizardLM-2 7B は最速で、10 倍大きい既存のオープンソース主要モデルと同等の性能を達成する」と述べています。
- 人間の選好結果:カードによると、WizardLM-2 7B は Qwen1.5-32B-Chat と同等で、Qwen1.5-14B-Chat と Starling-LM-7B-beta を上回ります。MT-Bench の結果は画像のグラフのみのため、本ページでは具体的なスコアを引用しません。
- Vicuna 形式のプロンプト:マルチターンで、「A chat between a curious user and an artificial intelligence assistant,」で始まり、
USER: ... ASSISTANT: ...</s>のターンが続きます。 - ライセンス:Apache 2.0。
カードにコンテキスト長の記載はありません。
活用シーン
- 小型のセルフホスト型チャットアシスタントや実験。
- 2024 年の 7B 指示モデルと新しいモデルの比較。
- Vicuna 形式のマルチターンテンプレートの学習用途。
制約:性能の主張は作者自身によるもので、2024 年公開の 7B モデルです。
料金プラン
ウェイトは Apache 2.0 で無料です。費用は自前の計算資源か外部ホストの料金で、本ページでは掲載しません。
はじめに
- カードを読み、ライセンスとファイルを確認します。
- Transformers か互換サーバーでウェイトを読み込みます。
- カードの Vicuna 形式テンプレートで会話を整形します。
よくある質問
誰が作りましたか?
カードによると、Microsoft AI の WizardLM チームです。
ベースモデルは?
Mistral-7B-v0.1 です。
リンク先のカードは公式ですか?
いいえ。サードパーティの再アップロードで、確認時に Microsoft の公式ページは読めませんでした。
コンテキスト長は?
カードに記載がありません。
代替案
- WizardLM-2 8x22B:より大きな WizardLM-2 の同系列モデル。
- Mistral 7B Instruct:同系ベースの Mistral 公式の指示モデル。
- OpenChat 3.5 7B:別の Mistral-7B ベースのオープン対話モデル。
まとめ
WizardLM-2 7B は Microsoft の WizardLM チームによる小型の Mistral ベース対話モデルで、現在はサードパーティのコピー経由で入手できます。使う前に出所を確認し、新規開発では新しい小型オープンモデルと比較してください。
コメント
まだコメントがありません。最初のコメントを投稿してください!