WizardLM-2 7B logo

WizardLM-2 7B

開く

WizardLM-2 7B は Microsoft の WizardLM チームが Mistral-7B-v0.1 から微調整した対話モデル。Apache 2.0 で、2024 年 4 月 15 日に 8x22B・70B と共に発表されました。

共有:
代替ツールを見る

WizardLM-2 7B

WizardLM-2 7B は、Microsoft AI の WizardLM チームによる WizardLM-2 ファミリーで最小のモデルで、2024 年 4 月 15 日に WizardLM-2 8x22B・70B と共に発表されました。このエントリがリンクするのは、元のモデルカードをサードパーティが再アップロードした lucyknada/microsoft_WizardLM-2-7B です。カードは Mistral-7B-v0.1 をベースにした多言語の対話モデルで、7B パラメータ(BF16)、Apache 2.0 ライセンスと説明しています。

ステータスと出所

再アップロード側のカードには、このコピーが存在する理由の記載がありません。確認時、Hugging Face の公式 microsoft/WizardLM-2-7B ページは認可エラー(HTTP 401)を返し、一次情報のカードは読めませんでした。ウェイトはサードパーティのコピーとして扱い、ファイルと出所を自分で確認してください。カードに非推奨の告知や後継の記載はありません。本カタログにあるより大きな同系列モデルは WizardLM-2 8x22B です。

主な機能

  • Mistral-7B-v0.1 ベース:控えめなハードウェアで動く小型のオープンモデル。
  • ベンダーの主張:カードは「WizardLM-2 7B は最速で、10 倍大きい既存のオープンソース主要モデルと同等の性能を達成する」と述べています。
  • 人間の選好結果:カードによると、WizardLM-2 7B は Qwen1.5-32B-Chat と同等で、Qwen1.5-14B-Chat と Starling-LM-7B-beta を上回ります。MT-Bench の結果は画像のグラフのみのため、本ページでは具体的なスコアを引用しません。
  • Vicuna 形式のプロンプト:マルチターンで、「A chat between a curious user and an artificial intelligence assistant,」で始まり、USER: ... ASSISTANT: ...</s> のターンが続きます。
  • ライセンス:Apache 2.0。

カードにコンテキスト長の記載はありません。

活用シーン

  • 小型のセルフホスト型チャットアシスタントや実験。
  • 2024 年の 7B 指示モデルと新しいモデルの比較。
  • Vicuna 形式のマルチターンテンプレートの学習用途。

制約:性能の主張は作者自身によるもので、2024 年公開の 7B モデルです。

料金プラン

ウェイトは Apache 2.0 で無料です。費用は自前の計算資源か外部ホストの料金で、本ページでは掲載しません。

はじめに

  1. カードを読み、ライセンスとファイルを確認します。
  2. Transformers か互換サーバーでウェイトを読み込みます。
  3. カードの Vicuna 形式テンプレートで会話を整形します。

よくある質問

誰が作りましたか?

カードによると、Microsoft AI の WizardLM チームです。

ベースモデルは?

Mistral-7B-v0.1 です。

リンク先のカードは公式ですか?

いいえ。サードパーティの再アップロードで、確認時に Microsoft の公式ページは読めませんでした。

コンテキスト長は?

カードに記載がありません。

代替案

まとめ

WizardLM-2 7B は Microsoft の WizardLM チームによる小型の Mistral ベース対話モデルで、現在はサードパーティのコピー経由で入手できます。使う前に出所を確認し、新規開発では新しい小型オープンモデルと比較してください。

コメント

まだコメントがありません。最初のコメントを投稿してください!