OpenChat 3.5 7B

OpenChat 3.5 7B は OpenChat プロジェクトのオープンな対話モデルです。このエントリがリンクするバージョンは、Hugging Face の openchat/openchat-3.5-0106 です。カードによると、Mistral-7B-v0.1 をベースに 7B パラメータ、コンテキスト長 8,192 トークン、Apache-2.0 ライセンスです。OpenChat の手法は論文 OpenChat: Advancing Open-source Language Models with Mixed-Quality Data（2023 年 9 月 20 日付）に記載されています。

ステータス

Hugging Face でオープンウェイトとして提供されています。カードに非推奨や後継の告知はありません。2024 年頃の小型 7B モデルのため、同規模の新しいオープンモデルのほうが高性能な可能性が高いです。本カタログの Meta Llama 3.1 8B Instruct と Mistral 7B Instruct も確認してください。

主な機能

• Mistral-7B-v0.1 ベースの 7B：小型でコンシューマー GPU でも動作し、カードは 24 GB の GPU で動かせるとしています。
• 8,192 トークンのコンテキスト。
• ベンダー公表のベンチマーク（0106 版）：平均 64.5、MT-Bench 7.8、HumanEval 71.3、MMLU 65.8、GSM8K 77.4、TruthfulQA 61.0。カードは OpenChat-3.5-1210（平均 63.8）、OpenChat-3.5（61.6）、ChatGPT（March）（61.5）とも比較しています。作者は、これらを自分たちの評価と報告結果だとしています。
• 2 つのモード：デフォルトのプロンプト形式（GPT4 Correct User: ... <|end_of_turn|>GPT4 Correct Assistant:）と数学モード（Math Correct User: ...）。<|end_of_turn|> を生成終了トークンに設定します。
• OpenAI 互換サーバー：プロジェクト独自のサーバーは OpenAI ChatCompletion API に準拠します。
• ライセンス：Apache 2.0。

活用シーン

• 軽量なセルフホスト型チャットアシスタントや試作。
• 小型オープン対話モデルでの学習や実験。
• 新しい 7B モデルと比べるためのベースライン。

制約：小型モデルで、ベンチマークの数値は独立した監査ではなく作者によるものです。

料金プラン

ウェイトは Apache 2.0 で無料です。費用は自前の GPU 時間か、このモデルを提供する外部ホストの料金です。

はじめに

1. Hugging Face カードを開きます。
2. プロジェクト独自の OpenAI 互換サーバーで配信します：python -m ochat.serving.openai_api_server --model openchat/openchat-3.5-0106 --engine-use-ray --worker-use-ray。localhost:18888 で待ち受けます。
3. リクエストではモデル名 openchat_3.5 を使います。数学モードでは "condition": "Math Correct" を追加します。

よくある質問

OpenChat 3.5 のベースは？

Hugging Face カードによると Mistral-7B-v0.1 です。

コンテキスト長は？

8,192 トークンです。

商用利用できますか？

カードのライセンスは Apache-2.0 です。

報告されている MT-Bench のスコアは？

OpenChat-3.5-0106 で 7.8（作者の報告）です。

代替案

• Llama 3.1 8B Instruct：128K コンテキストの Meta の小型指示モデル。
• Mistral 7B Instruct：同系ベースを Mistral 自身が指示チューニングしたモデル。
• WizardLM-2 7B：同じく Mistral-7B-v0.1 をベースにしたオープンな 7B 対話モデル。

まとめ

OpenChat 3.5 7B は、混合品質データでの微調整で 7B のオープンモデルがどこまで伸びるかを示しました。今もセルフホストしやすい小型モデルですが、新しい 7B・8B モデルと自分のタスクで比較してください。詳細はモデルカードにあります。