Llama v2 70B Chat

Llama 2 70B Chat は、Meta の Llama 2 ファミリーで最大のモデルを対話向けにチューニングしたものです。Hugging Face のモデルカードによると、モデルは 2023 年 1 月から 7 月にかけて学習され、関連論文は 2023 年 7 月 18 日に公開されました。70B モデルのコンテキストは 4K トークン、事前学習データは 2.0 兆トークンです。

ステータス

後継に置き換わっています。Meta はその後 Llama 3 と Llama 3.1 を公開しており、本カタログでは Llama 3 70B Instruct と Llama 3.1 70B Instruct として掲載しています。Llama 2 のカードは Hugging Face に残り、Meta のライセンスに同意すればウェイトは今もダウンロードできます。カードに非推奨日の記載はありません。

主な機能

• 規模とコンテキスト：70B パラメータ（Hub 表示は 69B）、4K トークンのコンテキストウィンドウ。
• 対話チューニング：chat 版はアシスタント型の対話向けに調整されています。
• 英語中心：カードは Llama 2 を英語での商用・研究利用向けとし、他言語は対象外としています。
• 知識カットオフ：事前学習データは 2022 年 9 月まで、一部のチューニングデータは 2023 年 7 月まで。
• Meta 公表の結果：カードによると 70B 基盤モデルの MMLU は 68.9。安全性評価では chat 70B の TruthfulQA が 64.14、ToxiGen が 0.01 と記載されています。いずれも Meta 自身の数値です。
• ライセンス：独自の Llama 2 コミュニティライセンス。アクセスには Meta への連絡先の提供が必要です。

活用シーン

• Llama 2 70B Chat を使った 2023 年頃の研究結果の再現。
• 新しい Llama モデルの改善幅を測るときのベースライン。
• Llama 2 アーキテクチャに依存する既存のファインチューニングやツール。

制約：4K トークンのコンテキストは現代のモデルよりはるかに短く、カードは想定用途を英語に限っています。

料金プラン

ウェイトは Meta のライセンスのもとで無料配布されています。ホスト型 API の価格はプロバイダーによるため、本ページでは掲載しません。

はじめに

1. Hugging Face のカードでアクセスを申請し、Meta のライセンスに同意します。
2. マルチ GPU 環境で Transformers を使い Llama-2-70b-chat-hf のウェイトを読み込みます。
3. 新規開発は Llama 3.1 70B Instruct から始めてください。Meta の Llama 3.1 カードによると、コンテキストは 128K です。

よくある質問

コンテキスト長は？

Hugging Face カードによると 4K トークンです。

Llama 2 70B はまだ使えますか？

Meta のライセンスに同意すれば、ウェイトは今も Hugging Face で利用できます。Meta はその後、新しい Llama モデルを公開しています。

対応言語は？

カードは Llama 2 を英語での利用向けとしています。

後継は？

Meta のその後の Llama 3 と Llama 3.1（例：Llama 3.1 70B Instruct）です。

代替案

• Llama 3.1 70B Instruct：Llama 3.1 ファミリーの 70B 後継。
• Llama 3 70B Instruct：Llama 3 世代の 70B モデル。
• Mistral 7B Instruct：はるかに小さいオープンな指示モデル。

まとめ

Llama 2 70B Chat は歴史的に重要なオープン対話モデルですが、4K コンテキストと英語中心のため、新規開発には向きません。詳細はモデルカードを参照し、現行のプロジェクトでは Llama 3.1 に移行してください。