Llama 3 8B Instruct

Llama 3 8B Instruct は、Meta の最初の Llama 3 リリースに含まれる80億パラメータの指示チューニング済みモデルで、Hugging Face のモデルカードの日付は2024年4月18日です。Grouped-Query Attention を使う自己回帰型の Transformer で、アシスタント型のチャット向けに教師あり微調整と人間のフィードバックによる強化学習で調整されています。Meta のモデルカードは、新しいバージョンとして Llama 3.1 8B Instruct があると記しています。

主な機能

• 学習規模：15兆トークンを超える公開データで事前学習され、8B モデルの知識のカットオフは2023年3月です。
• 指示チューニング：公開の指示データセットと、1,000万件を超える人手アノテーション例で微調整されています。Meta は、事前学習・微調整のいずれのデータにも Meta ユーザーのデータは含まれないとしています。
• コンテキスト：8Kトークンのコンテキストウィンドウ。
• 安全対策：Meta はレッドチーミングと、不要な拒否を減らす調整を行ったとし、展開時には Llama Guard などの安全ツールの利用を推奨しています。
• Meta 報告の結果：モデルカードによると、指示チューニング済み8B モデルは MMLU 68.4（5-shot）、GPQA 34.2、HumanEval 62.2、GSM-8K 79.6、MATH 30.0 です。これらは Meta 自身の数値です。

モデル仕様

活用シーン

• モデルカードの主要言語である英語でのローカル／自前ホストのアシスタントチャット。ライセンスと利用規定を守れば、他の言語向けに微調整することもできます。
• 8B 規模でのファインチューニングの実験と研究のベースライン。
• Llama 3 を前提に構築され、安定した参照が必要なレガシー環境。

クイックスタート

1. モデルカードで Meta Llama 3 コミュニティライセンスに同意する。
2. Hugging Face Transformers で読み込む、オリジナルの llama3 コードベースを使う、または llama.cpp 互換の量子化版を使う。
3. 本番利用の前に Llama Guard など同様の安全ツールを追加する。
4. 新規作業ではまず Llama 3.1 8B Instruct を評価する。モデルカード自体が新しいバージョンとしてこれを案内しています。

よくある質問

Llama 3 8B Instruct のコンテキスト長は？

Meta のモデルカードによると8Kトークンです。

Llama 3 8B Instruct はいつ公開されましたか？

2024年4月18日です。

ライセンスは？

独自の Meta Llama 3 コミュニティライセンスで、アクセス前に Hugging Face の情報の共有に同意する必要があります。

新しいバージョンは？

Meta のモデルカードは Llama 3.1 8B Instruct を案内しており、本サイトでは Llama 3.1 8B Instruct にエントリがあります。

代替ツール

• Llama 3.1 8B Instruct：このモデルの新しいバージョン。
• Llama 3 70B Instruct：より大きな Llama 3 モデルで、知識のカットオフは2023年12月。
• Llama Guard 3：Llama の展開向けの Meta の安全分類器。

まとめ

Llama 3 8B Instruct は、コンパクトで広く展開されているオープンウェイトのチャットモデルで、手軽なベースラインにもなります。ライセンス条件と使い方は公式モデルカードを、新しい選択肢はモデルカテゴリをご覧ください。