NVIDIA: Llama 3.1 Nemotron 70B Instruct

Llama 3.1 Nemotron 70B Instruct は、NVIDIA が Meta の Llama-3.1-70B-Instruct をカスタマイズし、応答の有用性を高めた70B クラスの言語モデルです。Hugging Face のモデルカードによると、NVIDIA は NeMo Aligner に実装された REINFORCE による RLHF で訓練し、Llama-3.1-Nemotron-70B-Reward 報酬モデルと HelpSteer2-Preference のプロンプトを使用しました。モデルカードには「Built with Llama」と記され、ライセンスは NVIDIA Open Model License に Llama 3.1 コミュニティライセンス契約が添えられています。

主な機能

• 有用性のチューニング：モデルカードは、汎用領域での指示追従と有用性を目指しており、数学などの専門領域向けには調整されていないとしています。
• 長い入力：入力は最大128Kトークン、出力は最大4Kトークンです。
• NVIDIA 報告の結果：2024年10月1日時点で、モデルカードは Arena Hard 85.0、AlpacaEval 2 LC 57.6、MT-Bench（GPT-4-Turbo）8.98を報告しています。いずれも NVIDIA 自身の評価です。
• オープンな提供方法：モデルカードは Hugging Face Transformers、vLLM、SGLang を挙げ、build.nvidia.com でのホスト型推論も案内しています。

モデル仕様

活用シーン

• 有用で構造の整った回答が重要な汎用チャットアシスタント。
• RLHF や報酬モデルによるアライメントの研究。
• NVIDIA GPU 上での自前ホスト。

クイックスタート

1. モデルカードでライセンス条件を確認する。
2. ハードウェアを計画する。NVIDIA は A100 80GB GPU 2枚でテストしたとし、80GB の NVIDIA Ampere 以降の GPU を2枚以上、空きディスク150GB 以上を推奨しています。
3. bfloat16 で device_map="auto" とチャットテンプレートを使って読み込むか、vLLM や SGLang で提供する。
4. ハードウェアなしで試すには、build.nvidia.com の無料ホスト型エンドポイントを使う。

よくある質問

Llama 3.1 Nemotron 70B Instruct は何をベースにしていますか？

Meta の Llama-3.1-70B-Instruct を、NVIDIA が RLHF で微調整したものです。

ベンチマークのスコアは？

NVIDIA は2024年10月1日時点で、Arena Hard 85.0、AlpacaEval 2 LC 57.6、MT-Bench 8.98を報告しています。

数学は得意ですか？

モデルカードは、数学などの専門領域向けには調整されていないとしています。

ライセンスは？

NVIDIA Open Model License で、補足情報として Llama 3.1 コミュニティライセンス契約が添えられています。

代替ツール

• Llama 3.1 70B Instruct：調整のベースとなったモデル。
• Qwen2.5 72B Instruct：もう1つのオープンな70B クラスのチャットモデル。
• Nous Hermes 3 405B Instruct：より大きな Llama 3.1 派生モデル。

まとめ

Llama 3.1 Nemotron 70B Instruct は、報酬モデルで導く RLHF が強力なオープンベースモデルをどう引き上げられるかを示しています。詳細は公式モデルカードを、新しい選択肢はモデルカテゴリをご覧ください。