NVIDIA: Llama 3.1 Nemotron 70B Instruct

Llama 3.1 Nemotron 70B Instruct 是 NVIDIA 基于 Meta 的 Llama-3.1-70B-Instruct 定制的 70B 级语言模型，目的是提升回答的有用性。根据其 Hugging Face 模型卡，NVIDIA 使用 RLHF 训练，具体是 NeMo Aligner 中实现的 REINFORCE，并使用 Llama-3.1-Nemotron-70B-Reward 奖励模型和 HelpSteer2-Preference 提示词。模型卡标注"Built with Llama"，许可证为 NVIDIA Open Model License，并附 Llama 3.1 社区许可协议。

核心功能

• 有用性调优：模型卡称该模型面向通用领域的指令跟随与有用性，尚未针对数学等专门领域调优。
• 长输入：输入最长 128K token，输出最长 4K token。
• NVIDIA 自报成绩：截至 2024 年 10 月 1 日，模型卡报告 Arena Hard 85.0、AlpacaEval 2 LC 57.6、MT-Bench（GPT-4-Turbo）8.98。这些都是 NVIDIA 自己的评测。
• 开放的部署方式：模型卡列出 Hugging Face Transformers、vLLM 和 SGLang，并提供 build.nvidia.com 上的托管推理。

模型规格

适用场景

• 需要有用、结构清晰回答的通用聊天助手。
• RLHF 与奖励模型引导对齐的研究。
• 在 NVIDIA GPU 上自托管部署。

快速开始

1. 在模型卡上查看许可条款。
2. 规划硬件：NVIDIA 称在 2 块 A100 80GB GPU 上测试过，建议使用两块或更多 80GB 的 NVIDIA Ampere 及以上 GPU，并至少有 150GB 空闲磁盘。
3. 以 bfloat16 加载，设置 device_map="auto" 并使用聊天模板，或用 vLLM、SGLang 部署。
4. 想不用硬件先试用，可使用 build.nvidia.com 上的免费托管端点。

常见问题

Llama 3.1 Nemotron 70B Instruct 基于什么模型？

Meta 的 Llama-3.1-70B-Instruct，由 NVIDIA 用 RLHF 微调。

它的基准成绩是多少？

NVIDIA 报告截至 2024 年 10 月 1 日，Arena Hard 85.0、AlpacaEval 2 LC 57.6、MT-Bench 8.98。

它擅长数学吗？

模型卡称它尚未针对数学等专门领域调优。

使用什么许可证？

NVIDIA Open Model License，并附 Llama 3.1 社区许可协议作为补充信息。

替代方案

• Llama 3.1 70B Instruct：它所基于的基座模型。
• Qwen2.5 72B Instruct：另一个开放的 70B 级聊天模型。
• Nous Hermes 3 405B Instruct：更大的 Llama 3.1 衍生模型。

总结

Llama 3.1 Nemotron 70B Instruct 展示了奖励模型引导的 RLHF 如何提升强大的开放基座模型。详情请阅读官方模型卡，更新的选择见模型分类。