Llama 3 70B Instruct

Meta Llama 3 70B Instruct 是 Meta 首个 Llama 3 版本中经过指令微调的 70B 模型。根据 Hugging Face 模型卡，Meta 于 2024 年 4 月 18 日发布它。这是一个针对助手式对话调优的文本模型，模型卡现在注明 Llama-3.3-70B-Instruct 可作为更新的选择。Meta 的 Llama 3 发布文章介绍了 8B 和 70B 两种规模（各有预训练版和指令微调版），当时超过 400B 参数的更大模型仍在训练中。

模型规格

核心功能

• 助手式对话：模型卡称其用于英语的商业和研究用途，除非开发者自行微调，否则其他语言的使用不在适用范围内。
• 厂商基准：根据 Meta 的模型卡，指令微调的 70B 在 MMLU（5-shot）上为 82.0，GPQA（0-shot）39.5，HumanEval（0-shot）81.7，GSM-8K（8-shot，CoT）93.0，MATH（4-shot，CoT）50.4。这些是 Meta 自己 2024 年的数据。
• 发布时覆盖广泛：Meta 列出 AWS、Google Cloud、Microsoft Azure、Hugging Face 和 Databricks 等平台提供该模型。
• 开放权重：权重可在社区许可证下下载，因此可以自托管。

适用场景

• 自托管的英语对话与助手原型。
• 在知名的开放 70B 架构上做微调实验的基线。
• 复现 2024 年的基准对比。

需要注意：8k 上下文窗口以今天的标准偏短，2023 年 12 月的知识截止也意味着它缺少近期信息。Meta 的模型卡同时指向 Llama 3.3 70B Instruct 作为更新选择。

快速开始

1. 在模型卡上接受 Llama 3 社区许可证以获取访问权限。
2. 70B 规模需要多 GPU 推理，或使用提供该模型的托管服务商。
3. 用模型的聊天模板格式化提示词，上线前用自己的评测测试。
4. 启动新项目前，与更新的 Llama 版本对比。

常见问题

Llama 3 70B Instruct 是什么？

Meta 在 2024 年 4 月 18 日 Llama 3 发布中推出的指令微调 70B 模型，面向助手式对话。

上下文长度是多少？

根据模型卡为 8k token。

可以免费商用吗？

Meta 的 Llama 3 社区许可证允许商用，但月活超过 7 亿的公司需要向 Meta 申请许可。

它被什么取代了？

模型卡指向 Llama-3.3-70B-Instruct。本站收录的可参见 Llama 3.1 70B Instruct。

替代方案

• Llama 3.1 70B Instruct：本站收录的较新的 70B Llama。
• Llama 3 8B Instruct：适合较小硬件的 8B 同系模型。
• Llama 3.1 405B Instruct：Meta 最大的 Llama 3.1 模型。
• Mistral Small：Mistral 的较小开放权重替代品。

总结

Llama 3 70B Instruct 是 2024 年开放权重模型的里程碑，目前仍可在 Meta 许可证下自托管。新项目请与模型卡指向的更新 Llama 版本对比。请从 Llama 官网开始，更多内容见模型分类。