Llama 3.1 70B Instruct

Llama 3.1 70B Instruct 是 Meta Llama 3.1 系列中经指令微调的 70B 模型，于 2024 年 7 月 23 日发布。其 Hugging Face 模型卡列出 128K 上下文长度（采用分组查询注意力）、约 15 万亿 token 的公开预训练数据，以及 2023 年 12 月的知识截止时间。它面向多语言助手式对话，也可用于生成合成数据和支持蒸馏。权重采用 Llama 3.1 社区许可证，其中包含可接受使用政策。

核心功能

• 128K 上下文，70B 稠密模型，据模型卡。
• 语言：官方支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语；训练语料更广，许可证允许针对其他语言微调。
• 工具调用：通过聊天模板支持多种工具调用格式；Meta 报告 API-Bank 90.0、BFCL 84.8。
• Meta 报告的指令模型基准：MMLU 83.6、MMLU-Pro 66.4、IFEval 87.5、HumanEval 80.5、GSM-8K 95.1、MATH 68.0、MGSM 86.9。这些是厂商数据。
• 微调数据：公开指令数据集，加上超过 2500 万条合成样本。

适用场景

• 多语言助手和聊天应用。
• 合成数据生成，以及蒸馏到更小的模型，这是模型卡列出的受支持用途。
• 在自托管基础设施上运行的工具调用智能体。

价格与可用性

接受 Llama 3.1 社区许可证后，可从 Hugging Face 下载权重。Meta 的模型卡未列出 API 价格；托管费用取决于所选服务商，自托管需要足够容纳 70B 参数（BF16 权重）的显存。2026-10-29 核对模型卡时未发现弃用通知。违反许可证或可接受使用政策的用途不在支持范围内。

快速开始

1. 在 Hugging Face 仓库申请访问并接受许可证。
2. 用 Transformers 或 vLLM 等推理框架加载，并应用模型的聊天模板。
3. 做工具调用时，按模型卡说明通过聊天模板传入工具定义。
4. 投入使用前，用自己的任务与更新的开放模型做对比。

常见问题

Llama 3.1 70B Instruct 的上下文长度是多少？

据 Meta 模型卡为 128K token。

官方支持哪些语言？

英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

知识截止时间？

据模型卡为 2023 年 12 月。

可以商用吗？

Llama 3.1 社区许可证允许商用和研究使用，但须遵守其条款和可接受使用政策，部署前请阅读许可证。

更小或更大的 Llama 3.1 模型呢？

见 Llama 3.1 8B Instruct 和 Llama 3.1 405B Instruct。

替代方案

• Llama 3.1 8B Instruct：适合普通硬件的小尺寸同系列模型。
• Llama 3.1 405B Instruct：该系列中最大的模型。
• NVIDIA Llama 3.1 Nemotron 70B Instruct：NVIDIA 的 Llama 3.1 Nemotron 70B 变体。

总结

Llama 3.1 70B Instruct 是资料完整的开放权重对话模型，具备 128K 上下文和广泛的工具支持。请查看模型卡和许可证，与更新的选择对比，并在模型分类中浏览更多。