Llama v2 70B Chat

Llama 2 70B Chat 是 Meta Llama 2 系列中最大模型的对话微调版本。据 Hugging Face 模型卡，这些模型训练于 2023 年 1 月至 7 月，配套论文发表于 2023 年 7 月 18 日。70B 模型上下文为 4K token，预训练数据为 2.0 万亿 token。

当前状态

已被取代。Meta 之后发布了 Llama 3 和 Llama 3.1，本站收录为 Llama 3 70B Instruct 和 Llama 3.1 70B Instruct。Llama 2 的模型卡仍在 Hugging Face 上，同意 Meta 许可后仍可下载权重，模型卡没有宣布弃用日期。

核心功能

• 规模与上下文：70B 参数（Hub 显示 69B），4K token 上下文窗口。
• 对话调优：chat 版本针对助手式对话调优。
• 以英语为主：模型卡说明 Llama 2 面向英语的商业和研究使用，其他语言不在范围内。
• 知识截止：预训练数据截至 2022 年 9 月，部分调优数据到 2023 年 7 月。
• Meta 公布的结果：据模型卡，70B 基础模型 MMLU 为 68.9。模型卡的安全评测列出 chat 70B 模型 TruthfulQA 为 64.14、ToxiGen 为 0.01，均为 Meta 自己的数据。
• 许可：自定义的 Llama 2 社区许可，获取权重需向 Meta 提供联系信息。

适用场景

• 复现 2023 年代使用 Llama 2 70B Chat 的研究结果。
• 衡量新版 Llama 提升幅度时的基线。
• 仍依赖 Llama 2 架构的既有微调模型和工具。

局限：4K token 上下文远短于现代模型，且模型卡把预期用途限定为英语。

定价方案

Meta 在其许可下免费分发权重。托管 API 的价格取决于服务商，本页不给出。

快速开始

1. 在 Hugging Face 模型卡申请访问并同意 Meta 的许可。
2. 在多 GPU 硬件上用 Transformers 加载 Llama-2-70b-chat-hf 权重。
3. 新项目请从 Llama 3.1 70B Instruct 开始，据 Meta 的 Llama 3.1 模型卡，它的上下文为 128K。

常见问题

Llama 2 70B Chat 的上下文长度是多少？

据 Hugging Face 模型卡为 4K token。

Llama 2 70B 还能用吗？

同意 Meta 许可后，权重仍在 Hugging Face 上可用。Meta 此后已发布更新的 Llama 模型。

支持哪些语言？

模型卡称 Llama 2 面向英语使用。

它被什么取代了？

Meta 之后的 Llama 3 和 Llama 3.1 模型，例如 Llama 3.1 70B Instruct。

替代方案

• Llama 3.1 70B Instruct：Llama 3.1 系列中的 70B 继任者。
• Llama 3 70B Instruct：Llama 3 代对应的 70B 模型。
• Mistral 7B Instruct：小得多的开放指令模型。

总结

Llama 2 70B Chat 是历史上重要的开放对话模型，但 4K 上下文和英语导向使它不适合新项目。详情见模型卡，当前项目请迁移到 Llama 3.1。