Llama 3 8B Instruct

Llama 3 8B Instruct 是 Meta 首个 Llama 3 系列中 80 亿参数的指令微调模型，其 Hugging Face 模型卡标注日期为 2024 年 4 月 18 日。它是采用分组查询注意力（GQA）的自回归 Transformer，通过监督微调和基于人类反馈的强化学习调校，面向助手式聊天。Meta 的模型卡注明已有更新版本 Llama 3.1 8B Instruct。

核心功能

• 训练规模：基于超过 15 万亿 token 的公开数据预训练，8B 模型的知识截止为 2023 年 3 月。
• 指令微调：使用公开指令数据集加上超过 1000 万条人工标注样本微调。Meta 称预训练和微调数据都不包含 Meta 用户数据。
• 上下文：8K token 上下文窗口。
• 安全工作：Meta 称做过红队测试，并调校以减少不必要的拒答，同时建议部署时配合 Llama Guard 等安全工具。
• Meta 自报成绩：根据模型卡，指令微调的 8B 模型 MMLU 为 68.4（5-shot）、GPQA 34.2、HumanEval 62.2、GSM-8K 79.6、MATH 30.0。这些都是 Meta 自己的数字。

模型规格

适用场景

• 以英语（模型卡的主要语言）为主的本地与自托管助手聊天。开发者在遵守许可证和可接受使用政策的前提下，可以针对其他语言微调。
• 8B 规模的微调实验与研究基线。
• 基于 Llama 3 构建、需要稳定参照的遗留部署。

快速开始

1. 在模型卡页面接受 Meta Llama 3 社区许可证。
2. 用 Hugging Face Transformers 加载，使用原始 llama3 代码库，或使用兼容 llama.cpp 的量化版本。
3. 上线前加入 Llama Guard 或类似的安全工具。
4. 新项目请先评估 Llama 3.1 8B Instruct，因为模型卡本身就指向它作为更新版本。

常见问题

Llama 3 8B Instruct 的上下文长度是多少？

根据 Meta 的模型卡，是 8K token。

Llama 3 8B Instruct 是什么时候发布的？

2024 年 4 月 18 日。

使用什么许可证？

自定义的 Meta Llama 3 社区许可证，访问前需同意分享你的 Hugging Face 信息。

更新的版本是什么？

Meta 的模型卡指向 Llama 3.1 8B Instruct，本站词条为 Llama 3.1 8B Instruct。

替代方案

• Llama 3.1 8B Instruct：该模型的更新版本。
• Llama 3 70B Instruct：更大的 Llama 3 模型，知识截止为 2023 年 12 月。
• Llama Guard 3：Meta 面向 Llama 部署的安全分类器。

总结

Llama 3 8B Instruct 是小巧、被广泛部署的开放权重聊天模型，也是方便的基线。许可证条款和用法请阅读官方模型卡，更新的选择见模型分类。