Llama 3.1 8B Instruct
Llama 3.1 8B Instruct 是 Meta Llama 3.1 系列中最小的指令微调模型,于 2024 年 7 月 23 日发布。模型卡列出 8B 参数、128k token 上下文长度、2023 年 12 月的知识截止,以及超过 15 万亿 token 的预训练数据。该模型面向助手式对话。截至 2026 年 10 月 29 日它仍可在 Hugging Face 获取,但已有更新的 Llama 世代,Meta 当前模型请见 llama.com。
核心功能
- 规模与上下文:8B 参数,128k token 上下文窗口。
- 语言:支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言。其他语言需要额外微调,并被列为范围之外。
- 许可:Llama 3.1 社区许可,这是一份自定义商用许可,不是 OSI 认定的开源许可。仓库有访问限制,需接受 Meta 的条款。许可允许将输出用于合成数据生成和蒸馏。
- 厂商基准:模型卡为 8B Instruct 报告 MMLU 69.4、IFEval 80.4、ARC-C 83.4、GPQA 30.4、HumanEval 72.6、GSM-8K(CoT)84.5、MATH(CoT)51.9 和 BFCL 76.1,均为 Meta 的数据。
适用场景
- 需要在单张 GPU 或经量化的笔记本上运行的低成本对话与助手功能。
- 为领域任务微调,或从更大的 Llama 模型蒸馏。
- 覆盖 8 种支持语言的多语言助手。
局限:模型卡列出的范围之外用途包括违反可接受使用政策,以及未经额外微调就使用不受支持的语言。在 Meta 自己的表格中,更大的同系列模型通常得分更高。
定价与可用性
权重可按社区许可免费下载。托管价格因服务商而异;Meta 的模型卡没有列出价格,因此本条目不引用价格。
快速开始
- 同意 Meta 许可后,在 Hugging Face 模型页面申请访问。
- 使用 Transformers 或兼容的运行时加载
meta-llama/Llama-3.1-8B-Instruct,并使用聊天模板。 - 如果质量比成本更重要,可与 70B 和 405B 版本对比。
常见问题
Llama 3.1 8B Instruct 的上下文长度是多少?
据模型卡,为 128k token。
Llama 3.1 8B Instruct 可以免费商用吗?
它采用 Llama 3.1 社区许可,在其条件下允许商用。请先阅读条款和可接受使用政策。
它支持哪些语言?
英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
有更大的 Llama 3.1 模型吗?
有:Llama 3.1 70B Instruct 和 Llama 3.1 405B Instruct。
替代方案
- Llama 3.1 70B Instruct:中等规模的同系列模型。
- Llama 3.1 405B Instruct:最大的同系列模型。
- Llama 3.2 1B Instruct:小得多的 Meta 模型。
总结
Llama 3.1 8B Instruct 是长上下文、多语言的小型模型,许可宽松但属于自定义许可。它是微调的可靠基础,不过已有更新的 Meta 模型。更多模型见模型分类。
评论
还没有评论。成为第一个评论的人!
相关工具
Month Visit100DR: 100AS: 100
Month Visit452DR: 87AS: 95