Llama 3.1 8B Instruct logo

Llama 3.1 8B Instruct

打开

Llama 3.1 8B Instruct 是 Meta 于 2024 年 7 月 23 日发布的 8B 指令微调模型,128k 上下文,支持 8 种语言,采用 Llama 3.1 社区许可。

分享:
查看替代方案

Llama 3.1 8B Instruct

Llama 3.1 8B Instruct 是 Meta Llama 3.1 系列中最小的指令微调模型,于 2024 年 7 月 23 日发布。模型卡列出 8B 参数、128k token 上下文长度、2023 年 12 月的知识截止,以及超过 15 万亿 token 的预训练数据。该模型面向助手式对话。截至 2026 年 10 月 29 日它仍可在 Hugging Face 获取,但已有更新的 Llama 世代,Meta 当前模型请见 llama.com。

核心功能

  • 规模与上下文:8B 参数,128k token 上下文窗口。
  • 语言:支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言。其他语言需要额外微调,并被列为范围之外。
  • 许可:Llama 3.1 社区许可,这是一份自定义商用许可,不是 OSI 认定的开源许可。仓库有访问限制,需接受 Meta 的条款。许可允许将输出用于合成数据生成和蒸馏。
  • 厂商基准:模型卡为 8B Instruct 报告 MMLU 69.4、IFEval 80.4、ARC-C 83.4、GPQA 30.4、HumanEval 72.6、GSM-8K(CoT)84.5、MATH(CoT)51.9 和 BFCL 76.1,均为 Meta 的数据。

适用场景

  • 需要在单张 GPU 或经量化的笔记本上运行的低成本对话与助手功能。
  • 为领域任务微调,或从更大的 Llama 模型蒸馏。
  • 覆盖 8 种支持语言的多语言助手。

局限:模型卡列出的范围之外用途包括违反可接受使用政策,以及未经额外微调就使用不受支持的语言。在 Meta 自己的表格中,更大的同系列模型通常得分更高。

定价与可用性

权重可按社区许可免费下载。托管价格因服务商而异;Meta 的模型卡没有列出价格,因此本条目不引用价格。

快速开始

  1. 同意 Meta 许可后,在 Hugging Face 模型页面申请访问。
  2. 使用 Transformers 或兼容的运行时加载 meta-llama/Llama-3.1-8B-Instruct,并使用聊天模板。
  3. 如果质量比成本更重要,可与 70B 和 405B 版本对比。

常见问题

Llama 3.1 8B Instruct 的上下文长度是多少?

据模型卡,为 128k token。

Llama 3.1 8B Instruct 可以免费商用吗?

它采用 Llama 3.1 社区许可,在其条件下允许商用。请先阅读条款和可接受使用政策。

它支持哪些语言?

英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

有更大的 Llama 3.1 模型吗?

有:Llama 3.1 70B Instruct 和 Llama 3.1 405B Instruct。

替代方案

总结

Llama 3.1 8B Instruct 是长上下文、多语言的小型模型,许可宽松但属于自定义许可。它是微调的可靠基础,不过已有更新的 Meta 模型。更多模型见模型分类。

评论

还没有评论。成为第一个评论的人!