Llama 3.2 1B Instruct

Llama 3.2 1B Instruct 是 Meta Llama 3.2 系列中最小的指令微调文本模型。其 Hugging Face 模型卡列出约 1.23B 参数、文本输入文本输出，发布日期为 2024 年 9 月 25 日。它面向在有限算力上进行助手式对话和轻量智能体任务。

核心功能

• 上下文长度：标准模型为 128k token，量化版本为 8k 上下文。
• 语言：官方支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。开发者可在许可证和可接受使用政策范围内为其他语言微调。
• 训练数据：最多 9T 预训练 token，来自公开网络来源，知识截止为 2023 年 12 月。
• 架构：采用分组查询注意力（GQA）和共享嵌入。后训练使用监督微调和基于偏好的对齐。
• 端侧选项：量化版本使用 4 位分组权重（组大小 32）加 8 位动态激活，模型卡还介绍了结合 LoRA 和 SpinQuant 的量化感知训练变体。

预期用途

Meta 列出的用途包括助手式对话、知识检索和摘要等智能体应用、写作辅助以及查询改写。量化版本面向算力有限的端侧使用。

许可证

Llama 3.2 Community License，一种包含可接受使用政策的自定义商用许可证。发布产品前请阅读模型卡上的许可条款。

适用场景

• 在本地或手机级设备上运行小型助手。
• 检索流水线中的查询改写和摘要。
• 1B 模型已够用的快速原型和微调实验。

局限：1B 模型在复杂推理上弱于更大的 Llama 模型，官方语言列表也只有八种。在选择它而非更大模型之前，请用自己的任务测试。

快速开始

1. 在 Hugging Face 模型卡页面申请访问并接受许可证。
2. 用 Hugging Face transformers 加载 meta-llama/Llama-3.2-1B-Instruct，或在设备上使用量化版本。
3. 使用聊天模板，并在自己的提示上评估质量。

常见问题

Llama 3.2 1B Instruct 有多少参数？

据模型卡约为 1.23B。

上下文长度是多少？

标准模型 128k token，量化版本 8k。

官方支持哪些语言？

英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

可以商用吗？

可在 Llama 3.2 Community License 下使用，其中包含可接受使用政策，请阅读模型卡上的条款。

替代方案

• Llama 3.1 8B Instruct：质量更强的较大 Llama。
• Llama 3.2 Vision：具备视觉能力的 Llama 3.2 模型。
• Llama Guard 3：用于审核 Llama 输出的 Meta 安全分类器。

总结

Llama 3.2 1B Instruct 是适合端侧和低成本文本任务的紧凑开放权重模型。请从模型卡入手，并在模型分类中比较其他选项。