Qwen2.5-Coder-32B logo

Qwen2.5-Coder-32B

打开

Qwen2.5-Coder-32B 是阿里巴巴 2024 年 11 月发布的 Apache 2.0 代码基础模型,32.5B 参数,5.5T 训练 token,上下文最长 131,072。

分享:
查看替代方案

Qwen2.5-Coder-32B

Qwen2.5-Coder-32B 是阿里巴巴 Qwen2.5-Coder 系列中最大的基础模型,发布于日期为 2024 年 11 月 12 日的 Qwen 博客文章(本站网站链接是同一篇文章在 qwen.ai 的地址)。Hugging Face 模型卡称它是预训练阶段的基础模型,基于 Qwen2.5-32B,总参数 32.5B(非嵌入参数 31.0B)。它不是指令微调的对话模型,Qwen 表示不建议用基础模型做对话。它属于上一代模型,仍可下载。

核心功能

  • 训练与规模:5.5 万亿训练 token,包括源代码、文本-代码对齐数据和合成数据;64 层,使用分组查询注意力(40 个查询头、8 个 KV 头)。
  • 上下文:最长 131,072 token。默认配置覆盖 32,768 token,更长输入需要因子为 4.0 的 YaRN。vLLM 仅支持静态 YaRN,可能影响短文本性能。
  • 许可:Apache-2.0。
  • 系列:博客列出 0.5B、1.5B、3B、7B、14B 和 32B 尺寸,每个尺寸都有 Base 和 Instruct 版本。McEval 基准覆盖 40 多种编程语言。
  • 厂商声明:对于 Instruct 版本,Qwen 称其为当前最先进的开源代码模型,编码能力可与 GPT-4o 相当,并报告 Aider 得分 73.7、McEval 得分 65.9。这些是阿里巴巴自己的数据,并非独立审计。

适用场景

  • 中间填充式代码补全,以及以代码为主的继续预训练。
  • 作为 SFT 或 RLHF 等自定义后训练的基础。
  • 代码智能体和开发者工具,经指令微调后使用,或直接使用 Instruct 版本。

局限:基础模型不适合直接对话,对话场景请选 Qwen2.5-Coder-32B-Instruct。请使用较新的 Transformers 版本,4.37.0 之前的版本会抛出 KeyError: 'qwen2'。

定价与可用性

权重按 Apache-2.0 免费提供。本条目没有在官方页面核实托管价格,因此不引用价格。

快速开始

  1. 从 Hugging Face 下载 Qwen/Qwen2.5-Coder-32B。
  2. 使用 Transformers 4.37.0 或更高版本加载。
  3. 仅在需要长上下文时启用 YaRN 的 rope_scaling 设置。

常见问题

Qwen2.5-Coder-32B 是开源的吗?

是的,采用 Apache-2.0 许可发布。

它的上下文长度是多少?

使用 YaRN 时最长 131,072 token,默认配置为 32,768 token。

和 Instruct 模型有什么区别?

这是基础模型,Qwen2.5-Coder-32B-Instruct 针对对话和指令做了微调。

有 Qwen 的编程命令行工具吗?

有,见 Qwen Code。

替代方案

总结

Qwen2.5-Coder-32B 是许可宽松、适合代码补全和后训练的基础模型。对话请使用 Instruct 版本。更多模型见模型分类。

评论

还没有评论。成为第一个评论的人!