QwQ-32B-Preview logo

QwQ-32B-Preview

打开

QwQ-32B-Preview 是 Qwen 2024 年 11 月发布的实验性 32B 推理模型,基于 Qwen2.5-32B,上下文 32,768,采用 Apache 2.0;后续发布了 QwQ-32B。

分享:
查看替代方案

QwQ-32B-Preview 是 Qwen 团队的实验性研究模型,在 2024 年 11 月 28 日的博客文章中发布,专注于 AI 推理。Hugging Face 模型卡列出约 32.5B 参数、32,768 token 上下文长度和 Apache-2.0 许可证,并说明基于 Qwen2.5-32B 构建。它只是预览版,2025 年 3 月 6 日 Qwen 团队发布了通过规模化强化学习训练的推理模型 QwQ-32B,同样采用 Apache 2.0。

核心功能

  • 架构:据模型卡,为带 RoPE、SwiGLU、RMSNorm 和注意力 QKV 偏置的因果语言模型,64 层,使用分组查询注意力(40 个查询头、8 个键值头)。
  • 上下文:32,768 token。
  • 厂商基准声明(来自博客文章):GPQA 65.2%、AIME 50.0%、MATH-500 90.6%、LiveCodeBench 50.0%。这些是 Qwen 自己的结果。
  • 已声明的局限:意外的语言混用或切换、陷入循环推理导致冗长而无结论的回答、需要更强的安全措施,以及在常识推理和细微语言理解上弱于其数学和编程能力。
  • 许可证:Hugging Face 模型卡标注为 Apache-2.0。

适用场景

  • 研究早期开放推理模型,以及它们的输出与普通对话模型的差异。
  • 在能运行 32B 模型的本地硬件上做数学和编程实验。
  • 对比预览版与后续的 QwQ-32B 版本。

价格与可用性

权重可在 Hugging Face 按 Apache-2.0 免费下载。Qwen 称其为实验性研究模型,因此应视为预览版而非生产默认。模型卡要求较新的 transformers 版本,4.37.0 之前的版本会报 KeyError: 'qwen2'。来源核对日期为 2026-10-29,模型卡未列出托管价格。

快速开始

  1. 把 transformers 升级到较新版本。
  2. 从 Hugging Face 加载 Qwen/QwQ-32B-Preview 并使用其聊天模板。
  3. 推理输出可能很长,请允许较长的生成,并留意语言混用或循环。
  4. 新项目请评估 2025 年 3 月发布的后续推理模型 QwQ-32B。

常见问题

QwQ-32B-Preview 是什么?

Qwen 团队的实验性 32B 推理模型,2024 年 11 月 28 日发布。

上下文长度是多少?

据 Hugging Face 模型卡为 32,768 token。

后续是什么模型?

QwQ-32B,2025 年 3 月 6 日发布,采用 Apache 2.0,通过规模化强化学习训练。

已知问题有哪些?

Qwen 列出语言混用、循环推理、需要更强的安全措施,以及常识推理较弱。

它是开源的吗?

权重在 Hugging Face 上以 Apache-2.0 发布。

替代方案

总结

QwQ-32B-Preview 是早期开放推理模型,局限明确、许可证开放,现已有后续的 QwQ-32B。请阅读博客文章和模型卡,并在模型分类中浏览更多。

评论

还没有评论。成为第一个评论的人!