QwQ-32B-Preview logo

QwQ-32B-Preview

開く

QwQ-32B-Preview は Qwen が 2024 年 11 月に公開した実験的な 32B 推論モデルで、Qwen2.5-32B ベース、コンテキスト 32,768、Apache 2.0。後に QwQ-32B が公開されました。

共有:
代替ツールを見る

QwQ-32B-Preview は Qwen チームの実験的な研究モデルで、2024 年 11 月 28 日付のブログ記事で発表され、AI の推論に焦点を当てています。Hugging Face のカードには、約 32.5B パラメータ、コンテキスト長 32,768 トークン、Apache-2.0 ライセンスと記載され、Qwen2.5-32B をベースにしているとされています。これはプレビュー版で、2025 年 3 月 6 日に Qwen チームは大規模な強化学習で学習した推論モデル QwQ-32Bを公開しており、こちらも Apache 2.0 です。

主な機能

  • アーキテクチャ:カードによると、RoPE、SwiGLU、RMSNorm、アテンション QKV バイアスを備えた因果言語モデルで、64 層、グループクエリアテンション(クエリヘッド 40、キー・バリューヘッド 8)です。
  • コンテキスト:32,768 トークン。
  • ベンダーのベンチマーク(ブログ記事より):GPQA 65.2%、AIME 50.0%、MATH-500 90.6%、LiveCodeBench 50.0%。いずれも Qwen 自身の結果です。
  • 明記された制約:予期しない言語の混在や切り替え、結論に至らない長い回答につながる循環的な推論、より強い安全対策の必要性、そして数学・コーディングに比べて常識推論や微妙な言語理解が弱いこと。
  • ライセンス:Hugging Face のカードでは Apache-2.0 です。

活用シーン

  • 初期のオープン推論モデルと、通常のチャットモデルとの出力の違いを調べる。
  • 32B モデルを動かせるローカル環境での数学・コーディング実験。
  • プレビュー版と後続の QwQ-32B の比較。

料金と提供状況

重みは Hugging Face から Apache-2.0 で無料ダウンロードできます。Qwen はこのモデルを実験的な研究モデルと説明しているため、本番の標準ではなくプレビューとして扱ってください。カードは新しい transformers を必要とし、4.37.0 より前のバージョンでは KeyError: 'qwen2' が発生します。出典は 2026-10-29 に確認しており、カードにホスト型の価格はありません。

クイックスタート

  1. transformers を新しいバージョンに更新します。
  2. Hugging Face から Qwen/QwQ-32B-Preview を読み込み、チャットテンプレートを使います。
  3. 推論の出力は長くなりがちなので長い生成を許可し、言語の混在やループに注意します。
  4. 新規の用途では、後続の推論モデルである 2025 年 3 月公開の QwQ-32B を評価してください。

よくある質問

QwQ-32B-Preview とは?

Qwen チームの実験的な 32B 推論モデルで、2024 年 11 月 28 日に発表されました。

コンテキスト長は?

Hugging Face のカードによると 32,768 トークンです。

その後のモデルは?

2025 年 3 月 6 日に Apache 2.0 で公開された QwQ-32B で、大規模な強化学習で学習されています。

既知の問題は?

Qwen は、言語の混在、循環的な推論、より強い安全対策の必要性、常識推論の弱さを挙げています。

オープンソースですか?

重みは Hugging Face で Apache-2.0 として公開されています。

代替ツール

まとめ

QwQ-32B-Preview は、制約が明確でライセンスも開かれた初期のオープン推論モデルで、現在は後続の QwQ-32B があります。ブログ記事とモデルカードを読み、モデルカテゴリも参照してください。

コメント

まだコメントがありません。最初のコメントを投稿してください!