Qwen2.5-Coder-32B logo

Qwen2.5-Coder-32B

開く

Qwen2.5-Coder-32B は Alibaba が 2024 年 11 月に公開した Apache 2.0 のコード用ベースモデルで、32.5B パラメータ、5.5T トークン学習、最大 131,072 トークンです。

共有:
代替ツールを見る

Qwen2.5-Coder-32B

Qwen2.5-Coder-32B は Alibaba の Qwen2.5-Coder ファミリーで最大のベースモデルで、2024 年 11 月 12 日付の Qwen のブログ記事で発表されました(このカタログのウェブサイトのリンクは、同じ記事の qwen.ai 上のアドレスです)。Hugging Face のモデルカードは、事前学習段階のベースモデルで Qwen2.5-32B を土台にし、総パラメータ 32.5B(埋め込みを除くと 31.0B)と説明しています。指示チューニング済みのチャットモデルではなく、Qwen はベースモデルを会話に使うことを推奨していません。前世代のモデルですが、今もダウンロードできます。

主な機能

  • 学習とサイズ:ソースコード、テキストとコードの対応データ、合成データを含む 5.5 兆の学習トークン。64 層で、グループクエリアテンション(クエリヘッド 40、KV ヘッド 8)を使います。
  • コンテキスト:最大 131,072 トークン。既定の設定は 32,768 トークンで、それより長い入力には係数 4.0 の YaRN が必要です。vLLM は静的 YaRN のみ対応で、短いテキストの性能が下がる可能性があります。
  • ライセンス:Apache-2.0。
  • ファミリー:ブログには 0.5B、1.5B、3B、7B、14B、32B のサイズが挙げられ、それぞれ Base と Instruct があります。McEval ベンチマークは 40 を超えるプログラミング言語を対象とします。
  • ベンダーの主張:Instruct 版について、Qwen は現時点で最先端のオープンソースのコードモデルで、コーディング能力は GPT-4o に匹敵すると述べ、Aider スコア 73.7、McEval スコア 65.9 を報告しました。これらは Alibaba 自身の数値で、独立監査ではありません。

使用シナリオ

  • 穴埋め形式のコード補完や、コード中心の継続事前学習。
  • SFT や RLHF などの独自のポストトレーニングの土台。
  • 指示チューニング後、または Instruct 版を使ったコードエージェントや開発者ツール。

制約:ベースモデルはチャット向けではありません。会話用途には Qwen2.5-Coder-32B-Instruct を選んでください。Transformers は新しいリリースを使ってください。4.37.0 より前では KeyError: 'qwen2' が発生します。

料金プラン

重みは Apache-2.0 の下で無料です。公式ページでホスト価格を確認できなかったため、本エントリでは価格を掲載しません。

はじめに

  1. Hugging Face から Qwen/Qwen2.5-Coder-32B をダウンロードする。
  2. Transformers 4.37.0 以降で読み込む。
  3. 長いコンテキストが必要なときだけ YaRN の rope_scaling 設定を有効にする。

よくある質問

Qwen2.5-Coder-32B はオープンソースですか?

はい、Apache-2.0 ライセンスで公開されています。

コンテキスト長は?

YaRN 使用時は最大 131,072 トークン、既定の設定は 32,768 トークンです。

Instruct モデルとの違いは?

これはベースモデルで、Qwen2.5-Coder-32B-Instruct は会話と指示向けにチューニングされています。

Qwen のコーディング CLI はありますか?

はい、Qwen Code を参照してください。

代替案

まとめ

Qwen2.5-Coder-32B は、コード補完とポストトレーニング向けのライセンスが寛容なベースモデルです。チャットには Instruct 版を使ってください。ほかのモデルはモデルカテゴリをご覧ください。

出典

コメント

まだコメントがありません。最初のコメントを投稿してください!