Qwen2-VL 72B Instruct

Qwen2-VL-72B-Instruct は、アリババの視覚言語モデルシリーズ Qwen2-VL における 72B の指示チューニング済みモデルです。Hugging Face のモデルカードでは BF16 で 73B パラメータとされ、より小さな 2B と 8B の版もあります。モデルカードには、新しい版として Qwen2.5-VL-72B-Instruct が利用可能と記されています。関連論文 arXiv 2409.12191 は 2024 年 9 月 18 日に公開されました。

主な機能

• 動的解像度: 任意の解像度の画像が可変数の視覚トークンに対応づけられます。最小・最大ピクセル数を 28 の倍数で設定でき、モデルカードのクイックスタートのコメントでは既定の範囲が 1 画像あたり 4〜16,384 視覚トークンです。
• 動画: 20 分を超える動画を理解できます。動画内の音声は理解しません。
• 言語: 英語と中国語に加え、画像内のテキストとして、ほとんどの欧州言語、日本語、韓国語、アラビア語、ベトナム語などに対応します。
• アーキテクチャ: Multimodal Rotary Position Embedding（M-ROPE）により、1D のテキスト、2D の視覚、3D の動画の位置を捉えます。
• エージェント用途: 視覚入力とテキスト指示からスマートフォンやロボットを操作する用途を想定しています。
• ベンダーのベンチマーク: モデルカードによると、Qwen2-VL-72B は DocVQA test で 96.5、MathVista testmini で 70.5、MMBench-EN test で 86.5、MVBench で 73.6 です。カードは従来のオープンソース成績、Claude-3.5 Sonnet、GPT-4o と比較しています。これらはベンダーの結果です。

ライセンスと要件

ライセンスは tongyi-qianwen と記載されています。モデルカードは、最新の Hugging Face Transformers をソースからインストールしないと KeyError: 'qwen2_vl' が出る場合があると述べ、視覚入力の処理には qwen-vl-utils パッケージを推奨しています。コンテキスト長はモデルカードに記載がありません。

使用シナリオ

• 文書やグラフの質問応答。モデルカードは高い DocVQA の結果を報告しています。
• 多くの言語で画像内のテキストを読み取る。
• 音声を含まない短い動画・長い動画の理解。

モデルカードが挙げる制限: 音声非対応、画像データの更新は 2023 年 6 月まで、特定の個人や IP の認識が限定的、複雑な指示への追従が弱い、複雑な場面での計数が不正確、3D 空間推論が弱い。

はじめかた

1. Transformers をソースからインストールし、qwen-vl-utils も入れます。
2. Qwen/Qwen2-VL-72B-Instruct を読み込み、画質とメモリのバランスを取るためピクセル上限を設定します。
3. 自分の文書や動画クリップで試し、新しいモデルを使えるなら Qwen2.5-VL とも比較します。

よくある質問

Qwen2-VL-72B-Instruct とは何ですか？

アリババの Qwen チームによる 72B の指示チューニング済み視覚言語モデルです。

動画を理解できますか？

はい。20 分を超える動画に対応しますが、音声は扱いません。

新しいバージョンはありますか？

はい。モデルカードは Qwen2.5-VL-72B-Instruct を示しています。当サイトには以前の Qwen 視覚言語モデルの項目 Qwen-VL もあります。

ライセンスは？

モデルカードでは tongyi-qianwen です。

代替案

• Qwen-VL: 以前の Qwen 視覚言語モデル。
• Llama 3.2 Vision: Meta の視覚対応オープンモデル。
• Qwen3 VL Reranker: 新しい Qwen の視覚言語リランキングモデル。

まとめ

Qwen2-VL-72B-Instruct は高性能なオープン視覚言語モデルですが、モデルカードによれば現在は Qwen2.5-VL に置き換えられています。使い方はモデルカードを、ほかのモデルはモデルカテゴリをご覧ください。