Qwen-VL は Alibaba Cloud の大規模な視覚言語モデルです。Hugging Face のモデルカードによると、画像・テキスト・バウンディングボックスを入力し、テキストとバウンディングボックスを出力します。ページには事前学習版の Qwen-VL と、対話向けに調整した Qwen-VL-Chat(Int4 版を含む)が載っています。言語のバックボーンは Qwen-7B で、関連論文は 2023 年 8 月 24 日公開の arXiv 2308.12966 です。
主な機能
- グラウンディング:参照表現の理解。カードによると、中国語のグラウンディング学習データなしで中国語にゼロショットで汎化します。
- 文字読み取り:TextVQA、DocVQA、ChartQA、AI2D、OCR-VQA などの文字中心の VQA に対応し、448 の入力解像度が役立ちます。
- 対話:Qwen-VL-Chat は多言語の対話と複数画像を交えたチャットに対応します。
- ベンダーの主張:カードによると、Flickr30K のゼロショットキャプションで SOTA、同規模の汎用モデルの中で RefCOCO で好成績。Qwen-VL-Chat の TouchStone スコアは英語 645.2、中国語 401.2 です。
- ライセンス:研究・開発は無料で、商用利用も許可されています。カードにライセンスファイルと商用申請フォームへのリンクがあります。
活用シーン
- 画像キャプションと視覚的質問応答。
- テキストの説明からバウンディングボックスで物体を特定する。
- 文書・チャート・スクリーンショットの文字を読み取る。
料金と提供状況
重みは Hugging Face から無料でダウンロードできます。カードには研究・開発での利用は無料で商用利用も許可されると書かれ、ライセンスファイルと商用申請フォームがあります。展開前に確認してください。ホスト型の価格はカードに記載がありません(2026-10-29 確認)。カードはパラメータ数を明示していませんが、ベンチマーク表ではモデルを Qwen-VL-7B と表記しており、Qwen-7B のバックボーンと整合します。
クイックスタート
- モデルカードを開き、記載の依存関係をインストールします。
- 事前学習用途は Qwen-VL、対話用途は Qwen-VL-Chat を読み込みます。メモリが少ない場合は Int4 のチャット版があります。
- 画像とテキストのプロンプトを渡し、グラウンディングが必要ならボックスを要求します。
- 採用前に、自社の画像で新しい Qwen の視覚モデルと比較します。
よくある質問
Qwen-VL は何を入力できますか?
画像、テキスト、バウンディングボックスを入力し、テキストとバウンディングボックスを出力します。
言語のバックボーンは?
モデルカードによると Qwen-7B です。
商用利用できますか?
カードには研究・開発は無料で商用利用も許可されると書かれており、ライセンスファイルと商用申請フォームがあります。
Qwen-VL の後継は?
カードに後継は示されていません。本サイトにある新しい Qwen の視覚モデルは Qwen2-VL 72B Instruct を参照してください。
代替ツール
- Qwen2-VL 72B Instruct:本サイトに掲載している新しい Qwen の視覚言語モデル。
- LLaVA 1.6:オープンな視覚言語モデル。
- CogVLM Base 490 HF:別のオープンな視覚言語モデル。
まとめ
Qwen-VL は、グラウンディングと文字読み取りを備えた、初期の資料が充実したオープン視覚言語モデルです。モデルカードを読み、新しい Qwen の視覚モデルと比較し、モデルカテゴリも参照してください。
出典
コメント
まだコメントがありません。最初のコメントを投稿してください!