cogvlm-base-490-hf

cogvlm-base-490-hf は、画像についてユーザーと対話できるオープンソースの視覚言語モデル CogVLM の Hugging Face チェックポイントです。モデルカードは現在 zai-org（Z.ai）組織で公開されており、プロジェクトはもともと清華大学の THUDM が公開しました。モデルカードには名前の「490」が何を指すかの説明がないため、本エントリでは入力解像度を推測しません。

モデル仕様

主な機能

• ビジュアルエキスパート設計：モデルカードによると、視覚エンコーダを外付けするだけでなく、事前学習済み言語モデルにビジュアルエキスパートモジュールを加えています。
• 画像チャットと VQA：モデルカードは、画像についてのマルチモーダル対話、キャプション生成、視覚的質問応答などのタスクを説明しており、画像とテキストを渡す Transformers のクイックスタートがあります。
• ベンダーのベンチマーク主張：作者は 10 のクロスモーダルベンチマークで最先端の結果を、VQAv2 や TextVQA など複数で 2 位を報告しています。これは作者自身の主張で、第三者による測定ではありません。

活用シーン

• ビジュアルエキスパート型アーキテクチャやオープンな視覚言語ベースラインの研究。
• CogVLM 論文の結果の再現や比較。
• 重みを自前でホストする必要がある、画像質問応答やキャプションのローカル実験。

留意点として、これは初期のオープン視覚言語モデルで、より新しいオープンモデルがあります。また重みは別のライセンスの対象となるため、商用利用の前に Model License を読んでください。

はじめに

1. モデルカードと、コード・論文・ライセンスファイルがある CogVLM の GitHub リポジトリを読みます。
2. モデルカードの例に従い、Hugging Face Transformers でモデルを読み込みます。
3. 大きな GPU を用意します。同系列の cogvlm-chat-hf モデルカードには、推論に約 40GB の GPU メモリが必要で、accelerate で小さな GPU 複数枚に分割することもできると書かれています。base-490 の要件はそのカードで確認してください。
4. 本格的に使う前に、自分の画像で試します。

よくある質問

cogvlm-base-490-hf とは何ですか？

Hugging Face 上のオープンソースの CogVLM 視覚言語モデルのチェックポイントで、現在 Z.ai と表記されているチームによるものです。

どのくらいの大きさですか？

モデルカードは CogVLM-17B について視覚 100 億、言語 70 億パラメータと記載し、Hugging Face は BF16 で 18B パラメータと表示しています。

ライセンスは何ですか？

リポジトリのコードは Apache-2.0、モデルの重みは別の Model License の対象です。

490 は何を意味しますか？

モデルカードに説明がなく、公式ページからは不明です。

代替案

• LLaVA 1.6 34B：動的高解像度入力に対応する LLaVA-NeXT。
• Qwen-VL：Alibaba の視覚言語シリーズ。
• Llama 3.2 Vision：Meta のマルチモーダル Llama。
• DeepSeek-VL 7B：より小さなオープンの視覚言語ベースモデル。

まとめ

cogvlm-base-490-hf は、CogVLM のビジュアルエキスパート方式を示す、文書化されたオープンな参照として役立ちます。何であるか、どうライセンスされているかを公式情報で知るには Hugging Face のモデルカードから始め、他の視覚モデルはモデルカテゴリで比較してください。