Meta Llama 3.2 Visionは、Metaが2024年9月に発表した最新のマルチモーダル大規模言語モデルシリーズで、Llamaファミリーで初めて視覚理解機能をサポートしました。このシリーズには11Bと90Bの2つのパラメータバージョンがあり、どちらも画像とテキスト入力を処理でき、開発者に強力な視覚推論能力を提供します。

コア機能

Llama 3.2 Visionシリーズの主な機能:

ネイティブマルチモーダル機能: 画像コンテンツを理解・推論し、テキストと組み合わせて複雑なタスクを処理
柔軟なモデルサイズ: 11Bバージョンはリソース制約環境に適し、90Bバージョンはトップクラスのパフォーマンスを提供
オープンソースライセンス: Llama 3.2コミュニティライセンス契約に従い、商用および研究用途をサポート
効率的な推論: エッジデバイスとクラウド展開に最適化

モデルバージョン

Llama 3.2 11B Vision

パラメータサイズ: 110億パラメータ
使用シナリオ: モバイルデバイス、エッジコンピューティング、リソース制約環境
利点: 高速な推論速度、低い計算リソース要件
パフォーマンス: 画像理解、OCR、チャート分析などのタスクで優れた性能

Llama 3.2 90B Vision

パラメータサイズ: 900億パラメータ
使用シナリオ: 複雑な視覚推論、マルチモーダルコンテンツ生成、エンタープライズアプリケーション
利点: トップクラスの視覚理解能力、クローズドソースモデルに近いパフォーマンス
パフォーマンス: 視覚Q&A、きめ細かい画像分析、複雑なシーン理解などのタスクで卓越した性能

主な応用シナリオ

視覚質問応答(VQA): 画像コンテンツを理解し、関連する質問に答える
文書理解: チャート、表、文書レイアウトとコンテンツの分析
画像キャプション生成: 画像の詳細なテキスト説明を生成
視覚推論: 画像に基づく論理的推論と判断
マルチモーダル対話: 対話に画像とテキスト情報を統合
コンテンツモデレーション: 画像内の不適切なコンテンツの識別

技術的ハイライト

Llama 3.2 Visionは、高度なビジョンエンコーダと言語モデル融合アーキテクチャを採用:

高解像度画像処理: 高解像度画像の処理をサポートし、より多くの詳細を保持
コンテキスト内学習: ファインチューニングなしで例から新しいタスクを学習可能
多言語サポート: 英語以外の複数言語での視覚理解をサポート
ツール呼び出し機能: 外部ツールやAPIとの統合が可能

パフォーマンスベンチマーク

Llama 3.2 Visionは、複数の視覚言語ベンチマークで優れたパフォーマンスを発揮:

MMMU: 多分野マルチモーダル理解タスクで強力なパフォーマンス
ChartQA: チャート理解と質問応答能力が優秀
DocVQA: 文書視覚質問応答で優れたパフォーマンス
TextVQA: テキスト集約型画像理解能力が強力

90Bバージョンは、これらのベンチマークで多くのクローズドソースモデルのパフォーマンスに近づくか、それを上回っています。

オープンソースの利点

オープンソースモデルとして、Llama 3.2 Visionは以下を提供:

完全な制御: ローカルに展開でき、データプライバシーが保証される
カスタマイズ可能: 特定のタスクに対するファインチューニングをサポート
コスト効率: API呼び出し料金なし、大規模展開に適している
コミュニティサポート: 活発な開発者コミュニティと豊富なリソース

展開オプション

Llama 3.2 Visionは複数の展開方法をサポート:

ローカル展開: Hugging Face Transformers、llama.cppなどのツールを使用
クラウド展開: AWS、Azure、Google Cloudなどのプラットフォーム
エッジデバイス: 最適化後、モバイルデバイスやエッジデバイスで実行可能(11Bバージョン)
APIサービス: Together AI、Replicateなどのプラットフォームが提供するAPIを通じて利用可能

システム要件

11Bバージョン

最小GPU メモリ: 24GB (FP16)
推奨構成: NVIDIA RTX 4090以上

90Bバージョン

最小GPU メモリ: 80GB (FP16)
推奨構成: NVIDIA A100 80GB以上

ライセンス

Llama 3.2 VisionはLlama 3.2コミュニティライセンス契約を使用しており、商用利用を許可していますが、月間アクティブユーザー数が7億を超えるサービスには特別な要件があります。詳細については、公式ライセンスドキュメントを参照してください。

まとめ

Meta Llama 3.2 Visionは、オープンソースマルチモーダルモデル分野における重要な突破口であり、開発者に強力な視覚理解能力を提供します。11Bバージョンはリソース制約シナリオとエッジ展開に適しており、90Bバージョンはトップクラスのクローズドソースモデルに近いパフォーマンスを提供します。オープンソースモデルとして、データプライバシー、コスト管理、柔軟なカスタマイズの利点を企業や開発者に提供し、マルチモーダルAIアプリケーション構築の理想的な選択肢となっています。

すべてのタグ

Meta にタグ付けされた項目 (2 個)

LLaMA Guard 3

Meta Llama 3.2 Vision