BGE-M3
BGE-M3 は北京智源人工知能研究院(BAAI)が公開したオープンウェイトの埋め込みモデルで、論文は BGE M3-Embedding(2024 年 2 月)です。名前の M3 は多機能・多言語・多粒度を指し、1 つのモデルで密・疎・マルチベクトル(ColBERT 型)の表現を出力し、100 以上の作業言語に対応し、最大 8192 トークンの入力を受け付けます。ウェイトは BAAI/bge-m3 の Hugging Face カードで MIT ライセンスのもと公開されています。
主な機能
- 1 つのモデルで 3 つの検索方式:密検索、疎検索(語彙ウェイト)、マルチベクトル検索。組み合わせてハイブリッド検索にできます。
- 多言語:モデルカードによると 100 以上の作業言語に対応。
- 長い入力:1 入力あたり最大 8192 トークン、密埋め込みは 1024 次元。
- クエリに指示プレフィックス不要:従来の BGE モデルと違い、クエリに指示を付ける必要はありません。
- MIT ライセンス:ウェイトは商用利用・セルフホストが可能です。
カードでは MIRACL(多言語検索)、MKQA(言語横断検索)、MLDR と NarrativeQA(長文書検索)で評価しています。結果はグラフ表示のため、本ページでは個別のスコアを引用しません。
活用シーン
- 多言語のセマンティック検索や RAG(検索拡張生成)パイプライン。
- 密と疎のシグナルを組み合わせるハイブリッド検索。カードはリランカーとの併用を推奨しています。
- 512 トークン級の埋め込みでは切り捨てが大きすぎる長文書検索。
制約:BGE-M3 は 2024 年のモデルです。より新しい埋め込みモデルもあるため、採用前に自分のコーパスで検証してください。
料金プラン
ウェイトは MIT ライセンスで無料です。モデルカードに公式のホスト API は記載されておらず、費用は自前の計算資源か、選んだ外部ホストの料金のみです。外部ホストの料金は本ページでは扱いません。
はじめに
- ライブラリを導入:
pip install -U FlagEmbeddingの後、BGEM3FlagModel("BAAI/bge-m3")を読み込むと、密・疎・マルチベクトルの出力が得られます。 - または Sentence Transformers:
SentenceTransformer("BAAI/bge-m3")で密埋め込みのみ取得できます。 - ハイブリッド検索では、密と疎のスコアを合成し、上位をリランクします。BAAI のリランカーは BGE Reranker v2.5 Gemma2 Lightweight を参照してください。
よくある質問
BGE-M3 の埋め込み次元と入力長は?
Hugging Face カードには 1024 次元の埋め込みと最大 8192 トークンの入力が記載されています。
商用利用は無料ですか?
カードのライセンスは MIT で、ウェイトは商用利用できます。
クエリに指示プレフィックスは必要ですか?
不要です。カードによると、従来の BGE モデルと違いクエリに指示は要りません。
ハイブリッド検索に使えますか?
使えます。1 つのモデルが密・疎・マルチベクトルを出力し、カードもハイブリッド検索とリランクを推奨しています。
代替案
- text-embedding-3-large:OpenAI のホスト型埋め込みモデル(既定 3072 次元)。
- Qwen3 Embedding:Qwen チームのオープンな多言語埋め込みシリーズ。
- Jina Embeddings v4:Jina AI の多言語埋め込みモデル。
まとめ
多言語・長文入力で、密・疎・マルチベクトルを出力できるオープンな埋め込みモデルが必要なら、BGE-M3 は今も実用的な選択肢です。Hugging Face カードと論文から始め、より新しい埋め込みモデルと自分のデータで比較してください。
コメント
まだコメントがありません。最初のコメントを投稿してください!