BGE-M3 logo

BGE-M3

開く

BGE-M3 は BAAI のオープンな多言語埋め込みモデル。MIT ライセンス、1024 次元、8192 トークン入力で、密・疎・マルチベクトル検索に対応します。

共有:
代替ツールを見る

BGE-M3

BGE-M3 は北京智源人工知能研究院(BAAI)が公開したオープンウェイトの埋め込みモデルで、論文は BGE M3-Embedding(2024 年 2 月)です。名前の M3 は多機能・多言語・多粒度を指し、1 つのモデルで密・疎・マルチベクトル(ColBERT 型)の表現を出力し、100 以上の作業言語に対応し、最大 8192 トークンの入力を受け付けます。ウェイトは BAAI/bge-m3 の Hugging Face カードで MIT ライセンスのもと公開されています。

主な機能

  • 1 つのモデルで 3 つの検索方式:密検索、疎検索(語彙ウェイト)、マルチベクトル検索。組み合わせてハイブリッド検索にできます。
  • 多言語:モデルカードによると 100 以上の作業言語に対応。
  • 長い入力:1 入力あたり最大 8192 トークン、密埋め込みは 1024 次元。
  • クエリに指示プレフィックス不要:従来の BGE モデルと違い、クエリに指示を付ける必要はありません。
  • MIT ライセンス:ウェイトは商用利用・セルフホストが可能です。

カードでは MIRACL(多言語検索)、MKQA(言語横断検索)、MLDR と NarrativeQA(長文書検索)で評価しています。結果はグラフ表示のため、本ページでは個別のスコアを引用しません。

活用シーン

  • 多言語のセマンティック検索や RAG(検索拡張生成)パイプライン。
  • 密と疎のシグナルを組み合わせるハイブリッド検索。カードはリランカーとの併用を推奨しています。
  • 512 トークン級の埋め込みでは切り捨てが大きすぎる長文書検索。

制約:BGE-M3 は 2024 年のモデルです。より新しい埋め込みモデルもあるため、採用前に自分のコーパスで検証してください。

料金プラン

ウェイトは MIT ライセンスで無料です。モデルカードに公式のホスト API は記載されておらず、費用は自前の計算資源か、選んだ外部ホストの料金のみです。外部ホストの料金は本ページでは扱いません。

はじめに

  1. ライブラリを導入:pip install -U FlagEmbedding の後、BGEM3FlagModel("BAAI/bge-m3") を読み込むと、密・疎・マルチベクトルの出力が得られます。
  2. または Sentence Transformers:SentenceTransformer("BAAI/bge-m3") で密埋め込みのみ取得できます。
  3. ハイブリッド検索では、密と疎のスコアを合成し、上位をリランクします。BAAI のリランカーは BGE Reranker v2.5 Gemma2 Lightweight を参照してください。

よくある質問

BGE-M3 の埋め込み次元と入力長は?

Hugging Face カードには 1024 次元の埋め込みと最大 8192 トークンの入力が記載されています。

商用利用は無料ですか?

カードのライセンスは MIT で、ウェイトは商用利用できます。

クエリに指示プレフィックスは必要ですか?

不要です。カードによると、従来の BGE モデルと違いクエリに指示は要りません。

ハイブリッド検索に使えますか?

使えます。1 つのモデルが密・疎・マルチベクトルを出力し、カードもハイブリッド検索とリランクを推奨しています。

代替案

まとめ

多言語・長文入力で、密・疎・マルチベクトルを出力できるオープンな埋め込みモデルが必要なら、BGE-M3 は今も実用的な選択肢です。Hugging Face カードと論文から始め、より新しい埋め込みモデルと自分のデータで比較してください。

出典

コメント

まだコメントがありません。最初のコメントを投稿してください!