NVIDIA nv-rerankqa-mistral-4b-v3

NVIDIAのnv-rerankqa-mistral-4b-v3は、質問応答(Q&A)シナリオ専用に最適化されたリランキングモデルで、2024年12月にリリースされました。32768トークンの超長コンテキストサポートとNVIDIA TensorRT加速が特徴で、QAリランキングタスクで優れたパフォーマンスを発揮します。

主要機能

32768トークンコンテキスト: 業界最高レベル、ほとんどのモデルの4倍
QA最適化: 質問応答専用に学習と最適化
MRR@10: QAリランキングタスクで0.82
TensorRT: NVIDIA GPUで2-3倍高速化
Mistralベース: 効率とパフォーマンスのバランスを取る4Bパラメータ
低レイテンシ: A100/H100で100ms以下

パフォーマンス

QAリランキング: MRR@10: 0.82、NDCG@10: 0.78
推論: 50-80msレイテンシ、200+ QPS スループット (A100)
長文ドキュメント: >8Kトークンのドキュメントで特に優秀

クイックスタート

from transformers import AutoModelForSequenceClassification, AutoTokenizer
 
model = AutoModelForSequenceClassification.from_pretrained('nvidia/nv-rerankqa-mistral-4b-v3')
tokenizer = AutoTokenizer.from_pretrained('nvidia/nv-rerankqa-mistral-4b-v3')
 
pairs = [[query, answer] for answer in candidates]
inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt')
scores = model(**inputs).logits.squeeze()

最適な用途

✅ QAシステム ✅ NVIDIA A100/H100 GPUユーザー ✅ 長文ドキュメント処理(技術、法律、医療) ✅ 低レイテンシのリアルタイムQA ✅ エンタープライズナレッジQA

適していない用途

❌ 一般的なリランキング(一般モデルを検討) ❌ NVIDIA GPUなし(TensorRTの利点を活用できない) ❌ 強い多言語ニーズ(主に英語最適化) ❌ 非常に限られた予算(ハイエンドGPUが必要)

代替案

Voyage Rerank 2: 一般RAG、16Kコンテキスト、マネージドサービス
Cohere Rerank v3.5: 一般シナリオ、API
Jina Reranker v3: 多言語ニーズ

すべてのタグ

TensorRT にタグ付けされた項目 (1 個)

NVIDIA nv-rerankqa-mistral-4b-v3