NousResearch: Hermes 2 Pro - Llama-3 8B

Hermes 2 Pro - Llama-3 8B は NousResearch のモデルです。Hugging Face のモデルカードは、Nous Hermes 2 を改良して再学習したバージョンで、NousResearch/Meta-Llama-3-8B をベースにしていると説明しています。汎用チャットモデルに構造化された関数呼び出しと JSON 出力を加え、オープンウェイトで公開され、ローカル利用向けの GGUF ビルドも提供されています。

主な機能

• 学習データ: クリーニング済みの teknium/OpenHermes-2.5 データセットに、独自の関数呼び出し・JSON モードのデータセットを加えたもの。
• プロンプト形式: ChatML。関数呼び出し用に tool_use チャットテンプレートがあります。<tool_call> や <tool_response> などのタグは単一トークンで、ストリーミング時の解析が容易です。
• 関数呼び出し: モデルカードによると、Fireworks.AI と作成した関数呼び出し評価で 90%。
• JSON 構造化出力: モデルカードによると、構造化 JSON 出力の評価で 84%。いずれもベンダー報告の結果です。
• 報告されたベンチマーク: モデルカードによると、GPT4All 平均 72.62、AGIEval 平均 42.44、BigBench 平均 43.55、TruthfulQA mc1 0.410・mc2 0.578。
• ローカル利用: GGUF ビルドがあり、モデルカードによると 4 ビット推論で VRAM 約 5GB が必要です。関数呼び出しなしのチャットには LM Studio が推奨されています。

ライセンスとクレジット

モデルは Llama 3 ライセンスを使用します。モデルカードは Teknium、interstellarninja、theemozilla、karan4d、huemin_art をクレジットし、Nous Research、interstellarninja、Fireworks.AI の共同作業と説明しています。モデルカードに公開日の記載はないため、ここでは示しません。

使用シナリオ

• 予測しやすいタグ形式でツール呼び出しが必要なローカルアシスタント。
• 小型モデルで JSON 出力が必要なパイプライン。
• 指示チューニング済みの Llama 3 8B を出発点としたファインチューニングの実験。

制限: Llama 3 世代の 8B モデルのため、新しい小型モデルより優先する前に、自分のタスクで品質とコンテキストの扱いを確認してください。

はじめかた

1. モデルカードを開き、プロンプト形式の節を読みます。
2. Hugging Face transformers で読み込むか、ローカルランナーで GGUF ビルドを使います。
3. ツールを使う場合は、tool_use チャットテンプレートと、モデルカードが GitHub でリンクしている関数呼び出し用コードを使います。

よくある質問

Hermes 2 Pro Llama-3 8B は何をベースにしていますか？

NousResearch/Meta-Llama-3-8B を、Nous Hermes 2 のデータと関数呼び出しデータで再学習したものです。

関数呼び出しと JSON モードに対応していますか？

はい。モデルカードは関数呼び出し評価 90%、JSON 構造化出力評価 84% と報告しています。

プロンプト形式は？

ChatML で、ツールには tool_use テンプレートを使います。

どのくらいのメモリが必要ですか？

モデルカードによると、4 ビット利用で VRAM 約 5GB です。

代替案

• Hermes 3 405B Instruct: 当サイトにあるもう 1 つの Hermes モデル。
• Llama 3 8B Instruct: 同じベースの Meta 公式の指示モデル。
• Llama 3.1 8B Instruct: 8B サイズの次世代 Llama。

まとめ

Hermes 2 Pro Llama-3 8B は、ツール呼び出し形式を内蔵したコンパクトなオープンモデルです。モデルカードから始め、ほかの選択肢はモデルカテゴリで比較してください。