NousResearch: Hermes 2 Pro - Llama-3 8B

Hermes 2 Pro - Llama-3 8B 是 NousResearch 的模型。其 Hugging Face 模型卡称它是 Nous Hermes 2 的升级重训版本，基于 NousResearch/Meta-Llama-3-8B。它在通用聊天模型上增加了结构化函数调用和 JSON 输出，以开放权重发布，并提供 GGUF 版本供本地使用。

核心功能

• 训练数据：清洗后的 teknium/OpenHermes-2.5 数据集，加上自建的函数调用和 JSON 模式数据集。
• 提示格式：ChatML，并提供用于函数调用的 tool_use 聊天模板。<tool_call> 和 <tool_response> 等标签是单个 token，便于流式解析。
• 函数调用：据模型卡，在与 Fireworks.AI 共同构建的函数调用评测中得分 90%。
• JSON 结构化输出：据模型卡，在结构化 JSON 输出评测中得分 84%。两者均为厂商报告的结果。
• 报告的基准：据模型卡，GPT4All 平均 72.62、AGIEval 平均 42.44、BigBench 平均 43.55、TruthfulQA mc1 0.410、mc2 0.578。
• 本地使用：提供 GGUF 版本，模型卡称 4 位推理约需 5GB 显存，并推荐用 LM Studio 进行不含函数调用的聊天。

许可证与致谢

该模型使用 Llama 3 许可证。模型卡致谢 Teknium、interstellarninja、theemozilla、karan4d 和 huemin_art，并称这是 Nous Research、interstellarninja 与 Fireworks.AI 的合作成果。模型卡没有给出发布日期，因此本页不提供。

适用场景

• 需要以可预测标签格式进行工具调用的本地助手。
• 需要小模型输出 JSON 的流水线。
• 以指令微调的 Llama 3 8B 为起点的微调实验。

局限：这是 Llama 3 世代的 8B 模型，选择它而非更新的小模型之前，请在自己的任务上测试质量和上下文处理。

快速开始

1. 打开模型卡，阅读提示格式部分。
2. 用 Hugging Face transformers 加载模型，或在本地运行器中使用 GGUF 版本。
3. 使用工具时，采用 tool_use 聊天模板，以及模型卡链接的 GitHub 上单独的函数调用代码。

常见问题

Hermes 2 Pro Llama-3 8B 基于什么？

基于 NousResearch/Meta-Llama-3-8B，用 Nous Hermes 2 数据重训并加入函数调用数据。

支持函数调用和 JSON 模式吗？

支持。模型卡报告函数调用评测 90%，JSON 结构化输出评测 84%。

使用什么提示格式？

ChatML，工具使用 tool_use 模板。

需要多少显存？

据模型卡，4 位使用约需 5GB 显存。

替代方案

• Hermes 3 405B Instruct：本站收录的另一个 Hermes 模型。
• Llama 3 8B Instruct：同一基座上 Meta 自己的指令模型。
• Llama 3.1 8B Instruct：8B 规模的下一代 Llama。

总结

Hermes 2 Pro Llama-3 8B 是内置工具调用格式的紧凑开放模型。请从模型卡入手，更多选项见模型分类。