Nous: Hermes 3 405B Instruct

Hermes 3 405B 是 Nous Research Hermes 3 系列的旗舰模型，发布在 Hugging Face，仓库为 NousResearch/Hermes-3-Llama-3.1-405B。模型卡称它是对 Meta Llama-3.1-405B 的"前沿级全参数微调"，目标是让模型与用户对齐。其技术报告《Hermes 3 Technical Report》（arXiv 2408.11857）由 Ryan Teknium、Jeffrey Quesnelle 和 Chen Guang 于 2024 年 8 月 15 日发表。截至 2026 年 10 月 29 日仓库仍在线。本条目介绍的是该模型在 Hugging Face 上的发布，不是 API 服务。

核心功能

• 基础与规模：基于 meta-llama/Llama-3.1-405B 微调，约 406B 参数，BF16 Safetensors。
• Nous 声称的能力：函数调用和结构化输出（JSON 模式）、智能体能力、角色扮演、推理、多轮对话和代码生成。使用 ChatML 提示格式，并通过系统提示实现可控性。
• 竞争力：模型卡称 Hermes 3 与 Llama-3.1 Instruct 模型相比具有竞争力，在某些方面可能更好，强弱因任务而异。详细对比在模型卡的图表中。
• 许可：沿用基础模型的 Llama 3 许可。
• 算力：模型卡致谢 LambdaLabs 及其 1-Click Cluster 服务。

适用场景

• 用大型开放模型做智能体和函数调用研究。
• 角色扮演、长多轮对话和可通过系统提示控制的使用方式。
• 作为进一步微调或蒸馏实验的基础。

局限：模型非常大。模型卡称 FP16 加载需要 800GB 以上显存，预量化的 FP8 版本（NousResearch/Hermes-3-Llama-3.1-405B-FP8）约需 430GB。模型卡没有给出上下文长度，Hugging Face 上也没有推理服务商托管它。

定价与可用性

权重可按 Llama 3 许可条款免费下载。模型卡没有列出托管价格，本条目不引用价格。模型卡给出了 Transformers、vLLM、SGLang 和 Docker Model Runner 的使用示例。

快速开始

1. 先查看 Llama 许可条款，再下载 BF16 或 FP8 权重。
2. 用 vLLM 或 SGLang 跨多 GPU 部署；显存有限时使用 FP8 版本。
3. 用 ChatML 和系统消息格式化提示词。

常见问题

Hermes 3 405B 基于什么模型？

据模型卡，基于 Meta 的 Llama-3.1-405B。

它需要多少显存？

据模型卡，FP16 需要 800GB 以上显存，FP8 版本约需 430GB。

它支持函数调用吗？

支持，模型卡列出了函数调用和 JSON 模式的结构化输出。

有更小的 Hermes 吗？

本站收录了 Hermes 2 Pro Llama-3 8B，这是 Nous 较早、较小的模型。

替代方案

• Llama 3.1 405B Instruct：基于同一基础模型的 Meta 官方指令模型。
• Llama 3.1 70B Instruct：小得多的 Meta 选项。
• Hermes 2 Pro Llama-3 8B：较早的轻量 Hermes。

总结

Hermes 3 405B 是可控、支持工具调用的开放微调模型，需要不小的硬件。想要更轻量的选择，可试试更小的 Llama 或 Hermes 模型。更多模型见模型分类。