Mistral Nemo Inferor 12B

Mistral Nemo Inferor 12B 在 Hugging Face 上的名称是 Infermatic/MN-12B-Inferor-v0.0，是一个社区模型，而不是 Mistral AI 的官方发布。根据其模型卡，它来自 Infermatic AI，作者称这是“我的第一次模型融合”。名称点出了它的来历：这是一个 Mistral 架构的 12B 文本生成模型，由衍生自 Mistral Nemo 12B 的模型融合而成。

构建方式

模型卡说明该模型使用 mergekit 的 Model Stock 方法生成，以 anthracite-org/magnum-v4-12b 为基座，并融合了另外三个模型：

模型规格

模型卡没有公布基准结果或预期用途，推荐的采样参数放在其链接的外部文章中。由于模型卡未说明许可证，商用前请核对被融合源模型的许可证。

核心功能

• 融合四个 12B 模型：结合了 Nemo 12B 微调模型中的 Magnum v4、Gutenberg Doppel、Starcannon 和 Sunrose 几条线。
• 单卡可运行的规模：BF16 下 12B 参数适合工作站硬件，量化版本可在常见本地应用中运行。
• 托管选项：模型卡列出 Featherless AI 作为推理提供方。

适用场景

• 用基于社区 Nemo 变体调出的 12B 模型做本地实验。
• 对比 Model Stock 等融合方法时的参考。
• 想试用小型社区融合模型的业余聊天和创意写作场景。

需要注意：这是 v0.0 的社区融合模型，没有公布评测、没有说明许可证，也没有厂商支持，不适合生产环境。

快速开始

1. 阅读模型卡以及四个被融合源模型的页面。
2. 选择运行时：BF16 权重用 Transformers 或 vLLM，本地使用则用 llama.cpp、Ollama 或 LM Studio 中的量化版本。
3. 用自己的提示词和采样设置测试，因为模型卡没有列出这些设置。

常见问题

谁制作了 Mistral Nemo Inferor 12B？

根据 Hugging Face 模型卡，是 Infermatic AI。它不是 Mistral AI 的官方模型。

它是怎么构建的？

用 mergekit 的 Model Stock 方法，在 magnum-v4-12b 基座上融合模型。

上下文长度和许可证是什么？

模型卡两项都没有说明。

有量化版本吗？

有，模型卡在 Hub 上列出了两个量化变体。

替代方案

• Mistral Nemo：Mistral 自己的 12B Nemo 模型。
• Rocinante 12B：另一个面向故事创作的 12B 社区微调模型。
• Mistral Small：Mistral 的小型模型系列。
• Mistral Large 4：Mistral 的大型多模态模型。

总结

Mistral Nemo Inferor 12B 是一个适合做实验的小型社区融合模型，第一方文档有限。使用前请阅读模型卡和各源模型的许可证，更多内容见模型分类。