Mistral: Mistral 7B Instruct
Mistral 7B Instruct 是 Mistral 7B 的指令微调版本。Mistral 7B 是 Mistral AI 于 2023 年 9 月 27 日发布的 73 亿参数模型,采用 Apache 2.0 许可。Mistral 发布了三个版本的指令模型;v0.3 模型卡称其为 Mistral-7B-v0.3 的指令微调版本。在 Mistral 托管 API 上该模型已退役:已弃用模型表把 Mistral 7B(open-mistral-7b)的三个版本都列为 2024/11/30 弃用、2025/3/30 退役,替代模型为 Ministral 3 8B。开放权重仍保留在 Hugging Face。Mistral 当前的模型列表见 mistral.ai/models。
核心功能
- 高效架构:据 Mistral 公告,模型使用分组查询注意力加快推理,并使用滑动窗口注意力,每层关注前 4,096 个隐藏状态。
- 厂商对比:Mistral 称基础模型在其测试的所有基准上超过 Llama 2 13B,在 MMLU 上表现相当于三倍以上规模的 Llama 2 模型。这些是 2023 年厂商自己的说法。
- v0.3 变化:模型卡列出词表扩展到 32,768 个 token,支持 v3 分词器和函数调用(相对 v0.2)。
- 许可:Apache-2.0,除许可文本外没有其他使用限制。
适用场景
- 在普通硬件上进行本地或端侧对话和文本生成。
- 作为开放模型,用于微调和函数调用实验。
- 了解后续 Mistral 小模型的渊源。
局限:这是 2023 年代的模型,模型卡没有给出上下文长度,托管 API 版本已退役,需要自行部署权重。
定价与可用性
权重在 Apache 2.0 下免费。托管的 open-mistral-7b 端点已于 2025 年 3 月 30 日退役,因此没有当前的官方 API 价格。托管选项请看 Mistral Small。
快速开始
- 从 Hugging Face 下载
mistralai/Mistral-7B-Instruct-v0.3。 - 使用函数调用请用 Transformers 4.42.0 或更高版本,工具调用 ID 必须恰好是 9 位字母数字。
- 如需托管使用,请改选 Mistral 当前的模型。
常见问题
Mistral 7B Instruct 还能用吗?
权重仍在 Hugging Face 上,采用 Apache 2.0;但 Mistral 自己的 API 已在 2025/3/30 退役 7B 模型。
API 上谁取代了 Mistral 7B?
Mistral 的表格把 Ministral 3 8B 列为三个版本的替代。
Mistral 7B Instruct 是开源的吗?
是的,采用 Apache 2.0 许可。
早期的 Mistral Tiny 是什么?
Mistral Tiny 是同一个 7B 模型的 API 名称,见 Mistral Tiny。
替代方案
- Mistral Tiny:7B 模型的旧 API 别名。
- Mistral Small:Mistral 更大的小型模型。
- Mistral Nemo:与 NVIDIA 合作的 12B 模型。
总结
Mistral 7B Instruct 曾是影响深远的小型开放模型,下载的权重仍可使用,但 API 模型已退役。更多模型见模型分类。
评论
还没有评论。成为第一个评论的人!