OpenChat 3.5 7B

OpenChat 3.5 7B 是 OpenChat 项目的开放对话模型。本词条链接的版本是 Hugging Face 上的 openchat/openchat-3.5-0106。据模型卡，它基于 Mistral-7B-v0.1，有 7B 参数、8,192 token 上下文，采用 Apache-2.0 许可。OpenChat 的方法见论文 OpenChat: Advancing Open-source Language Models with Mixed-Quality Data，日期为 2023 年 9 月 20 日。

当前状态

权重仍以开放形式在 Hugging Face 上提供。模型卡没有宣布弃用或继任者；这是一款 2024 年代的小型 7B 模型，同等规模的更新开放模型很可能表现更好。可参考本站收录的 Meta Llama 3.1 8B Instruct 和 Mistral 7B Instruct。

核心功能

• 基于 Mistral-7B-v0.1 的 7B 模型：体积小，可在消费级 GPU 上运行，模型卡称可在 24 GB 显卡上运行。
• 8,192 token 上下文。
• 官方公布的基准（0106 版本）：平均 64.5、MT-Bench 7.8、HumanEval 71.3、MMLU 65.8、GSM8K 77.4、TruthfulQA 61.0。模型卡还对比了 OpenChat-3.5-1210（平均 63.8）、OpenChat-3.5（61.6）和 ChatGPT（March）（61.5）。作者称这些是自己的评测和报告结果。
• 两种模式：默认提示格式（GPT4 Correct User: ... <|end_of_turn|>GPT4 Correct Assistant:）和数学模式（Math Correct User: ...）。需把 <|end_of_turn|> 设为生成结束 token。
• 兼容 OpenAI 的服务：项目自带的服务遵循 OpenAI ChatCompletion API。
• 许可：Apache 2.0。

适用场景

• 轻量的自托管聊天助手和原型。
• 小型开放对话模型的教学与实验。
• 对比更新的 7B 模型时的基线。

局限：这是小模型，基准成绩来自作者本人，而非独立审计。

定价方案

权重在 Apache 2.0 下免费，成本是你自己的 GPU 时间，或托管该模型的第三方服务的价格。

快速开始

1. 打开 Hugging Face 模型卡。
2. 用项目自带的兼容 OpenAI 的服务部署：python -m ochat.serving.openai_api_server --model openchat/openchat-3.5-0106 --engine-use-ray --worker-use-ray，监听 localhost:18888。
3. 请求中使用模型名 openchat_3.5。数学模式需加 "condition": "Math Correct"。

常见问题

OpenChat 3.5 基于什么模型？

据 Hugging Face 模型卡，基于 Mistral-7B-v0.1。

上下文长度是多少？

8,192 token。

可以商用吗？

模型卡列出 Apache-2.0 许可。

它报告的 MT-Bench 得分是多少？

OpenChat-3.5-0106 为 7.8，由作者报告。

替代方案

• Llama 3.1 8B Instruct：Meta 的小型指令模型，上下文 128K。
• Mistral 7B Instruct：Mistral 对同系基座的官方指令微调版本。
• WizardLM-2 7B：同样基于 Mistral-7B-v0.1 的开放 7B 对话模型。

总结

OpenChat 3.5 7B 展示了 7B 开放模型借助混合质量数据微调能走多远。它仍是便于自托管的小模型，但请在自己的任务上与更新的 7B、8B 模型对比。详情见模型卡。