omni-moderation-latest
omni-moderation-latest 是 OpenAI 当前多模态审核模型的别名,由 Moderations 接口提供。据 OpenAI 的审核指南,该审核接口可免费使用,接受文本和图像输入,返回可用于过滤内容的标记和类别分数。图像文件最大 20 MB,不支持音频。
当前状态
在线可用。指南没有列出弃用信息,但说明底层模型会不断升级,因此基于 category_scores 的自定义策略在升级后可能需要重新校准。由于名称是别名,你无需改代码,行为也可能发生变化。
核心功能
- 免费:指南称审核接口可免费使用。
- 多模态:一次请求即可输入文本和图像。
- 13 个类别:harassment、harassment/threatening、hate、hate/threatening、illicit、illicit/violent、self-harm、self-harm/intent、self-harm/instructions、sexual、sexual/minors、violence 和 violence/graphic。
- 各类别的输入支持:指南指出部分类别仅支持文本(harassment、harassment/threatening、hate、hate/threatening、illicit、illicit/violent 和 sexual/minors),而 self-harm、sexual、violence 和 violence/graphic 同时支持文本和图像。
- 分数与标记:可直接用布尔标记,也可对
category_scores自设阈值。 - 接口:
POST https://api.openai.com/v1/moderations。指南还介绍了通过 Responses API 的moderation参数在请求中内联审核。
指南未说明支持哪些语言。
适用场景
- 在用户提示和上传图像进入你的应用或其他模型之前做筛查。
- 在向用户展示前检查模型输出。
- 按类别分数排序的人工复核队列。
局限:类别是固定的。若需要自定义策略,可考虑策略自适应的分类器,如 Mistral Shieldstral 1.0。
定价方案
据审核指南,免费使用。
快速开始
- 向
/v1/moderations发送POST请求,model设为omni-moderation-latest,并附上文本或图像输入。 - 从响应中读取
flagged和category_scores。 - OpenAI 升级模型时,重新测试你的阈值。
常见问题
OpenAI 的审核 API 免费吗?
免费。审核指南称该接口可免费使用。
能审核图像吗?
能。它接受文本和图像输入,图像最大 20 MB。不支持音频。
能检测哪些类别?
十三类:harassment、harassment/threatening、hate、hate/threatening、illicit、illicit/violent、self-harm、self-harm/intent、self-harm/instructions、sexual、sexual/minors、violence 和 violence/graphic。
模型会变吗?
OpenAI 称底层模型会不断升级,所以请重新校准自定义阈值。
替代方案
- Text Moderation:OpenAI 较早的纯文本审核模型。
- Llama Guard 3:Meta 可自托管的开源安全分类器。
- Mistral Shieldstral 1.0:开放的、策略自适应的文本与图像审核模型。
总结
omni-moderation-latest 是免费、类别固定的文本与图像审核接口。可把它当作低成本的第一道过滤,并对照官方指南固定你自己的阈值,因为底层模型会变化。
评论
还没有评论。成为第一个评论的人!