omni-moderation-latest

omni-moderation-latest は、OpenAI の現行マルチモーダルモデレーションモデルのエイリアスで、Moderations エンドポイントから提供されます。OpenAI のモデレーションガイドによると、このエンドポイントは無料で、テキストと画像を入力でき、コンテンツのフィルタリングに使えるフラグとカテゴリスコアを返します。画像ファイルは最大 20 MB で、音声には対応していません。

ステータス

提供中です。ガイドに非推奨の記載はありませんが、基盤モデルは今後アップグレードされるため、category_scores に基づく独自ポリシーはアップグレード後に再調整が必要になることがあるとしています。名前がエイリアスのため、こちらのコードを変えなくても挙動が変わる可能性があります。

主な機能

• 無料：ガイドによるとエンドポイントは無料で使えます。
• マルチモーダル：1 回のリクエストでテキストと画像を入力できます。
• 13 カテゴリ：harassment、harassment/threatening、hate、hate/threatening、illicit、illicit/violent、self-harm、self-harm/intent、self-harm/instructions、sexual、sexual/minors、violence、violence/graphic。
• カテゴリごとの入力対応：ガイドによると、harassment、harassment/threatening、hate、hate/threatening、illicit、illicit/violent、sexual/minors はテキストのみで、self-harm、sexual、violence、violence/graphic はテキストと画像に対応します。
• スコアとフラグ：真偽値のフラグをそのまま使うか、category_scores に独自のしきい値を設定します。
• エンドポイント：POST https://api.openai.com/v1/moderations。ガイドは Responses API の moderation パラメータでインラインにモデレーションを要求する方法も説明しています。

ガイドには対応言語の記載がありません。

活用シーン

• ユーザーのプロンプトやアップロード画像が、アプリや別のモデルに届く前のスクリーニング。
• ユーザーに表示する前のモデル出力のチェック。
• カテゴリスコア順に並べた、人手レビュー用のトリアージキュー。

制約：カテゴリは固定です。独自ポリシーが必要なら、Mistral Shieldstral 1.0 のようなポリシー適応型の分類器を検討してください。

料金プラン

モデレーションガイドによると無料です。

はじめに

1. /v1/moderations に POST し、model に omni-moderation-latest、入力にテキストまたは画像を指定します。
2. レスポンスの flagged と category_scores を読みます。
3. OpenAI がモデルをアップグレードしたら、しきい値を再テストします。

よくある質問

OpenAI のモデレーション API は無料ですか？

はい。モデレーションガイドによるとエンドポイントは無料で使えます。

画像もモデレーションできますか？

できます。テキストと画像を入力でき、画像は最大 20 MB です。音声は非対応です。

どのカテゴリを検出しますか？

13 カテゴリ：harassment、harassment/threatening、hate、hate/threatening、illicit、illicit/violent、self-harm、self-harm/intent、self-harm/instructions、sexual、sexual/minors、violence、violence/graphic です。

モデルは変わりますか？

OpenAI は基盤モデルが今後アップグレードされるとしているため、独自のしきい値は再調整してください。

代替案

• Text Moderation：OpenAI の以前のテキスト専用モデレーションモデル。
• Llama Guard 3：セルフホストできる Meta のオープンな安全性分類器。
• Mistral Shieldstral 1.0：オープンでポリシー適応型のテキスト・画像モデレーションモデル。

まとめ

omni-moderation-latest は、無料でカテゴリ固定のテキスト・画像モデレーションのエンドポイントです。低コストな第一段のフィルターとして使い、基盤モデルが変わるため公式ガイドを確認しつつ自分のしきい値を固定してください。