定義

セーフティ分類器は、入力データ、テキスト、画像、またはコードを分析し、事前に定義された安全ポリシーに違反しているか、有害なコンテンツを含んでいるかを判断するために設計された特殊な機械学習モデルです。その主な機能は、コンテンツがエンドユーザーに届く前、または下流システムによってさらに処理される前に、ゲートキーパーとして機能し、コンテンツにフラグを立てたり拒否したりすることです。

なぜ重要なのか

生成AIの時代において、ヘイトスピーチ、誤報、危険な指示の生成といった悪用の可能性は重大です。セーフティ分類器は、ブランドの評判を維持し、法的コンプライアンスを確保し、倫理基準を維持するために不可欠です。これらは、有害または禁止された出力に対する自動化された防御層を提供します。

仕組み

この分類器は、暴力、性的コンテンツ、自傷行為、バイアスなど、さまざまな種類の危害について細心の注意を払ってラベル付けされた膨大なデータセットで訓練されています。新しいデータが提示されると、モデルはいくつかの定義されたリスクカテゴリ全体で確率スコアを計算します。いずれかのカテゴリのスコアが所定のしきい値を超えると、コンテンツはレビューのためにフラグが立てられるか、自動的にブロックされます。

一般的なユースケース

• コンテンツモデレーション： プラットフォーム上のユーザー生成コンテンツのフィルタリング。
• 生成AIのガードレール： LLMが禁止された応答（例：違法行為の指示）を生成するのを防ぐ。
• データサニタイゼーション： トレーニングまたはデプロイ前にデータセットから機密性の高い個人情報（PII）を特定し削除する。
• バイアス検出： 不公平な表現や保護されたグループに対する体系的なバイアスについて出力をスコアリングする。

主な利点

• スケーラビリティ： 人間によるレビューアでは追いつけない速度で、膨大な量のデータにわたるレビュープロセスを自動化します。
• 一貫性： ポリシーを一律に適用し、モデレーション判断における主観的な人的エラーを削減します。
• リスク軽減： 有害なコンテンツに関連する法的および評判上のリスクを積極的に低減します。

課題

• 偽陽性/偽陰性： 過度に厳格な分類器は合法的なコンテンツをブロックする可能性があり（偽陽性）、弱い分類器は有害な資料を見逃す可能性があります（偽陰性）。
• 敵対的攻撃： 悪意のあるアクターは、既存の分類器を「脱獄」またはバイパスする方法を絶えず開発しています。
• 文脈的なニュアンス： 分類器は、深い文脈的理解を必要とする皮肉、風刺、または文化的に固有の言語を扱うのに苦労することがあります。

関連概念

関連概念には、コンテンツフィルタリング、入出力ガードレール、毒性検出、AIアライメントが含まれます。