定義

AIレート制限とは、サービスプロバイダーが、特定の時間枠内でユーザー、アプリケーション、またはサービスが人工知能モデルやAPIに対して送信できるリクエストの頻度と量を制御するために使用するメカニズムを指します。これは、悪用、過負荷、暴走プロセスに対する保護バリアとして機能します。

なぜ重要なのか

計算集約型のAIモデルの文脈では、過剰で管理されていないリクエストはいくつかの重大な問題を引き起こす可能性があります。制限がない場合、トラフィックの突然の急増がサーバーリソース（CPU、GPU、メモリ）を枯渇させ、パフォーマンスの低下、レイテンシの増加、およびすべてのユーザーに対するサービスの完全な停止につながる可能性があります。レート制限は、公平なリソース割り当てを保証し、サービス品質を維持します。

仕組み

レート制限アルゴリズムは、定義されたしきい値に対して着信リクエストを追跡します。一般的な方法は次のとおりです。

• 固定ウィンドウカウンター (Fixed Window Counter)： 固定された時間ウィンドウ内で一定数のリクエストを許可します（例：1分あたり100リクエスト）。
• スライディングウィンドウログ (Sliding Window Log)： 最近のリクエストのタイムスタンプを追跡することで、ウィンドウ境界でのバーストを防ぎ、より正確なカウントを提供します。
• トークンバケット (Token Bucket)： 定速でバケットにトークンを充填することで短時間のトラフィックバーストを許可します。リクエストは1つのトークンを消費します。

クライアントが制限を超えた場合、システムは通常、HTTPステータスコード（最も一般的なのは429 Too Many Requests）を返します。これには、クライアントがいつ再試行すべきかを指示するRetry-Afterヘッダーが含まれることがよくあります。

一般的なユースケース

AIレート制限は、さまざまな運用シナリオで不可欠です。

• サービス拒否 (DoS) の防止： 基盤となるインフラストラクチャを悪意のある、または偶発的な洪水から保護します。
• コスト管理： 多くのAIサービスは使用量ベース（従量課金）であるため、リクエストを制限することは運用支出を直接制御します。
• 公平な利用の保証： 一人の重いユーザーが他の有料または標準ユーザーが必要とするリソースを独占しないことを保証します。
• モデル負荷の管理： 特にピーク需要期間中に推論時間を安定させます。

主な利点

堅牢なレート制限を実装することで、具体的なビジネス上の利点が得られます。予測可能なサービス稼働時間を保証し、クラウドインフラストラクチャのコストを効果的に管理し、消費者とのサービスレベルアグリーメント（SLA）を強制するための明確なメカニズムを提供します。

課題

主な課題は、正しいしきい値を設定することです。制限が厳しすぎると、正当な高トラフィックユーザーが不必要なエラーを経験する可能性があります。制限が緩すぎると、システムは過負荷に対して脆弱なままになります。微調整には、予想されるトラフィックパターンについての深い理解が必要です。

関連概念

この概念は、リクエストレートを制御するという一般的な行為であるAPIスロットリングと密接に関連しています。また、異なるサブスクリプションレベルが異なるレート制限を受ける使用階層化（Usage Tiering）やサービス品質（QoS）ポリシーとも交差します。