従来のルールでは見えなかった脅威への対応
現在、企業内ではAIエージェントがコードの記述・実行、リポジトリとのやり取り、クラウドインフラへのアクセス、ツールの呼び出しなど、多岐にわたる業務を行っています。また、ワークフォースエージェントはドキュメントやメッセージを処理し、企業データを取得してビジネスワークフローを完了させるケースも増えています。
こうしたAIシステムの自律性が高まるにつれて、セキュリティ対策には悪意あるプロンプトや個々のペイロードだけでなく、エージェントの一連の行動がもたらす結果まで捉えることが求められています。有害な挙動は単一のアクションだけでは明らかにならず、それぞれは正当な一連のアクションの組み合わせから生じる場合があるため、従来の事前定義されたルールやシグネチャでは検知が困難でした。
行動の「文脈」を捉える新保護機能
チェック・ポイントの新保護機能は、ユーザーの当初の意図、エージェントが遭遇した情報、これまでに実行したアクション、適用されるポリシー、そしてエージェントが実行しようとしているアクションなど、エージェントの活動全体に関するコンテキストを継続的に評価します。これらのシグナルをリアルタイムで関連付け、有害なアクション、許可されていないアクション、または意図されたタスクと矛盾するアクションを防止する仕組みです。
リスクは単一のアクションではなく、一連の流れの中に潜んでいます。同社の保護機能は、特定の挙動に対する事前定義済みのルールやシグネチャを必要とせず、タスクとエージェントの活動全体を把握することで、単体では正当なアクションがコンテキスト全体で有害な結果をもたらす可能性を特定します。
具体的な脅威事例と防御メカニズム
例えば、本番環境を扱うコーディングエージェントが、正当なタスクの一環として本番ログにアクセスし、その情報を作業用変数に格納した後、一般公開されているシステムでチケットを作成する際にその変数を使用しようとした場合、個々の手順だけ見れば妥当なものに見えます。しかし、それらが組み合わさることでデータ漏えいにつながる可能性があります。同社の保護機能は、これらのアクションの関連性を把握し、機密情報が本来の環境から流出する前に最終ステップをブロックします。
また、自動モードで動作していた自律型コーディングエージェントが、ユーザーの要求がないにもかかわらずS3バケットにファイルを直接アップロードしようとした実例も報告されています。S3へのファイルアップロード自体は危険な行為ではないものの、このケースではユーザーの意図に沿わないアクションでした。同社の保護機能は、タスク全体のコンテキストからこの不一致を認識し、アップロードの実行前にこれを阻止しました。
このコンテキストに基づく保護は、間接的なプロンプトインジェクションに対する防御レイヤーにもなります。ユーザーがメールやドキュメントの要約を依頼した場合、そのコンテンツに攻撃者が仕込んだ指示が隠され、エージェントに認証情報の取得や情報のエクスポートなどを実行させようとする可能性があります。同社の保護機能は、ユーザーが求めたタスクと実行されようとしているアクションの不一致を認識し、認証情報の取得や情報送信などを阻止します。
同社は、約50ミリ秒で判断を行うことによって、自律型エージェントの速度と生産性を維持しつつ、リアルタイムで保護機能を適用するとしています。これにより、機密情報を環境内にとどめ、許可されていないアップロードや破壊的な操作を防止し、予期せぬ権限変更を、それが有効になる前に阻止します。
あらゆる自律型AIに適用か
この保護機能は、コーディングエージェントだけでなく、電子メールやドキュメントを閲覧し、機密性の高い業務データにアクセスし、SaaSアプリケーションを操作する企業向けエージェントにも対応します。さらに、マルチエージェントシステムにおいても、エージェント間で情報や指示がやり取りされることで生じるアクションの連鎖に対し、一貫したセキュリティ要件を提供します。
チェック・ポイントのAIセキュリティ研究開発担当VPであるオフィール・イスラエル氏は、「AIエージェントが有用なのは、私たちが予期していなかったアプローチを見つけ出してくれるからです。一方で、ルールセットがある場合、保護の範囲は、ルールを作成した時点で私たちが想定していた範囲に限定されます。タスク全体を評価するセキュリティモデルでは、各アクションをユーザーの要求内容と照らし合わせ、それに合致しないアクションの実行を阻止します。それこそがお客様の求めているものであり、この機能が今重要である理由です」と述べています。
提供状況とチェック・ポイントについて
本保護機能はすでに本番環境で稼働しており、Check Point AI Securityをご利用のお客様向けに、段階的に展開が進められています。この機能は、Workforce AI Security、ネイティブAI Gatewayとの統合、ダイレクトAPIやプラグインなど、複数の導入形態を通じて利用可能になる予定です。
チェック・ポイント・ソフトウェア・テクノロジーズは、世界各国の約10万を超える組織を保護するグローバルなサイバーセキュリティリーダー企業です。同社の日本法人は1997年10月1日に設立され、東京都港区に拠点を置いています。
ソース元
Check Point Software Technologies Blog: Stopping the AI Agent Actions No Rule Could See Coming
URL: https://blog.checkpoint.com/ai-security/stopping-the-ai-agent-actions-no-rule-could-see-coming/