Googleの「Agent Anomaly Detection」がプライベートプレビュー──エージェントの推論の痕跡・ツール呼び出し・実行の流れを事後に読んで「境界の外の振る舞い」を見つける。OWASP Agentic Top 10の4項目+資源枯渇、応答は遅くしない、Security Command Centerに通知、APIで次のツール呼び出しを止められる
Googleは2026年9月16日、Gemini Enterprise Agent Platformに配備した自律エージェント向けの監視・監査層「Agent Anomaly Detection」をプライベートプレビューで公開した。「エージェントが実行時に決めることが増えるほど、リスクはコードから振る舞いに移る。表面上は問題なく終わったセッションで、触るべきでないツールに手を伸ばしていても、何も失敗していないので通常の評価をすり抜ける」が問題意識。エージェントのログとOpenTelemetryのトレースを非同期に読み、OWASP Top 10 for Agentic Applications(2026)のツール誤用・権限濫用・連鎖障害・暴走エージェントと、資源枯渇・トークン急増を3層(統計的な外れ値→LLMの推論→ツール呼び出しの再構成)で検出。在庫一覧を大量にページングするセッションを「資源枯渇・Critical・95%」と判定する例を示す。所見はSecurity Command Centerに出て、APIとADKのコールバックで次のツール呼び出しを止められる。

2026年9月18日・日本時間時点の情報です。 Google for Developersのブログ(9月16日)を読んだ。当サイトはGoogleのADKについてModel Armorのガードレール(入出力を事前に遮断)とLLM呼び出し500回の天井を扱ってきたが、今回は「事前に止める」でも「回数で止める」でもなく、事後に振る舞いを読んで異常を見つける層で、Anthropicが同じ週に出したEnterprise Frontier Safeguards(事後監視・顧客に通知)と発想が同じ。
3行まとめ
- 何を見つけるか。 「能力の高いモデルが自動的に安全とは限らない。エージェントが実行時に決めることが増えるほど、リスクはコードから振る舞いに移る」。実害は表面上は問題なく終わるセッションで起き(触るべきでないツールに手を伸ばす、自分のアクセスを静かに広げる)、何も失敗していないので指標ベースの評価をすり抜ける。Agent Anomaly Detectionは、エージェントがすでに出しているログとOpenTelemetryのトレース(推論の痕跡・ツール呼び出し・実行の流れ)を読み、意図した境界の外で動いていないかを評価して、行動の異常・疑わしい意図・ポリシー違反にフラグを立てる。
- 仕組み。 分析はリクエスト経路の外で非同期に走り、応答の遅延を足さない。検出器は**OWASP Top 10 for Agentic Applications(2026)の4項目=ツールの誤用(ASI02)・IDと権限の濫用(ASI03)・連鎖障害(ASI08)・暴走エージェント(ASI10)と、資源枯渇・トークン使用量の急増。検出は3層:①軽い一次走査で全トラフィックから統計的な外れ値を拾う→②LLMの推論層がそのセッションを深く読む→③必要なら個々のツール呼び出しとオフセットを再構成して何が引き出されたかを示す。例:在庫一覧ツールを「100件ずつ」大きなオフセットで呼び続けるセッションは、エラーも出ず禁止する規則も無いが、②で「通常の閲覧ではなく体系的なスクレイピング」と判定し、「資源枯渇・Critical・95%」**の所見と、レート制限・認可の追加・大きなオフセットのページングへのアラートという推奨を返す。
- どう使うか。 所見は重大度・平易な説明・推奨する次の手つきで、Security Command Centerにも出て他の所見と一緒にトリアージできる。APIでセッションの異常を取れるので、ADKのコールバックやプラグインで重大度と確率を見て、閾値を超えたら次のツール呼び出しを止める・次のターンを止めることができる。自然言語と決定的ルールで自社の業務基準に合わせた検出器を書き、過去のトラフィックで精度を検証する機能も準備中。対象はGemini Enterprise Agent PlatformでADK 1.2以上のチーム。
「事前」「回数」「事後」の3層(当サイトの整理)
| 層 | Googleの道具 | 何を止めるか |
|---|---|---|
| 事前(入出力) | Model Armor(ADKプラグイン) | 危険な入力・出力をその場で遮断 |
| 回数 | ADK_MAX_LLM_CALLS(既定500) | 暴走の回数に天井 |
| 事後(振る舞い) | Agent Anomaly Detection | 境界の外の行動パターンを検知し、次の呼び出しを止める |
読み方
- 「何も失敗していないセッション」を疑うのが要点で、当サイトがAIエージェントの作り方で挙げた安全装置(ツール限定・回数上限・ドル上限・サンドボックス)は「止める条件」だったが、こちらは「止める条件に当たらなかった行動」を後から見る
- AnthropicのEFSが「時間とアカウントをまたぐ悪用を相関で見る」のと、Googleの「セッション内の行動パターンを3層で見る」は対象が違う(EFSは顧客横断の悪用、こちらは自社エージェントの逸脱)。Anthropicの評価環境からの脱出の件で作られた「脱出を検知して止める分類器」に近いのは、こちらのAPIで止める使い方
- OWASPの分類に寄せたことで、所見が業界共通の言葉になる。ただし現時点は4項目+運用リスクに絞られている
筆者が確かめた点
この記事の下調べで、筆者は9月18日にGoogle for Developersのブログを取得し、3層の検出・OWASPの4項目・在庫一覧の例と「Critical・95%」・APIとADKコールバックでの停止・ADK 1.2の条件がその原文にあることを確認した。筆者はGemini Enterprise Agent Platformを使っておらず、プライベートプレビューには申請していない。
書かれていないこと
- 料金と、プレビューから一般提供までの時期
- LLM推論層に使うモデルと、誤検知率
- カスタム検出器の提供時期
出典はGoogle for Developersのブログ
- Google「Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform」(2026年9月16日)
- 本記事は一般提供やカスタム検出器の公開があったら追記する
関連記事
出典・参照資料
AIニュースの解説を動画でも
YouTubeでは注目ニュースの背景を解説し、Xでは新着記事をお知らせしています。
コメント
まだコメントはありません。最初のコメントを書いてみませんか?
AIについて聞きたいことはありますか?
質問箱で無料で受け付けています。回答は公開され、他の方の参考にもなります。
質問箱を見る →新しい記事をメールで受け取る
AIの新しい発表を、出典付きで整理して届けます。