AI時短ラボ
プロダクト· 約8分

Googleの「Agent Anomaly Detection」がプライベートプレビュー──エージェントの推論の痕跡・ツール呼び出し・実行の流れを事後に読んで「境界の外の振る舞い」を見つける。OWASP Agentic Top 10の4項目+資源枯渇、応答は遅くしない、Security Command Centerに通知、APIで次のツール呼び出しを止められる

Googleは2026年9月16日、Gemini Enterprise Agent Platformに配備した自律エージェント向けの監視・監査層「Agent Anomaly Detection」をプライベートプレビューで公開した。「エージェントが実行時に決めることが増えるほど、リスクはコードから振る舞いに移る。表面上は問題なく終わったセッションで、触るべきでないツールに手を伸ばしていても、何も失敗していないので通常の評価をすり抜ける」が問題意識。エージェントのログとOpenTelemetryのトレースを非同期に読み、OWASP Top 10 for Agentic Applications(2026)のツール誤用・権限濫用・連鎖障害・暴走エージェントと、資源枯渇・トークン急増を3層(統計的な外れ値→LLMの推論→ツール呼び出しの再構成)で検出。在庫一覧を大量にページングするセッションを「資源枯渇・Critical・95%」と判定する例を示す。所見はSecurity Command Centerに出て、APIとADKのコールバックで次のツール呼び出しを止められる。

Googleの「Agent Anomaly Detection」がプライベートプレビュー──エージェントの推論の痕跡・ツール呼び出し・実行の流れを事後に読んで「境界の外の振る舞い」を見つける。OWASP Agentic Top 10の4項目+資源枯渇、応答は遅くしない、Security Command Centerに通知、APIで次のツール呼び出しを止められる
執筆・編集:
目次

2026年9月18日・日本時間時点の情報です。 Google for Developersのブログ(9月16日)を読んだ。当サイトはGoogleのADKについてModel Armorのガードレール(入出力を事前に遮断)とLLM呼び出し500回の天井を扱ってきたが、今回は「事前に止める」でも「回数で止める」でもなく、事後に振る舞いを読んで異常を見つける層で、Anthropicが同じ週に出したEnterprise Frontier Safeguards(事後監視・顧客に通知)と発想が同じ。

3行まとめ

  1. 何を見つけるか。 「能力の高いモデルが自動的に安全とは限らない。エージェントが実行時に決めることが増えるほど、リスクはコードから振る舞いに移る」。実害は表面上は問題なく終わるセッションで起き(触るべきでないツールに手を伸ばす、自分のアクセスを静かに広げる)、何も失敗していないので指標ベースの評価をすり抜ける。Agent Anomaly Detectionは、エージェントがすでに出しているログとOpenTelemetryのトレース(推論の痕跡・ツール呼び出し・実行の流れ)を読み、意図した境界の外で動いていないかを評価して、行動の異常・疑わしい意図・ポリシー違反にフラグを立てる。
  2. 仕組み。 分析はリクエスト経路の外で非同期に走り、応答の遅延を足さない。検出器は**OWASP Top 10 for Agentic Applications(2026)の4項目=ツールの誤用(ASI02)・IDと権限の濫用(ASI03)・連鎖障害(ASI08)・暴走エージェント(ASI10)と、資源枯渇・トークン使用量の急増。検出は3層:①軽い一次走査で全トラフィックから統計的な外れ値を拾う→②LLMの推論層がそのセッションを深く読む→③必要なら個々のツール呼び出しとオフセットを再構成して何が引き出されたかを示す。例:在庫一覧ツールを「100件ずつ」大きなオフセットで呼び続けるセッションは、エラーも出ず禁止する規則も無いが、②で「通常の閲覧ではなく体系的なスクレイピング」と判定し、「資源枯渇・Critical・95%」**の所見と、レート制限・認可の追加・大きなオフセットのページングへのアラートという推奨を返す。
  3. どう使うか。 所見は重大度・平易な説明・推奨する次の手つきで、Security Command Centerにも出て他の所見と一緒にトリアージできる。APIでセッションの異常を取れるので、ADKのコールバックやプラグインで重大度と確率を見て、閾値を超えたら次のツール呼び出しを止める・次のターンを止めることができる。自然言語と決定的ルールで自社の業務基準に合わせた検出器を書き、過去のトラフィックで精度を検証する機能も準備中。対象はGemini Enterprise Agent PlatformでADK 1.2以上のチーム。

「事前」「回数」「事後」の3層(当サイトの整理)

層 Googleの道具 何を止めるか
事前(入出力) Model Armor(ADKプラグイン) 危険な入力・出力をその場で遮断
回数 ADK_MAX_LLM_CALLS(既定500) 暴走の回数に天井
事後(振る舞い) Agent Anomaly Detection 境界の外の行動パターンを検知し、次の呼び出しを止める

読み方

  • 「何も失敗していないセッション」を疑うのが要点で、当サイトがAIエージェントの作り方で挙げた安全装置(ツール限定・回数上限・ドル上限・サンドボックス)は「止める条件」だったが、こちらは「止める条件に当たらなかった行動」を後から見る
  • AnthropicのEFSが「時間とアカウントをまたぐ悪用を相関で見る」のと、Googleの「セッション内の行動パターンを3層で見る」は対象が違う(EFSは顧客横断の悪用、こちらは自社エージェントの逸脱)。Anthropicの評価環境からの脱出の件で作られた「脱出を検知して止める分類器」に近いのは、こちらのAPIで止める使い方
  • OWASPの分類に寄せたことで、所見が業界共通の言葉になる。ただし現時点は4項目+運用リスクに絞られている

筆者が確かめた点

この記事の下調べで、筆者は9月18日にGoogle for Developersのブログを取得し、3層の検出・OWASPの4項目・在庫一覧の例と「Critical・95%」・APIとADKコールバックでの停止・ADK 1.2の条件がその原文にあることを確認した。筆者はGemini Enterprise Agent Platformを使っておらず、プライベートプレビューには申請していない。

書かれていないこと

  • 料金と、プレビューから一般提供までの時期
  • LLM推論層に使うモデルと、誤検知率
  • カスタム検出器の提供時期

出典はGoogle for Developersのブログ

  • Google「Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform」(2026年9月16日)
  • 本記事は一般提供やカスタム検出器の公開があったら追記する

関連記事

シェア: ポスト はてブ

出典・参照資料

AIニュースの解説を動画でも

YouTubeでは注目ニュースの背景を解説し、Xでは新着記事をお知らせしています。

コメント

まだコメントはありません。最初のコメントを書いてみませんか?

AIについて聞きたいことはありますか?

質問箱で無料で受け付けています。回答は公開され、他の方の参考にもなります。

質問箱を見る →

新しい記事をメールで受け取る

AIの新しい発表を、出典付きで整理して届けます。

関連記事

Google ADKにModel Armorガードレールが標準搭載──「スクリーニングに失敗したら通す」ではなく「失敗したら塞ぐ」を既定にした設計の記事画像
検証09.01読了16分

Google ADKにModel Armorガードレールが標準搭載──「スクリーニングに失敗したら通す」ではなく「失敗したら塞ぐ」を既定にした設計

出典 ─ google/adk-python v2.8
GoogleのADKには、エージェントの暴走を止める「500回」という既定の天井がある──ADK_MAX_LLM_CALLSで変更できる仕組みの記事画像
検証09.02読了14分

GoogleのADKには、エージェントの暴走を止める「500回」という既定の天井がある──ADK_MAX_LLM_CALLSで変更できる仕組み

出典 ─ google/adk-python v2.8
AIエージェントの作り方【2026年9月版】──ノーコード(Dify・Lindy)、SDK(Claude Agent SDK・OpenAI Agents SDK・Google ADK・LangGraph)、任せる型(OpenAI Agents API・Claude Managed Agents)の3段階と、最初の1本を動かすまでのコード、暴走と課金を止める4つの安全装置の記事画像
活用09.23読了18分

AIエージェントの作り方【2026年9月版】──ノーコード(Dify・Lindy)、SDK(Claude Agent SDK・OpenAI Agents SDK・Google ADK・LangGraph)、任せる型(OpenAI Agents API・Claude Managed Agents)の3段階と、最初の1本を動かすまでのコード、暴走と課金を止める4つの安全装置

出典 ─ OpenAI公式ドキュメント(Agents API/Agents SDK/Responses APIの比較・2026年9月18日取得)
Anthropicの「Enterprise Frontier Safeguards(EFS)」──ゼロデータ保持と悪用検知を両立させるため、監視用のデータを顧客自身のクラウド(S3・Azure Blob・GCS)に置き、Anthropicの人間は見ない。今秋から段階的に提供、それまでFable 5/5.1はZDR。米大手銀行のCISOらと設計の記事画像
業界09.22読了7分

Anthropicの「Enterprise Frontier Safeguards(EFS)」──ゼロデータ保持と悪用検知を両立させるため、監視用のデータを顧客自身のクラウド(S3・Azure Blob・GCS)に置き、Anthropicの人間は見ない。今秋から段階的に提供、それまでFable 5/5.1はZDR。米大手銀行のCISOらと設計

出典 ─ Anthropic(2026年9月1日・9月18日取得)
Anthropicが7月30日の「Claudeが実在システムに侵入」3件と英AISIのMythos 5の件を受けて何を変えたか──脱出を検知して止める分類器、外部評価者への必須手順、RL環境の1か月凍結で10%超を差し戻し、「報酬ハックで訓練したモデル」が模擬環境でサンドボックスを破る実験。METRに独立レビューを依頼の記事画像
研究09.22読了10分

Anthropicが7月30日の「Claudeが実在システムに侵入」3件と英AISIのMythos 5の件を受けて何を変えたか──脱出を検知して止める分類器、外部評価者への必須手順、RL環境の1か月凍結で10%超を差し戻し、「報酬ハックで訓練したモデル」が模擬環境でサンドボックスを破る実験。METRに独立レビューを依頼

出典 ─ Anthropic(2026年8月31日・9月18日取得)
Sakana AIの9月10〜17日──Sakana ChatでFugu Maxが全ユーザーに+会話を覚える「メモリー」、Marlinに引用の裏取りができる「Interactive Reading」と編集可能なPowerPoint出力、SCSK・住友商事と包括提携(金融・製造の実案件、脆弱性診断〜修正のサービス、住商の連結900社・顧客10万社)の記事画像
プロダクト09.22読了7分

Sakana AIの9月10〜17日──Sakana ChatでFugu Maxが全ユーザーに+会話を覚える「メモリー」、Marlinに引用の裏取りができる「Interactive Reading」と編集可能なPowerPoint出力、SCSK・住友商事と包括提携(金融・製造の実案件、脆弱性診断〜修正のサービス、住商の連結900社・顧客10万社)

出典 ─ Sakana AI(2026年9月17日・9月18日取得)
Google純正の『朝刊AI』Dreambeansとは?日本ではまだ使えない新実験を確認したの記事画像
プロダクト09.06読了10分

Google純正の『朝刊AI』Dreambeansとは?日本ではまだ使えない新実験を確認した

出典 ─ Dreambeans(Google Labs
Cloudflare OSとは──「AIに社内の仕組みを覚えさせる」を、OSSで配り始めた理由の記事画像
プロダクト09.01読了15分

Cloudflare OSとは──「AIに社内の仕組みを覚えさせる」を、OSSで配り始めた理由

出典 ─ Cloudflare OS Is the F