WebPitaのGoogle系AI Web訪問判別方法

WebPitaの「Google系AIのWeb訪問判別方法」

Googleは、AI用途専用の完全な識別情報を公開していません。
そのため、Google系AIアクセスの判定には一定の誤差が含まれます。

WebPitaでは、Google公式IPレンジ、User-Agent、Refererを組み合わせ、AI関連アクセス群として分類しています。
また、観測対象ログは、HTTPステータスが（200,206,304）であり、拡張子がhtml、php、pdfのファイル、及びフォルダへのアクセスに限定しています。

1．User-Agentのみで判定しない理由

WebPitaでは、Google系AI User-Agentに一致したアクセスであっても、その全てをAI関連アクセスとして扱っているわけではありません。

実際の観測では、Google系AI User-Agentに一致し、HTTPステータスやURI条件を満たしたアクセスであっても、
WebPitaの判定条件を通過する件数は約53%〜69%程度となるケースが確認されています。

観察期間(Date range)：2026-05-05 - 2026-05-13

site	対象ログ件数	対象レコード数	判定通過数	%
A	599	321	53.6%	53.6%
B	294	204	69.4%	69.4%

これは、User-AgentのみでAIアクセスと断定せず、Google公式IPレンジ、Referer、アクセス対象ファイル、接続挙動などを組み合わせて、AI関連アクセスの可能性が高いものだけを分類しているためです。

このようにWebPitaでは、単純なUser-Agent一致ではなく、複数条件による絞り込みを行うことで、偽装アクセスやAI関連性の低いアクセスを除外しています。

2．User-AgentとGoogle公式IPレンジの組み合わせによる判定

WebPitaでは、以下のUser-AgentとGoogle公式IPレンジ分類の組み合わせを、AI関連アクセスとして1次分類しています。

3．Referer判定

Refererが空白の場合は、User-AgentとGoogle公式IPレンジの組み合わせによる判定を継続します。

Refererが存在する場合は、Google系Refererであることを確認します。
Google系Refererではない場合は、AI関連アクセスではないものとして除外します。

これにより、Google系User-Agentを名乗るだけの偽装アクセスや、Google系AIアクセスとは関係のないRefererを持つアクセスを除外します。

4．観測対象ログ

WebPitaでは、AIが実際に参照した可能性のあるページアクセスを分析するため、観測対象を以下に限定しています。

• HTTPステータスが（200,206,304）のアクセス
• html、php、pdfファイルへのアクセス
• フォルダURLへのアクセス

画像、CSS、JavaScript、リダイレクト、404エラーなどは、原則としてAI関連ページ訪問の分析対象から除外しています。

5．補足事項

Googleは、AI関連アクセスの仕様、User-Agent、IPレンジ分類を継続的に変更しています。
そのためWebPitaでは、Google公式IPレンジ情報の更新状況や実際の観測ログをもとに、判定ロジックを継続的に見直しています。

本判定は、GoogleがAI専用の完全な識別情報を公開していない前提での観測ベース判定です。
そのため、AIアクセスを完全に断定するものではなく、AI関連アクセスの可能性が高いアクセス群を分類するための判定方法です。