robots.txt に「許可」と書いてあっても、
サーバーが拒否していることがあります。

なぜ robots.txt を見るだけでは足りないのか

AIクローラの許可・不許可は robots.txt に書きます。しかし実際にアクセスを止めているのは、サーバー本体・WAF・CDN・レンタルサーバーの管理画面・セキュリティ系プラグインなどまったく別の場所であることが多く、両者は簡単に食い違います。

しかも設定は、自分以外の手で変わります。制作会社のサイト改修、プラグインの更新、サーバー移転、CDNの設定変更。一度直しても、また壊れます。

robots.txt の記述だけを読むチェックツールは、この食い違いを「許可されています」と表示します。実際にはAIから一行も読まれていない場合でも、です。

日本の主要103サイトを実測しました

2026年8月7日、製造・SaaS・人材・金融・報道・EC など103サイトに対し、6種類のクローラを名乗って実際に接続し、応答を記録しました。

食い違いが見つかった10社のうち8社では、Googlebot は通過しているのにAIクローラだけが拒否されていました。User-Agent の文字列を見て判定しているということです。本物のAIクローラも同じ名前を送るため、同じように拒否されます。

もうひとつの数字のほうが重要かもしれません。robots.txt にAIクローラのことを書いている企業は11.6%しかありません。残る約8割は、許可も拒否も決めていない。今アクセスできているとしたら、それは意図ではなく偶然です。

調査レポート全文を読む（調査方法・業種別内訳・修正手順・限界）→

クローラには3つの種類があり、混同すると事故になります

「AIに学習されたくない」という理由で一括遮断すると、AI検索に引用される経路まで同時に塞ぐことがあります。この3つは目的が違います。

本ツールは、この3分類のうち学習用3種と検索用2種、そして対照群として Googlebot の計6種を検査します。Googlebot を対照に置くのは、「AIクローラだけが狙って止められているのか」「自動アクセス全般が止められているのか」を切り分けるためです。

わかること、わからないこと

この検査は、外側から User-Agent を名乗り分けて接続したものです。したがってIPアドレスで本物のクローラだけを許可している設定は、見分けられません。「遮断の疑いあり」は確定診断ではなく、サーバーログでの確認が必要な状態を指します。

確定させるには、サーバーやCDNのアクセスログを見て、実際のクローラのIPアドレスからのアクセスにどのステータスを返しているかを照合する必要があります。そこまでやって初めて「読まれていない」と言えます。本ツールが「読まれていません」と断定しないのは、そのためです。

よくある質問