robots.txt で禁止していなくても、
サーバーが拒否している
ことがあります。

なぜ robots.txt を見るだけでは足りないのか

AIクローラの許可・不許可は robots.txt に書きます。しかし実際にアクセスを止めているのは、サーバー本体・WAF・CDN・レンタルサーバーの管理画面・セキュリティ系プラグインなどまったく別の場所であることが多く、両者は簡単に食い違います。

しかも設定は、自分以外の手で変わります。制作会社のサイト改修、プラグインの更新、サーバー移転、CDNの設定変更。一度直しても、また壊れます。

robots.txt の記述だけを読むチェックツールは、この食い違いを「許可されています」と表示します。実際にはAIから一行も読まれていない場合でも、です。

日本の主要103サイトを実測しました

2026年8月7日、製造・SaaS・人材・金融・報道・EC など103サイトに対し、6種類のクローラを名乗って実際に接続し、応答を記録しました。

大手・中堅の著名サイトを中心に選んだ103件の便宜標本を、単一時点・単一の接続元から検査した結果です。無作為抽出ではありません。この調査の限界／2026-08-08に数字を下方修正しました

食い違いが見つかった9社のうち6社では、Googlebot は通過しているのにAIクローラだけが拒否されていました。User-Agent の文字列を見て判定していることを示す結果です。本物のAIクローラも同じ名前を送るため、IPアドレスによる例外を設けていなければ、同じ判定が適用される可能性があります。

もうひとつの数字のほうが重要かもしれません。robots.txt にAIクローラを名指しした記述がある企業は11.6%しかありません。残る88.4%では、AIクローラを名指しした意思表示を確認できませんでした。今アクセスできているとしたら、それは意図して決めた結果ではない可能性があります。

調査レポート全文を読む（調査方法・業種別内訳・修正手順・限界・引用用データ）→

クローラには3つの種類があり、混同すると事故になります

「AIに学習されたくない」という理由で一括遮断すると、AI検索に引用される経路まで同時に塞ぐことがあります。この3つは目的が違います。

本ツールは、この3分類のうち学習用3種と検索用2種、そして対照群として Googlebot の計6種を検査します。Googlebot を対照に置くのは、「AIクローラだけが狙って止められているのか」「自動アクセス全般が止められているのか」を切り分けるためです。

わかること、わからないこと

この検査は、外側から User-Agent を名乗り分けて1回接続したものです。したがってIPアドレスで本物のクローラだけを許可している設定は、見分けられません。「要確認」は確定診断ではなく、サーバーログでの確認が必要な状態を指します。時間帯や接続元による差も見ていません。

確定させるには、サーバーやCDNのアクセスログを見て、実際のクローラのIPアドレスからのアクセスにどのステータスを返しているかを照合する必要があります。そこまでやって初めて「読まれていない」と言えます。本ツールが「読まれていません」と断定しないのは、そのためです。

よくある質問

このツールを使う前に