ガイド・AI検索

AIクローラー一覧:役割とブロックの方法

学習用、AI検索用、利用者の依頼で開くもの。AIクローラーは役割ごとに別のボットです。どれを止め、どれを通すかを、各社の公開資料で整理しました。

先に結論

AIクローラーとは、AI企業がWebページを読むために送るボットです。役割は大きく3つに分かれます。学習用(GPTBot、ClaudeBot、CCBot)はAIモデルの学習に使うページを集めます。AI検索用(OAI-SearchBot、Claude-SearchBot、PerplexityBot)は、AIの回答が引用してリンクするページの索引を作ります。利用者の依頼で取得するもの(ChatGPT-Userなど)は、人がAIに質問したときにそのページを1回開きます。

AIの回答には載りたいが学習には使われたくないなら、robots.txtで学習用を止め、AI検索用を通します。GPTBotを止めても、ChatGPTの検索から消えるわけではありません。

この記事で扱う25個の名前のうち、学習用とAI検索用の多くは各社が「robots.txtに従う」と書いています。一方、利用者の依頼で取得するものは、ほとんどが「従わない場合がある」としています。

役割ごとに見た「robots.txtに従う」と明言しているボットの割合この記事で扱う25個の名前を役割で分け、各社が自社のページで「robots.txtに従う」と書いているものの割合です。2026年11月4日時点。数が少ないため、割合は目安です。
学習用8個中6個75%
AI検索用9個中7個78%
利用者の依頼で取得6個中1個17%
エージェント2個中0個0%
数字を見る
役割名前の数従うと明言robots.txtでの拒否を案内無視する場合があると明記記載なし
学習用8個6個1個0個1個
AI検索用9個7個2個0個0個
利用者の依頼で取得6個1個0個5個0個
エージェント2個0個0個1個1個

出典:各社が公開しているクローラーの説明ページ(2026年11月4日に確認)

学習用は8個中6個、AI検索用は9個中7個が従うと明言しています。利用者の依頼で取得するものは6個中1個(Claude-User)だけです。

AIクローラーの4つの役割

同じ会社でも、役割ごとに別のボットを送ります。robots.txtで止めるときは、名前と役割を合わせて確認します。

会社学習用AI検索用利用者の依頼で取得
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
GoogleGoogle-Extended(robots.txt用の名前)Googlebot利用者の依頼による取得
PerplexityなしPerplexityBotPerplexity-User
AppleApplebot-Extended(robots.txt用の名前)Applebotなし
MetaMeta-ExternalAgentMeta-WebIndexerMeta-ExternalFetcher
AmazonAmazonbotAmzn-SearchBotAmzn-User

ほかに、ByteDanceのBytespider、Common CrawlのCCBot(多くのAIモデルの学習に使われる公開データを作るボット)、MicrosoftのBingbot、DuckDuckGoのDuckAssistBotがあります。エージェントとしては、ChatGPTのエージェントとGoogle-Agentがあります。各ボットの説明は、OpenAI(英語)、Anthropic(英語)、Google(英語)、Perplexity(英語)、Meta(英語)、Apple(英語)、Amazon(英語)、Common Crawl(英語)、DuckDuckGo(英語)の公開ページによります。

どのAIクローラーをブロックすべきか

目的によって変わります。商品やサービスを売るサイトの多くは、AIの回答に引用されたいはずです。引用から訪問が生まれることがあるからです。その一方で、ページを学習に使われたくない場合は、次のrobots.txtで両方をかなえられます。

# AI検索の回答には残し、AIの学習からは外す
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: *
Allow: /

貼り付ける前に、3つのことを確認してください。

OpenAIによると、OAI-SearchBotを止めるとChatGPTの検索の回答には表示されなくなります。ナビゲーション用のリンクとしては表示されることがあります。変更の反映には約24時間かかります。

AIクローラーはrobots.txtに従うのか

大手の学習用とAI検索用は、従うと書いています。利用者の依頼で取得するものは、訪問を始めたのがクローラーではなく人であるため、多くが「robots.txtが当てはまらない場合がある」としています。Metaはrobots.txtで止めるよう案内していますが、従うとは書いていません。ByteDanceはBytespiderについて何も公開していません。確実に止めたい場合は、ファイアウォールで止めます。

本物のAIクローラーか見分ける方法

ボットの名前(ユーザーエージェント)は、送る側が自由に書ける文字列です。スクレイパーがGPTBotやGooglebotを名乗ることもできます。確かめる方法は3つです。

  1. IPアドレスの一覧と照らし合わせる。OpenAI、Anthropic、Google、Microsoft、Perplexity、Apple、Amazon、Common Crawl、DuckDuckGoが公開しています。
  2. 逆引きDNSで確かめる。アドレスから名前を調べ(Googlebotなら googlebot.com で終わるはずです)、その名前からもう一度アドレスを調べて一致するかを見ます。
  3. 署名で確かめる。新しいエージェントの一部は、公開された鍵で各リクエストに署名します。自動で動くプログラムを暗号で確かめるこの方式は、Web Bot AuthとしてIETFで標準化が進んでいます(IETFのページ(英語))。

IPアドレスの一覧は、最後に更新された時点までしか正しくありません。2026年11月4日時点で、Google(Googlebot)は1日前に更新されていましたが、Microsoft(Bingbot)は1,036日前のままでした。

各社のIPアドレス一覧は、最後の更新から何日たっているかボットが本物かを確かめるときに照らし合わせる一覧について、各社が最後に更新した日から2026年11月4日までの日数です。
Google(Googlebot)1日
Google(利用者の依頼による取得)1日
Perplexity(PerplexityBot)7日
OpenAI(ChatGPT-User)8日
Anthropic(3つのボット共通)15日
OpenAI(GPTBot)43日
Apple(Applebot)50日
DuckDuckGo(DuckAssistBot)64日
Common Crawl(CCBot)85日
OpenAI(OAI-SearchBot)306日
Microsoft(Bingbot)1,036日
数字を見る
一覧アドレス範囲の数最終更新日経過日数
Google(Googlebot)3172026年11月3日1日
Google(利用者の依頼による取得)1,0682026年11月3日1日
Perplexity(PerplexityBot)132026年10月28日7日
OpenAI(ChatGPT-User)2352026年10月27日8日
Anthropic(3つのボット共通)142026年10月20日15日
OpenAI(GPTBot)182026年9月22日43日
Apple(Applebot)242026年9月15日50日
DuckDuckGo(DuckAssistBot)4862026年9月1日64日
Common Crawl(CCBot)52026年8月11日85日
OpenAI(OAI-SearchBot)392026年1月2日306日
Microsoft(Bingbot)282024年1月3日1,036日

データ:各社が公開しているIP一覧をHarvvが読み取ったもの

古い一覧が間違っているとは限りません。ただし、本物のボットが新しいアドレスを使い始めると、厳しい照合では偽物と判定されます。一覧が古いときは「偽物」ではなく「確認できない」と扱うのが安全です。

実際のサイトに来るAIクローラー

下はharvv.comのサーバーが記録したものです。Anthropicのボットのリクエストがいちばん多く、全体の52%でした。

harvv.comに来たAIクローラーの会社別の割合2026年11月2日から11月4日に、自社サイト(harvv.com)のサーバーが記録したAIクローラーのリクエスト134件に占める割合です。1つのサイト、3日分なので小さなサンプルです。
Anthropic52%
Amazon22%
OpenAI11%
ByteDance6%
Perplexity6%
Apple3%
数字を見る
会社リクエスト数割合
Anthropic70件52%
Amazon29件22%
OpenAI15件11%
ByteDance8件6%
Perplexity8件6%
Apple4件3%

データ:Harvv

サイトごとに来るボットの組み合わせは違い、クローラーはまとめて来ることが多いため、これは一例であって基準ではありません。自分のサイトにどのAIクローラーが来ているかは、サーバーのログか、Harvvのような計測ツールで確かめられます。

LLMO対策の第一歩はクローラーの設定

日本では、AIの回答に自社のページが引用されるようにする取り組みを、LLMO、AIO対策、生成AI検索の最適化(GEO)などと呼びます。検索数では「llmo」がいちばん多く、「aio 対策」は2025年11月の2,400回から2026年10月の6,600回に増えています。

日本で検索されている「AIの回答への対策」の言葉バーはGoogle広告の「月間平均検索数」の値です(日本、日本語)。下の表の12か月(2025年11月から2026年10月)を平均した値とは少し違います。比べるために「ai クローラー」も入れています。
llmo9,900回
aio 対策5,400回
geo 対策生成AI検索の最適化(GEO)1,600回
ai クローラー210回
数字を見る
月llmoaio 対策geo 対策
2026年10月9,9006,6002,400
2026年9月9,9006,6001,900
2026年8月9,9008,1002,900
2026年7月12,1009,9002,400
2026年6月12,1008,1001,900
2026年5月12,1005,4001,300
2026年4月12,1005,4001,300
2026年3月12,1004,4001,600
2026年2月9,9003,6001,000
2026年1月9,9002,9001,000
2025年12月9,9002,400880
2025年11月9,9002,4001,000

データ:Google広告の月間検索数(日本、日本語。DataForSEO経由で取得)

どの呼び方でも、最初に確かめることは同じです。AI検索用のクローラーがページを読めなければ、どれほど内容を工夫しても引用されません。robots.txt、CDN、ファイアウォールの3か所で、AI検索用のボットが止められていないかを先に確認します。そのうえで、学習用を止めるかどうかを決めます。

Googleの「AI による概要」と「AI モード」はGooglebotが読んだ内容から作られます。Googleは、AI による概要やAI モードに表示されるための追加の条件や特別な最適化は必要なく、ページがインデックスされ、スニペット付きで検索に表示できる状態であることが条件だとしています(GoogleのAI機能についての資料(英語))。MicrosoftのCopilotはBingの検索をもとに答えるため(Bingのクローラーの説明(英語))、Bingbotを止めると両方から外れる可能性があります。AIからの引用の数をMicrosoft Clarityで見る方法は、Microsoft Clarityの解説にまとめています。

2027年に変わること

Googleは2026年10月30日、AIの学習を拒否するための共通のrobots.txtの書き方を、ほかのAI企業とともに2027年に支持する予定だと発表しました(Googleのブログ(英語))。この書き方を使い、Google-Extendedに触れていない場合、GoogleはGoogle-Extendedを止めたものとして扱います。この記事の会社ごとの名前は引き続き使えるため、今の設定を戻す必要はありません。

この記事の数字について

よくある質問

AIクローラーとは何ですか?

AI企業がWebページを読むために送るプログラムです。AIモデルの学習用にページを集めるもの、AIの回答が引用する索引を作るもの、人がAIに質問したときにそのページを1回開くものがあります。GPTBotやClaudeBotのように、ユーザーエージェントに名前を書いて名乗ります。

GPTBotはブロックすべきですか?

OpenAIに学習に使われたくなければ、GPTBotを止めます。それでもChatGPTの検索からは消えません。検索を担当するのはOAI-SearchBotです。AIの回答に引用されたいサイトの多くは、学習用を止めて検索用を通しています。

robots.txtでAIクローラーを拒否するにはどう書きますか?

User-agent にボットの名前を書き、その下に Disallow: / を書きます。学習用だけを止めるなら、GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、Meta-ExternalAgent、Amazonbot、CCBot、Bytespider を並べ、検索用のOAI-SearchBot、Claude-SearchBot、PerplexityBotは Allow: / のままにします。

AIクローラーはrobots.txtを守りますか?

OpenAI、Anthropic、Google、Perplexity、Apple、Amazon、Common Crawlの学習用と検索用は、従うと書いています。ChatGPT-User、Perplexity-User、Googleの利用者の依頼による取得、Meta-ExternalFetcher、Amzn-Userは、robots.txtが当てはまらない場合があるとしています。ByteDanceはBytespiderについて何も公開していません。

AIクローラーを止めるとSEOに影響しますか?

学習用のGoogle-ExtendedやApplebot-Extendedを止めても、Google検索とAppleの検索には影響しません。Googlebotを止めるとGoogle検索とAI による概要の両方から外れ、Bingbotを止めるとBingとCopilotの回答から外れる可能性があります。

LLMO対策では何から始めればよいですか?

AI検索用のクローラーがページを読めるかを確かめることからです。robots.txt、CDN、ファイアウォールで、OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbotが止められていないかを確認します。読めないページは、内容を工夫しても引用されません。

あわせて読む:Microsoft Clarityとは?できること・できないこと、外部送信規律とは?対象サイトと公表文の書き方、スクロール率の平均は?ブログ記事で読者が届く位置。

自分のサイトで確かめる

Harvvはタグを1行入れるだけで、訪問者が実際に何をしたかを記録します。無料プランがあり、クレジットカードは不要です。管理画面とレポートは現在英語です。

無料で始めるHarvvについて(日本語)

この記事の作り方。英語版の記事(2026年11月4日公開)をもとに、AIアシスタントで日本語の下書きを作りました。ボットの説明は各社の公開ページ(2026年11月4日に確認)、harvv.comの数字は自社サーバーの記録、検索数はGoogle広告の日本の月間検索数によります。日本語の表現は、日本語を母語とする担当者による確認の前です。

Read this article in English