AI検索のrobots.txt｜LLMOで押さえる5つの確認

AI検索に備えてrobots.txtを見直そうとしても、検索結果への掲載、生成AIモデルの学習、ユーザーの依頼によるページ閲覧を同じ設定で考えると、意図しない範囲まで止めたり、逆に守りたい情報への対策が不十分になったりします。

この記事では、2026年9月7日時点のOpenAI、Google、IETF、個人情報保護委員会の公表資料をもとに、医療サイトでAIクローラーの方針を決める実務を5つに整理します。各社のクローラー名、用途、仕様は変更される可能性があるため、実装時は必ず最新の公式資料と自社サーバーの設定を確認してください。

最初に理解する：robots.txtは「アクセス制御」そのものではない

robots.txtは、自動クライアントであるクローラーに対して、どのURLへアクセスしてよいかを示す仕組みです。IETFのRFC 9309は、Robots Exclusion Protocolのルールをアクセス認可の仕組みではないと明記しています。robots.txtは誰でも読める公開ファイルであり、そこへ書いたパス自体が見える点にも注意が必要です。

患者向けページ、予約・問診情報、管理画面、テスト環境など、第三者に見せてはいけない情報をrobots.txtだけで守ることはできません。認証、アクセス権限、ネットワーク制限など、内容に合う保護策を別に用意します。個人情報保護委員会と厚生労働省の医療・介護分野ガイダンスも、医療関係事業者における個人情報の適正な取扱いについて具体的な留意点を示しています。

AI検索向けrobots.txtを整える5つの確認

1．公開情報と保護情報をURL単位で棚卸しする

先に「何を許可するか」ではなく、サイト内のURLを公開情報、限定公開情報、非公開情報に分けます。診療案内、法人情報、採用情報、一般向けコラムは公開候補です。一方、問い合わせ内容、患者や求職者の入力データ、予約確認、管理画面、下書き、検証環境は、検索やAI以前に認証・権限管理が必要な領域です。

画像やPDFを別のホストやCDNで配信している場合は、そのホストごとにrobots.txtが必要かも確認します。公開したくないURLをrobots.txtへ列挙するだけでは保護にならないため、担当者、公開条件、認証の有無、検索掲載の可否を台帳にまとめます。

2．OpenAIの3つの利用場面を混同しない

OpenAIの公式ドキュメントでは、OAI-SearchBot、GPTBot、ChatGPT-Userの役割が分けて説明されています。OAI-SearchBotはChatGPTの検索機能でウェブサイトを検索結果に表示するためのクローラーです。GPTBotは、生成AI基盤モデルの学習に使用され得るコンテンツをクロールするためのものです。

OpenAIは、OAI-SearchBotを許可しつつGPTBotを拒否するなど、設定を独立して選べると案内しています。検索への掲載方針と学習利用への方針を一つの「AIを許可する・しない」で決めず、それぞれ社内で判断します。変更が検索側へ反映されるまで約24時間かかる場合があることも公式ページに記載されています。

ChatGPT-Userは、ユーザーの質問や操作をきっかけにページへアクセスする場合に使われ、自動的なウェブクロールには使われません。OpenAIは、このようなユーザー起点の操作ではrobots.txtのルールが適用されない場合があると説明しています。検索への掲載可否はOAI-SearchBotで管理し、ユーザー操作やログイン後の情報は認証・権限で守る、と役割を分けます。

3．Google検索とGoogle-Extendedを別の判断にする

Google検索のAI OverviewやAI Modeなどに関する公式資料では、Google検索向けのクロール制御はGooglebotのrobots.txtルールを使うとされています。検索結果に表示される説明の範囲を制限したい場合は、nosnippet、data-nosnippet、max-snippet、noindexなど、目的に合う仕組みを検討します。

Google-Extendedは別の制御用トークンです。Googleは、将来のGeminiモデルの学習や、一部サービスにおけるグラウンディングへの利用を管理するためのものと説明し、Google検索への掲載やランキングには影響しないと明記しています。Google検索の表示方針と、Google-Extendedの利用方針を同じものとして扱わないことが重要です。

なお、Googleは2026年7月更新の生成AI検索向けガイドで、Google検索の生成AI機能へ表示されるためにllms.txtなどの特別なAI向けファイルは不要で、Google検索はそれらを使用しないと案内しています。特殊なファイルを追加する前に、通常のクロール、インデックス、独自で信頼できる本文、内部リンクを整えます。LLMO全体の土台は、医療サイトのLLMOで確認したい5つの基本も参考にしてください。

4．「クロール拒否」「検索非表示」「非公開」を使い分ける

robots.txtのDisallowはクロールを制御するためのもので、検索結果から必ずURLを消す仕組みではありません。Googleは、外部リンクなどからURLを見つけた場合、robots.txtでクロールを拒否していてもURLが検索結果へ表示される可能性があると案内しています。

検索結果へ出したくない公開ページでは、対応するクローラーがページを読める状態でnoindexを使う方法があります。robots.txtでページを拒否すると、クローラーがページ内のnoindexを確認できない場合があるため、両方を機械的に重ねません。そもそも第三者に閲覧させない情報は、noindexではなく認証やアクセス制限で保護します。

5．公開前後に、実ファイル・応答・ログを確認する

方針を決めたら、対象ドメイン直下の/robots.txtを実際に開き、想定した内容とHTTP応答が返るか確認します。IETFの仕様では、robots.txtはサービスのトップレベルパスに小文字の/robots.txtとして置き、UTF-8のtext/plainで提供します。CMS、CDN、WAF、ホスティング側で別の内容に置き換わっていないかも確認します。

OpenAIは各クローラーの公開IPアドレス一覧へのリンクを公式ページで提供しています。アクセスログを確認するときは、User-Agentの文字列だけで正当なクローラーと断定せず、提供元の最新情報と公開IP範囲を照合します。変更日、変更者、対象クローラー、対象パス、判断理由、確認結果を記録し、仕様変更時に見直せる状態にします。

設定前に作る「クローラー方針表」

robots.txtを先に書くのではなく、次の項目を一行ずつ決めると、検索・学習・ユーザー操作の判断が混ざりにくくなります。

対象サービス：OpenAI、Googleなど
クローラー／制御トークン：公式資料に記載された正確な名称
利用目的：検索表示、モデル学習、ユーザー起点の取得など
対象URL：サイト全体か、特定の公開ディレクトリか
方針：許可、拒否、保留のどれか
保護手段：robots.txt、noindex、認証、アクセス制限のどれを使うか
判断者と確認日：広報、法務、情報システムなど必要な担当
再確認日：公式仕様を見直す時期

FAQの重複や更新責任を整理したい場合は、医療サイトのFAQを整える5つの実務もあわせてご覧ください。

公開前チェックリスト

公開、限定公開、非公開のURLを棚卸しした
非公開情報をrobots.txtだけで守っていない
検索表示とモデル学習の方針を分けて決めた
クローラー名を公式資料の表記と照合した
GooglebotとGoogle-Extendedの役割を分けた
Disallowとnoindexの違いを理解して設定した
本番の/robots.txtとHTTP応答を確認した
変更内容、判断理由、確認日を記録した
ログ確認ではUser-Agentだけでなく公式IP情報も参照した
仕様変更を確認する担当者と見直し時期を決めた

まとめ：LLMOの入口は、許可と保護を分けること

AI検索向けのrobots.txtは、「AIに見せるか」を一括で決めるファイルではありません。検索への掲載、モデル学習、ユーザー起点のアクセスは役割が異なります。まず情報を公開範囲で分け、サービスごとの公式資料に沿ってクローラーの目的を確認し、クロール拒否、検索非表示、認証を使い分けることが大切です。

自社サイトのAIクローラー方針を整理したい方へ

株式会社メディカルアトラクトでは、現在のサイト構成と公開範囲を確認し、検索表示・学習利用・ユーザー操作を分けたクローラー方針表、robots.txtとメタ設定の確認項目、運用担当者が見直せる変更記録の形を整理します。「自社の場合はどのクローラーを許可すべきか相談したい」「LLMO、コンテンツ制作、サイト運用をまとめて設計したい」という方は、お問い合わせページから現在のサイトと運用上の悩みをお聞かせください。初回の相談では、公開情報と保護すべき領域を切り分け、検索機会を不必要に失わずに管理できる優先順位を具体化できます。支援範囲はサービスページ、制作例は制作実績ページでもご確認いただけます。ご入力内容はお問い合わせへの回答とご提案の連絡に利用し、プライバシーポリシーに基づいて取り扱います。

本記事は株式会社メディカルアトラクト編集部（LLMO・Web運用支援担当）が、OpenAI、Google、IETF、個人情報保護委員会の公表資料を2026年9月7日に確認して作成しました。

参考にした一次情報

OpenAI Developers「Overview of OpenAI Crawlers」（2026年9月7日確認）
Google Search Central「AI Features and Your Website」（最終更新2025年12月10日、2026年9月7日確認）
Google Crawling Infrastructure「Google's common crawlers / Google-Extended」（最終更新2026年7月14日、2026年9月7日確認）
Google Search Central「Optimizing your website for generative AI features on Google Search」（最終更新2026年7月10日、2026年9月7日確認）
Google Search Central「Block Search indexing with noindex」（最終更新2025年12月10日、2026年9月7日確認）
IETF RFC 9309「Robots Exclusion Protocol」（2022年9月公開、2026年9月7日確認）
個人情報保護委員会・厚生労働省「医療・介護関係事業者における個人情報の適切な取扱いのためのガイダンス」（令和8年4月一部改正、2026年9月7日確認）

本記事は2026年9月7日時点の公表資料に基づく一般的なWeb運用上の考え方を整理したもので、個別案件への法律上、医療上、情報セキュリティ上の助言ではありません。クローラーを許可しても検索結果やAI回答への掲載を保証するものではありません。非公開情報や個人情報の保護に判断が必要な場合は公開・設定変更を行わず、提供事業者、個人情報保護委員会または適切な専門家へご確認ください。本記事はOpenAI、Google、IETF、個人情報保護委員会の提携・監修を受けたものではありません。