2026.09 / Web 標準とクローラー

Content-Usage と Content-Signal、AI クローラー制御の現在地

Content-Usage と Content-Signal の仕様、主要 AI ベンダーの制御方法、そして各社自身の robots.txt を一次情報から整理した。

公開している Web ページを、検索に載せてよいのか、生成 AI が回答を作るときに参照してよいのか、モデルの学習に使ってよいのか。robots.txt はもともと「取得してよいか」しか表現できず、この 3 つを分けて指定する手段がありませんでした。そこに「取得したものを何に使ってよいか」を足す仕様が 2 つ動いています。IETF で標準化中の Content-Usage と、Cloudflare が先に実装した Content-Signal です。

結論を先に書くと、どちらか一方に寄せるのではなく、共通の利用方針と各社別のクローラールールを併記するのが現時点で取れる構えになります。両仕様の内容、主要 AI ベンダー 6 社が公式に案内している制御方法、各社自身の robots.txt の実運用を、一次情報に基づいて整理します。2026 年 9 月 2 日時点の調査です。

調査のまとめ

Content-Usage は IETF AIPREF で標準化中。現行は vocabulary draft-07 / attachment draft-05 で、RFC には到達していない
Content-Signal は Cloudflare が先行実装。標準化を待たず、robots.txt 上で検索・AI 入力・学習を区別している
主要 AI ベンダーが公式に案内している制御は用途別 User-Agent が中心。両仕様への共通対応は、調査範囲では確認できなかった

取得と利用は別の層

両仕様を読むうえで前提になるのが、取得と利用が別の層に分かれていることです。

STAGE 1

取得してよいか

クローラーがページを取りに来ること自体の可否。

指定: robots.txt の Allow / Disallow
粒度: 用途別の User-Agent
効き目: 今日から効く

STAGE 2

取得したものを何に使ってよいか

取得後の利用目的。検索・AI 参照・学習を分ける。

指定: Content-Usage / Content-Signal
粒度: 用途ごとの語彙
効き目: まだ表明にとどまる

Disallow が制御するのは取得、つまりクローラーがページを取りに来るかどうかです。一方 Content-Usage や Content-Signal が指すのは、取得したあとの利用目的です。IETF のドラフトもこの二段階を明確に分けています。

そのため「学習には使わせず、検索には載せる」という指定は Disallow だけでは表現できません。取得を止めれば検索からも外れるためです。用途別の指定には、用途を名指しできる語彙が必要になります。

2 つの仕様

標準化ドラフト

Content-Usage

IETF の AI Preferences Working Group が策定中の方式。

語彙: train-ai / search
値: y / n
置き場: HTTP ヘッダー / robots.txt
状態: Active Internet-Draft、RFC 未到達

先行実装

Content-Signal

Cloudflare が提案し、Managed robots.txt などで実用化している方式。

語彙: search / ai-input / ai-train
値: yes / no
置き場: robots.txt
状態: Cloudflare が生成・監視・一部強制

どちらも「取得してよいか」と「取得後に何へ使ってよいか」を分けようとしています。Content-Usage は HTTP ヘッダーと robots.txt の両方に置けます。

User-Agent: *
Content-Usage: train-ai=n, search=y
Allow: /

Content-Signal の特徴は、語彙が search / ai-input / ai-train の 3 つに分かれていることです。AI が回答を作るときの参照 (ai-input) と、モデル学習 (ai-train) を別々に扱えます。以下ではこの参照を「AI 参照」と呼びます。grounding と呼ばれることもあります。

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

use 拡張

Content-Signal には use という拡張があり、取得後の再利用範囲を 1 語で表します。ただし、まだ試験段階です。

immediate

対話に使うだけ。保存も再利用もしない。

reference

索引化、短い抜粋、リンクまで。

full

要約・再生成まで許可する。

左から右へ、許す範囲が広がります。Cloudflare はこの拡張を「testing」と説明しています。ただし Managed robots.txt は use=reference を追加しており、2026 年 8 月 31 日からは自社の /crawl API が use を実際に検査・拒否するようになりました。

各社が案内している制御

調査したのは OpenAI・Anthropic・Google・Perplexity・Apple・Amazon の 6 社です。各社の公開ドキュメントで、サイト運営者向けに案内されている制御を並べます。用途ごとに User-Agent を分ける方式が共通しており、Content-Usage / Content-Signal への対応は、6 社とも公式な方法としては確認できませんでした。

ベンダー	学習	検索	リアルタイム取得	スタンス
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User	検索と学習を別々に許可・拒否できる。ユーザー起点の取得には `robots.txt` が適用されない場合がある
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User	モデル開発・検索・ユーザー指示による取得の 3 用途を明示的に分離。各 Bot は標準的な `robots.txt` を尊重すると説明
Google	Google-Extended	Googlebot	Google-Extended	Google-Extended は Gemini の学習と一部 grounding をまとめて制御。拒否しても Google 検索への掲載や順位には影響しない
Perplexity	専用 Bot なし	PerplexityBot	Perplexity-User	両者とも基盤モデル学習には使わないと明記。Perplexity-User はユーザー起点のため、通常 `robots.txt` を無視する
Apple	Applebot-Extended	Applebot	nosnippet 等	学習拒否、通常検索、AI 回答の追加コンテキストを別々に調整できる。Applebot-Extended 自体はクロールしない制御用トークン
Amazon	Amazonbot	Amzn-SearchBot	Amzn-User	検索用とユーザー起点取得は学習に使わないと明記。Amzn-User は一部の `robots.txt` 指示に従わない場合がある

用途別に分かれてはいるものの、粒度は各社で異なります。Google-Extended のように学習と AI 参照が 1 つのトークンにまとまっているものもあれば、Anthropic のように検索・AI 参照・学習の 3 用途を分けているものもあります。

各社自身の robots.txt から読み取れること

公式ドキュメントが示すのは「他サイトにどう選択肢を提供するか」です。一方、自社サイトの robots.txt には、各社がコンテンツ保有者の側に立ったときの判断が現れます。

ドメイン	見えた運用	読み取れること
OpenAI	原則許可	`User-agent: *` に `Allow: /`。一部パスを除き他社 AI クローラーも原則アクセス可能で、Content-Usage / Content-Signal の掲示は無し。自社の公開企業情報は他社 AI にも広く開く運用
Cloudflare	AI 利用を全面許可	GPTBot、Google-Extended、Claude 系、PerplexityBot、CCBot などを明示的に許可し、Content-Signal で `ai-train=yes, search=yes, ai-input=yes` を宣言。顧客には選択手段を提供しつつ、自社コンテンツは学習を含めて開放
Perplexity	公開領域は原則許可	検索画面やクエリ付き URL など一部を制限。AI 学習 Bot を名指しでは拒否していない。動的領域を守りつつ企業・製品情報は広く公開
Google	サービス領域を制限	検索結果、Maps、Scholar など多数のサービスパスを制限。主要 AI 学習 Bot を名指しした一律拒否は確認できず。AI 利用の意思表明というより再クロール防止が中心
Amazon	競合 AI を広範に拒否	学習系に加え、OAI-SearchBot や ChatGPT-User など検索・ユーザー取得系まで `Disallow`
Apple / Anthropic	確認保留	`developer.apple.com` は一部パス制限のみ。`www.apple.com` と `anthropic.com` 本体は調査環境から安定して取得できず

他の 5 社は、自社ドキュメントでの案内と自社 robots.txt の内容がおおむね一貫していました。逸脱が見えたのは Amazon だけです。

robots.txt はホスト単位です。ここで確認した結果は各社の主要ドメインに対するスナップショットであり、会社全体の運用方針そのものではありません。robots.txt は各ドメインへの HTTP GET で取得し、www.apple.com と anthropic.com は調査環境から安定して取得できませんでした。取得できなかったものは、許可・拒否いずれの根拠にもしていません。

設定例

現時点では、将来に向けた共通宣言と、いま実際に効く各社別ルールを併記します。検索と AI 参照を許可し、学習を拒否する場合の記述例です。

# 将来向けの共通宣言
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no, use=reference
Content-Usage: train-ai=n, search=y
Allow: /

# 現在の各社別制御
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

許可しているのは、通常検索のインデックス・リンク・短い抜粋と、AI 参照です。拒否しているのは、基盤モデルの学習と fine-tuning、そして引用とリンクを超える原文の大規模な再生成です。

もう一点、設定例を書き写す前に知っておくべき落とし穴があります。ChatGPT-User、Perplexity-User、Amzn-User のようなユーザー起点の取得は自動クロールではないため、robots.txt が適用されない場合があります。上の設定で拒否したつもりでも、人が指示した取得は通ることがあります。

制約と注意点

これらはポリシーの意思表示であり、技術的な強制力を持つものではありません。留意点が 2 つあります。

取得と利用は別。Disallow は取得を、Content-Usage 等は取得後の利用目的を表す。片方だけでは意図を表現しきれない
法的効果は別問題。AIPREF は技術的強制を標準化の対象外としている。意思表示がどのような法的効果を持つかは、法域・契約・権利関係による

そのうえ、各社がこれらの宣言を読んでいるという保証もありません。

それでも、いま置いておく価値はあります。仕様が固まるのを待つ理由が無いからです。共通宣言は書いても既存のクローラー制御を壊さず、各社別のルールは今日から効きます。Cloudflare の /crawl が 2026 年 8 月 31 日から use を実際に検査し始めたように、宣言を読む実装は仕様の確定を待たずに出てきています。読む側が増えたときに、何も書いていないサイトは「拒否しなかった」と扱われます。draft が RFC に到達したら、語彙と値が今のまま残るかを見直せば足ります。

一次情報

仕様本文と各社の公式ドキュメントのみを参照しています。調査日は 2026 年 9 月 2 日です。

仕様 IETF AIPREF vocabulary draft-07 / IETF AIPREF attachment draft-05 / IETF AIPREF Working Group / Content Signals / Cloudflare Managed robots.txt / Cloudflare /crawl changelog (2026-08-31)

各社のクローラー説明 OpenAI / Anthropic / Google-Extended / Perplexity / Applebot / Amazonbot

各社の robots.txt OpenAI / Cloudflare / Perplexity / Google / Amazon / Apple Developer

公開 2026年9月2日