10月30日（米国時間）、AnthropicのKevin Kelley氏が、インターネットの標準化団体 IETF に、ある提案書（インターネットドラフト）を出しました。題名は 「Machine-Readable Training Preference Signal」。ホームページの文章や画像を AIの学習に使ってよいかどうか を、機械が読める形で伝えるための書き方です（IETF Datatracker）。

同じ日に、Google・Microsoft・OpenAI がこの仕組みに対応する方針を発表し、Kelley氏も Anthropicがすでに実装に着手した と表明しました。

書く場所は、サイトの入口に置く 「robots.txt」（検索エンジンなどのロボットに向けた、サイトの案内書きのファイル）です。これまで会社ごとに書き分けていた「学習に使わないで」が、1つの書き方で複数のAI会社にまとめて伝わる ようになります。

ただし、すぐに効くわけではありません。そして書き方しだいでは、AIの回答で自社のページが紹介される機会まで手放す 可能性があります。

何が発表されたのか

  • 何を：robots.txtに書く、AI学習についての 共通の“合言葉”（ポリシートークン）
  • 誰が提案：AnthropicのKevin Kelley氏。IETFへの 個人名義の提出 で、IETFの正式な標準ではまだありません
  • 誰が支持：OpenAI・Google・Microsoft・Anthropic の4社（10月30日）
  • 何が変わる：これまでは OpenAI向け（GPTBot）、Google向け（Google-Extended）、Anthropic向け（ClaudeBot）と、AI会社ごとに書き分ける必要がありました。共通の合言葉なら、参加する会社にまとめて 意思を伝えられます

書き方：いつものrobots.txtに“合言葉”のグループを足す

新しい命令は増えません。いつものrobots.txtの書式のまま、User-Agent: の行に合言葉 __usage_ai-training を書きます。提案書に載っている例は、次のとおりです。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
  • Disallow は「その場所は学習に使わないでほしい」、Allow は「使ってよい」という意思表示です
  • この例は、サイト全体は学習お断り、ただしプレス向け資料（/press-kit/）だけは使ってよい、という意味になります
  • この合言葉のグループを書かなければ、「学習について特に意思を示していない」扱いです

ここでいう「AI学習」は、生成AIのモデルの中身（学習済みのパラメータ）を変えるためにコンテンツを使うこと と定義されています。

各社の対応時期

会社対応時期
Microsoft共通の合言葉に対応。ページ単位の指定（metaタグ・HTTPヘッダ）も用意し、robots.txtより優先する2027年2月1日から
Google共通の合言葉で学習を断り、Google-Extendedを個別に書いていないサイトは、Google-Extendedも断ったものとして扱う2027年を目指す
OpenAI共通の合言葉に対応。GPTBotなど今の指定も引き続き有効今後数か月以内
Anthropic実装に着手。今のクローラーの指定を置き換えるのではなく補う未定（全サービスへの対応には時間がかかる）

Metaは支持の声を出したものの、守るかどうかは明言していないと報じられています（The Next Web）。

冷静に見ておきたい4つのこと

  1. まだ効いていない：日付まで示したのはMicrosoftの2027年2月1日だけで、OpenAIは「今後数か月以内」、Anthropicは時期未定です。今書いても、すぐに各社が読むわけではありません
  2. アクセスは止まらない：これは「使い道」についての意思表示で、ロボットの出入りを止める命令ではありません。提案者のKelley氏も「使い道の意向であって、通信量を管理する信号ではない」と書いています
  3. 約束であって、義務ではない：各社の自主的な対応です。提案書は、サイトとAI会社が 個別に契約していれば、その契約が優先してよい としています。Microsoftは、この設定が ライセンスや支払いの取り決めを生むものではない と明記しています
  4. 基準は「集めた時点」のrobots.txt：提案書では、そのコンテンツを取得した時点で有効だったrobots.txtの内容が適用されます。すでに集められた分にさかのぼって効く、とは書かれていません

もう1つ、書き間違いに注意が必要です。User-Agent: *（すべてのロボット向け）のグループに Disallow: / と書いても、学習お断りの意思表示にはなりません。提案書は、* をこの合言葉に当てはめてはならないと定めています。

落とし穴：「学習を断る」と「AIに紹介（引用）される」がつながっている会社がある

いちばん気をつけたいのが、Googleの扱いです。

Googleの独自の指定「Google-Extended」は、学習だけでなく、Geminiアプリが回答を作るときにWebのページを根拠として参照し、紹介する仕組み（グラウンディング） にも関わっています。Googleは、Google-Extendedを許可したサイトは、Geminiアプリの回答に登場し、クリックを得る対象になる と説明しています（Google Search Central Blog）。

そのうえで、共通の合言葉で学習を断り、Google-Extendedを個別に書いていないサイトは、Google-Extendedも断ったものとして扱う方針です。この2つを合わせると、「学習だけ断ったつもり」が、Geminiの回答で紹介される機会まで外す ことになりえます（Googleの説明を合わせた読みで、海外の報道でも同じ指摘が出ています）。

書き方Googleの学習Geminiの回答での紹介
共通の合言葉で Disallow だけ書く断る外れる可能性がある
共通の合言葉で Disallow ＋ Google-Extendedは Allow許可になる対象になる

今回のGoogleの発表では、「学習は断るが、Geminiには紹介されたい」を両立する書き方は示されていません。

Microsoftは、ここを分けました。学習の設定とは別に、AIの回答で紹介されるか（グラウンディング） をページ単位で選べます。「Microsoftの自社サービス（CopilotやMicrosoft 365など）だけは可」という中間の選択肢もあります。ただしMicrosoftは、紹介を止めると AIが作る回答の中での露出が大きく下がる と注意しています。なお、これらの設定で 従来のBing検索に載る資格は変わらない としています（Microsoft Bing Blog）。

なぜ、中小企業の話なのか

提案書の謝辞には、Financial TimesやBBCなど、大手メディアのスタッフへの感謝が記されています。記事そのものが商品であるメディアにとって、学習に無断で使われることは、売り物を持っていかれることに近いはずです。

一方、中小企業のホームページの多くは、見つけてもらうための入口 です。ブログや事例紹介は、検索やAIに紹介されてこそ役に立ちます。AIの回答で紹介されることが、新しい集客の入口になりつつある今、「とりあえず全部お断り」は、自分で入口を狭めることになりかねません（この節は本記事の見方）。

ただし、中小企業にも「持っていかれたくないもの」はあります。お金をいただいている資料、会員向けのノウハウ、手間をかけて作ったテンプレートや写真などです。大事なのは、守るものと、見つけてもらうものを分けて決める ことです。

中小企業サイトが“書く前に”決めたい3つ

① 「学習」と「紹介」を分けて考える

  • まず、自社のサイトが AIに紹介されたい側か を決めます。ブログや事例で集客しているなら、多くの場合は紹介されたい側です
  • Googleでは、共通の合言葉で学習を断ると、Geminiの回答での紹介まで外れる可能性があります。紹介を残したい場合は、Google-Extendedを Allow で書き添える必要があり、その場合はGoogleの学習も許可することになります。この取引を理解したうえで選びます

② 閉じるなら、サイト全体ではなく“場所”を選ぶ

  • 共通の合言葉は、フォルダ（パス）ごとに指定できます。会員ページや有料資料など、守りたい場所だけを指定する書き方もできます
User-Agent: __usage_ai-training
Disallow: /members/
Disallow: /download/
  • 上の例は、会員ページ（/members/）と資料ダウンロード（/download/）の場所について、学習に使わないでほしいと伝える書き方です（フォルダ名はサイトごとに違います）
  • 合言葉はアンダースコアが 2つ（__usage_ai-training）。1つ落とすと別の言葉になります
  • Anthropicは、標準化の進み方に応じて 解釈や適用が変わりうる としています。書いたあとも、各社の発表を時々確かめるのが安全です

③ 今すぐ効かせたいなら、各社向けの指定も残す

  • 共通の合言葉を各社が読み始めるのは、Microsoftが2027年2月1日、OpenAIが今後数か月以内、Googleが2027年と、まだ先です。今すぐ意思を伝えたいなら、GPTBot・Google-Extended・ClaudeBot など 各社向けの指定 を使います。OpenAI・Google・Anthropicとも、今の指定は引き続き有効だとしています
  • Bing向けに「NoArchive」「NoCache」でAIへの利用を断っているサイトは、2027年3月1日 以降、Microsoftがそれを学習・紹介の意思として読まなくなります。それまでに新しい書き方へ移す必要があります
  • ロボットの出入りそのもの（サーバーの負荷や無断の取得）を止めたいなら、この合言葉ではなく、ロボットごとの拒否や、サーバー・配信サービス側の設定を使います
  • robots.txtを制作会社に任せている場合は、今どう書かれているか を一度見せてもらいましょう

まとめ

「AIに学習しないで」を伝える書き方が、ようやく1つにまとまり始めました。会社ごとにバラバラだった指定を覚えなくてよくなるのは、サイトを運営する側にとって前進です。

ただし、これは「お断り」のスイッチであると同時に、Googleでは「AIに紹介されるかどうか」にもつながるスイッチです。まだ効き始めていない今のうちに、守るものと、見つけてもらうもの を分けて決めておきましょう。

あわせて読みたい

参考

本記事は複数の公開情報をもとに作成しています。共通の書き方は個人名義の提案の段階で、各社の対応時期や扱いは今後変わる可能性があります。