robots.txtに『AI学習には使うな』を書き込む標準──Google・MozillaのIETFドラフトdraft-ietf-aipref-attachを読む

サイト運営者が自分のコンテンツをAIモデルの学習にどう使ってよいか（あるいは使ってほしくないか）を、robots.txtやHTTPヘッダーで機械可読に表明するための標準化作業が、IETFのAI Preferences（aipref）ワーキンググループで進んでいる。ドラフト「draft-ietf-aipref-attach」の最新版（-05）本文を確認すると、既存のRobots Exclusion Protocol（RFC 9309、いわゆるrobots.txt）を更新し、Content-Usageという新しいディレクティブとHTTPヘッダーフィールドを追加する仕様であることが分かる。

3行まとめ

• draft-ietf-aipref-attachは、robots.txtにContent-Usage: train-ai=nのような1行を書くだけで、コンテンツの利用可否をAIクローラーに伝える仕組みを定義するIETFドラフト
• 別文書「draft-ietf-aipref-vocab」を確認すると、実際に定義済みの利用カテゴリはtrain-ai（AI学習）とsearch（検索）の2つのみで、この定義自体まだワーキンググループの合意に達していない
• aipref WGのチャーターには「選好の技術的な強制はチャーターの適用範囲外」と明記されており、この標準群は意思表示の共通フォーマットを定めるだけで、AI企業側に守らせる仕組みまでは定義しない

何が課題として書かれているか

ドラフトの序文はこう始まる。

The automated consumption of content by crawlers and other machines has increased significantly in recent years. This is partly due to the training of machine-learning models. Content creators and other stakeholders, such as distributors, might wish to express a preference regarding the types of usage they consider acceptable. Entities that might use that content need those preferences to be stated in a way that is easily consumed by an automated system.

（クローラーやその他の機械によるコンテンツの自動的な消費は、近年著しく増加している。これは一部、機械学習モデルの学習によるものだ。コンテンツ制作者や配信者などの利害関係者は、自分たちが許容できる利用の種類について、選好を表明したいと考えるかもしれない。そのコンテンツを利用しうる主体は、その選好が自動システムで容易に消費できる形で述べられている必要がある）

この課題に対し、ドラフトは2つの伝達手段を定義する。

This document describes two mechanisms for associating preferences with content: A Content-Usage header field for HTTP; […] A Content-Usage directive for the Robots Exclusion Protocol (colloquially known as "robots.txt")

（この文書は、コンテンツに選好を関連付ける2つの仕組みを説明する。HTTP用のContent-Usageヘッダーフィールド、そしてRobots Exclusion Protocol（俗にrobots.txtと呼ばれる）用のContent-Usageディレクティブだ）

具体例——Content-Usage: train-ai=n

ドラフトが示す例は簡潔だ。HTTPレスポンスヘッダーとして使う場合はこうなる。

HTTP/1.1 200 OK
Date: Wed, 23 Apr 2025 04:48:02 GMT
Content-Type: text/plain
Content-Usage: train-ai=n

robots.txtに含める場合は、既存のUser-Agent・Allowディレクティブと並べてこう書ける。

User-Agent: *
Allow: /
Content-Usage: train-ai=n

train-ai=nという値そのもの（どんな利用カテゴリがあり、複数の選好表明がどう組み合わされるかというルール）は、このドラフトが定義する範囲ではなく、別文書として参照されている「preference vocabulary」（選好の語彙を定める文書）で定義されているとドラフトは明記している。

The format of a statement of preference is defined in the preference vocabulary [VOCAB]. […] This document only defines how the strings or byte sequences are conveyed so that statements of preference can be associated with content.

（選好表明のフォーマットは、preference vocabularyで定義される。〔中略〕この文書が定義するのは、選好表明をコンテンツに関連付けられるように、その文字列やバイト列がどう伝達されるかだけだ）

つまりこのドラフト自体は「運び方」の標準であり、「何を許可・禁止できるか」というカテゴリの中身は別の文書が担う、という役割分担になっている。

別文書「preference vocabulary」を確認した。現時点で定義済みのカテゴリは2つだけ

参照先の別文書「draft-ietf-aipref-vocab」(最新版-07、2026年8月19日付、著者はOpen FutureのP. Keller氏とMozillaのMartin Thomson氏)を直接確認した。この文書が定義する「利用カテゴリ」は、本記事確認時点でまだ2つしかない。

ドラフト本文の該当セクション冒頭には「NOTE: This section does not yet have consensus（この節はまだワーキンググループの合意に達していない）」という注記があり、この2カテゴリの定義自体が、まだ確定した仕様ではなく議論中のものであることも分かった。値はy(許可)・n(禁止)の2値のみで、キーが存在しない・値がyでもnでもない場合は「不明(unknown)」として扱われる。新しいカテゴリを追加するには、この文書を更新する標準トラックRFCが別途必要になるとも明記されている。

著者と位置づけ

ドラフトのヘッダー部分には、著者としてGary Illyes氏（Google所属と明記）とMartin Thomson氏（Mozilla所属と明記）の名前がある。Gary Illyes氏はGoogle検索のデベロッパーアドボケイトとしてrobots.txt関連の情報発信で知られる人物で、Martin Thomson氏はIETFで多くのHTTP関連仕様に関わってきたMozillaのエンジニアだ。文書のステータス欄には次の記載がある。

Updates: 9309 (if approved) […] Intended status: Standards Track […] Expires: 20 February 2027

（更新対象：RFC 9309（承認された場合）。〔中略〕意図されたステータス：標準トラック。〔中略〕失効日：2027年2月20日）

「Expires（失効）」という表記は、IETFインターネットドラフトの通常のルール（作業中の文書は最長6か月で失効し、更新されなければ取り下げ扱いになる）に基づくもので、この文書がまだ正式なRFCとして確定していない「作業中の標準化文書」であることを示している。Datatrackerのステータス欄では「WG Document」（ワーキンググループの文書として採択済み）とあり、関連するワーキンググループのマイルストーンとして「2026年8月：標準トラックのプロトコル仕様をIESGへ提出」という記載も確認できた。

このドラフトが更新するRFC 9309(Robots Exclusion Protocol、2022年9月発行)自体も確認した。著者にはM. Koster氏・G. Illyes氏(Google)・H. Zeller氏(Google)・L. Sassman氏(Google)の名があり、1994年にMartijn Koster氏が個人で定めた非公式な「Robots Exclusion Protocol」を、正式なIETF標準として初めて明文化したものだと分かった。つまりGary Illyes氏は、2022年のRFC 9309でもGoogle側の著者の一人であり、今回のdraft-ietf-aipref-attachにも継続して関わっている。

「AI Preferences」ワーキンググループ自体のチャーター(datatracker.ietf.orgで直接確認)も見ておく。議長はMark Nottingham氏とSuresh Krishnan氏で、チャーターには3つの成果物が明記されている:(1)選好を表現するための語彙を定める標準トラック文書、(2)その選好をrobots.txtやHTTPヘッダーなど既存のプロトコルに紐付ける標準トラック文書、(3)複数の選好表明が矛盾した場合に調停する標準的な方法。そして**「選好の技術的な強制(Technical enforcement of preferences)」は、このチャーターの適用範囲外(out of scope)だと明記されている**。つまりこの標準群は、サイト運営者が意思表示をするための共通フォーマットを定めるものであり、AI企業側にそれを守らせる技術的な仕組みまでは定義しない、という設計になっている。

それでも確認しきれなかったこと

この記事はIETF Datatrackerに掲載されたdraft-ietf-aipref-attach-05・draft-ietf-aipref-vocab-07・RFC 9309・aipref WGチャーターページの本文を一次ソースとしている。IETFの標準化プロセスにおいて、このドラフト群が最終的にRFCとして承認されるかどうか、承認された場合にいつになるかは、Datatrackerのステータス表示（IESG evaluation record段階）以上のことは分からなかった。vocabularyドラフトの「NOTE: this section does not yet have consensus」という注記が示す通り、train-ai・searchという2カテゴリの定義そのものが、まだワーキンググループの合意に達していない点も踏まえて読む必要がある。

また、GoogleやAI企業各社が実際にこの仕様に対応する予定があるかどうかについても、ドラフト本文には記載がなく、本記事では触れていない。この記事を書いている自分自身は、IETFの標準化プロセスに関わった経験がなく、このドラフトが業界でどこまで実装されるかを予測する材料は持ち合わせていない。Zenn・Qiitaともに、この記事の元になった候補メモの時点で言及は見当たらなかった。

関連記事: AI著作権の現在地

感想・指摘はコメント欄へ。