CloudflareがAIボットに対して「ペイ・パー・クロール」でサイトへの課金を可能にする

Cloudflareは、復活したHTTP 402の支払いシステムを使用してAIボットに対してサイトのクローリングに対する料金を請求するという新たな選択肢を出版社に提供しています。

新たな「Pay Per Crawl」システムにより、ウェブサイトのオーナーはAIボットに対して彼らのコンテンツへのアクセス料を請求することができます。このシステムは、出版社にとって現在の二択の方針、つまりAIによるデータスクレイピングの許可またはAIへの完全なアクセスブロックのいずれかから、新たなアプローチを提供します。

“多くの出版社、コンテンツクリエーター、ウェブサイト所有者は現在、まるで二者択一の選択を迫られているように感じています。AIが彼らが作り上げたすべてを利用するための入り口を広く開放するか、自分たちだけの閉じた庭を作り出すか、”とCloudflareは述べています。「だけど、もし他に道があったら？」

Pay Per Crawlによって、コンテンツクリエーターは今や誰がどの価格で入るかを決定できます。彼らは一部のAIクローラーを無料で入れることができ、他のものを完全にブロックしたり、アクセス料を課したりすることができます。「私たちはコンテンツクリエーターが自分たちの作品へのアクセスをコントロールできるようにしたかった」とCloudflareは述べています。「クリエーターが運転席に座るべきだ」

この動きは、AI企業が許可なくウェブコンテンツを使用していることに対する反発が増えている中で起こりました。例えば、YouTubeは、Googleがクリエーターに通知せずにビデオスクレイピングを行うことを許可していると批判されています。また、GoogleのAI Overviews機能により、HuffPostやThe Washington Postなどのニュースサイトへのトラフィックが50％以上減少しました。

「Googleはただ無理矢理コンテンツを取り、何のリターンもなく使用する―それは盗みの定義です」と、News/Media Allianceの会長であるDanielle Coffey氏は述べています。

このツールは、古いウェブ機能であるHTTPレスポンスコード402を使用して機能します。このコードは「支払いが必要」という意味です。AIボットがページにアクセスしようとすると、サーバーは今では402を返信し、価格タグを含めることができます。ボットが支払いに同意すると、サーバーはコンテンツを提供します。

Cloudflareは技術的なインフラを提供し、支払いを処理します。出版社はクロールリクエストごとに一定の価格を設定し、さらに異なるボットに対して異なるルールを適用することも可能です。ボットがCloudflareに登録されていなくても、「請求」することができます。これは基本的にアクセスをブロックするものの、将来的な取引の余地を残しています。

このシステムは、将来的により柔軟なライセンス付与とダイナミックな価格設定をもたらす可能性があります。Cloudflareの言葉で言えば、「クリエイターに堅牢でプログラム的なデジタル資産の評価と管理のメカニズムを提供することで、インターネットを価値あるものにする豊かで多様なコンテンツの創出を続けることを促進します。」