Cloudflare позволява на сайтовете да таксуват AI ботове с „Плащане за сканиране“

Cloudflare предоставя на издателите нова опция: да таксуват AI ботовете за сканиране на техните сайтове, използвайки възстановената HTTP 402 система за плащане.

Чрез своята нова система „Pay Per Crawl” собствениците на уебсайтове могат да таксуват AI ботове за достъп до тяхното съдържание. Системата предоставя на издателите алтернативен подход от тяхната текуща политика с две опции, която или позволява изтегляне на данни от AI, или пълно блокиране на достъпа до AI.

„Много издатели, създатели на съдържание и собственици на уебсайтове в момента имат чувството, че имат само две опции – или да оставят вратата широко отворена за изкуствения интелект да консумира всичко, което създават, или да създадат собствена затворена среда,“ каза Cloudflare. „Но какво ще стане, ако имаше друг начин?”

С Pay Per Crawl, създателите на съдържание вече могат да решат кой има достъп и на каква цена. Те могат да позволят на някои AI crawlers да влизат безплатно, да блокират други напълно или да таксуват за достъп. „Искахме създателите на съдържание да контролират кой има достъп до тяхната работа“, каза Cloudflare. „Създателите трябва да са в пилотската седалка.”

Този ход идва в условията на нарастваща реакция срещу компаниите за изкуствен интелект, които използват уеб съдържание без съгласие. Например, YouTube е бил критикуван за разрешаването на Google да сканира видео без да информира създателите. Допълнително, функцията на Google AI Overviews е намалила трафика към новинарски сайтове като HuffPost и The Washington Post с повече от 50%.

„Google просто прибира съдържание насила и го използва без нищо в замяна – дефиницията на кражба“, каза Даниел Кофи, президент на News/Media Alliance.

Инструментът работи, използвайки стара функция на уеба: HTTP отговорен код 402, който означава „Изисква се плащане“. Ако бот на AI опита да получи достъп до страница, сървърът вече може да отговори с 402 и да включи етикет с цена. Ако ботът се съгласи да плати, сървърът доставя съдържанието.

Cloudflare осигурява техническата инфраструктура и обработва плащанията. Издателите могат да зададат фиксирана цена за всяка заявка за издирване и дори да прилагат различни правила за различни ботове. Дори и ако бот не е регистриран в Cloudflare, все пак може да бъде „тарифиран“ – по същество блокирайки достъпа, но оставяйки място за бъдещи сделки.

Тази система може да доведе до по-гъвкаво лицензиране и динамично ценообразуване в бъдеще. Както Cloudflare го формулира: „Като предоставяме на създателите надежден, програмен механизъм за оценка и контрол на техните цифрови активи, ние ги упълномощаваме да продължават да създават богато, разнообразно съдържание, което прави Интернета безценен.“