Cloudflare ha appena lanciato un modello che potrebbe cambiare per sempre l’equilibrio tra creatori di contenuti e intelligenze artificiali: il “pay per crawl”.
L’idea è semplice e potente: se i bot delle AI vogliono leggere i tuoi articoli, devono pagare. Niente più estrazioni gratuite, niente più “risposte pronte” generate da modelli addestrati sui tuoi testi senza ritorno economico.
Secondo Reuters, il sistema è in beta privata e verrà esteso progressivamente. E non è solo un dettaglio tecnico: potrebbe essere la prima vera difesa degli editori contro la perdita di traffico causata dalle risposte dirette fornite da chatbot e motori “AI-first”.
Come funziona il codice 402
La chiave è l’uso del codice HTTP 402 – Payment Required, uno standard quasi mai usato fino ad oggi. Quando un crawler AI tenta di accedere a un sito protetto, riceve questo codice: significa che per entrare serve un accordo economico.
Cloudflare gestisce la parte complicata: autenticazione, verifica dell’identità del bot, gestione dei pagamenti. Il proprietario del sito può scegliere:
- permettere l’accesso gratis
- bloccarlo del tutto
- o attivare un paywall per i bot.
Come ha spiegato Cloudflare nel suo blog ufficiale i nuovi domini partiranno con il blocco dei crawler AI come impostazione predefinita.
Perché gli editori lo chiedono
Gli editori e i creatori di contenuti hanno un problema evidente: sempre più utenti leggono le risposte generate dall’AI senza mai cliccare sui link.
Questo significa meno visite, meno impression pubblicitarie, meno entrate. L’antico patto del web (“io pubblico, tu mi porti traffico”) si sta sgretolando.
In questo scenario, il modello di Cloudflare è una sorta di nuova moneta del web: le AI possono continuare ad addestrarsi e generare risposte, ma devono riconoscere un valore economico a chi i contenuti li produce davvero.
I rischi di questo approccio
Ovviamente non tutto è rose e fiori. Alcuni bot potrebbero ignorare le regole e accedere con tecniche di scraping non autorizzate. Altri potrebbero preferire dataset già disponibili, penalizzando chi mette i propri contenuti dietro un paywall per i bot.
Inoltre resta la questione legale: cosa significa far pagare per l’accesso ai dati pubblici? È una licenza? È un diritto d’autore digitale? L’Europa e gli USA dovranno chiarire questi punti.
Ma l’effetto simbolico è enorme: per la prima volta, un’infrastruttura globale come Cloudflare dice chiaramente che i contenuti valgono. E che se l’AI vuole usarli, deve pagare.
Leggi anche No More Copyright: il tool AI che rigenera immagini “senza copyright”
Il futuro del web
Se l’esperimento funziona, potremmo assistere alla nascita di un nuovo mercato dei contenuti: non più solo pubblicità e abbonamenti, ma anche micropagamenti da parte delle AI.
Chi produce valore verrebbe finalmente riconosciuto anche nel mondo dei bot. Un equilibrio fragile, certo, ma necessario se vogliamo che Internet resti un ecosistema vivo e sostenibile.
