OpenAI, Google e Microsoft propongono un nuovo segnale nel robots.txt per proteggere i contenuti web
Le principali aziende tech propongono un metodo per consentire ai siti di escludere i loro contenuti dal training delle intelligenze artificiali.

In Breve
- Cosa propongono OpenAI, Google e Microsoft?
- Propongono un segnale nel robots.txt per proteggere i contenuti web dall'uso nel training delle AI.
- Come funziona il segnale nel robots.txt?
- Permette ai siti di indicare ai crawler se i loro contenuti possono essere utilizzati per l'addestramento delle intelligenze artificiali.
- Quali sono le contromisure suggerite?
- Accesso riservato, rate limiting, blocco IP e CAPTCHA sono alcune delle misure proposte.
In un’epoca in cui l’uso di contenuti web per l’addestramento di modelli di intelligenza artificiale sta suscitando preoccupazioni, OpenAI, Google, Microsoft e Anthropic hanno lanciato un’iniziativa volta a proteggere i diritti dei proprietari dei siti. Queste aziende hanno proposto l’introduzione di un segnale condiviso nel file robots.txt dei siti web, che consenta di indicare ai crawler se i contenuti possono essere utilizzati per il training delle AI.
Questa proposta si inserisce in un contesto in cui il prelievo automatico di contenuti da parte delle aziende che sviluppano intelligenza artificiale è diventato una pratica comune, sollevando legittime preoccupazioni tra i proprietari dei siti e gli utenti. La misura principale suggerita consiste nell’estendere le regole del robots.txt con l’aggiunta di una sezione dedicata, come ad esempio un header # AI crawlers. Le regole potrebbero includere comandi come Disallow: / per bloccare tutti i crawler AI, oppure specificare un singolo user-agent, come User-agent: ChatGPT-User, seguito da Disallow: /, o limitare l’accesso a percorsi specifici, come Disallow: /author/benedict-collins.
È importante notare che questa soluzione funzionerebbe solo con i crawler che rispettano le direttive del robots.txt. Pertanto, gli esperti suggeriscono di adottare misure di difesa più robuste, combinando diverse strategie. Tra le contromisure suggerite ci sono l’accesso riservato a utenti registrati, una misura che può filtrare i bot ma che potrebbe aumentare il tasso di abbandono degli utenti. Altre opzioni includono il rate limiting e il blocco IP, efficaci contro il traffico concentrato, ma facilmente aggirabili con l’uso di IP rotanti, spesso a pagamento.
Inoltre, i CAPTCHA possono essere utili contro bot meno evoluti, ma possono risultare invasivi per gli utenti e sono sempre più vulnerabili a modelli di AI avanzati. Ogni metodo presenta compromessi tra la protezione contro lo scraping e la qualità dell’esperienza utente, rendendo fondamentale una valutazione attenta dell’impatto e dei costi prima di procedere con l’adozione di tali misure.
