REDDIT, INC. La mossa arriva in un momento in cui le aziende di intelligenza artificiale sono state accusate di plagiare i contenuti degli editori per creare riassunti generati dall'AI senza dare credito o chiedere il permesso.
Reddit ha dichiarato che aggiornerà il Protocollo di Esclusione dei Robot, o "robots.txt", uno standard ampiamente accettato per determinare quali parti di un sito sono consentite per il crawling.
L'azienda ha anche detto che manterrà il rate-limiting, una tecnica utilizzata per controllare il numero di richieste da una particolare entità, e bloccherà i bot e i crawler sconosciuti dal data scraping - la raccolta e il salvataggio di informazioni grezze - sul suo sito web.
Più recentemente, il robots.txt è diventato uno strumento chiave che gli editori utilizzano per impedire alle aziende tecnologiche di utilizzare i loro contenuti gratuitamente per addestrare gli algoritmi di intelligenza artificiale e creare riassunti in risposta ad alcune query di ricerca.
La scorsa settimana, una lettera agli editori da parte della startup di licenze di contenuti TollBit ha affermato che diverse aziende di AI stavano aggirando lo standard web per raschiare i siti degli editori.
Questo segue un'inchiesta di Wired che ha scoperto che la startup di ricerca AI Perplexity ha probabilmente aggirato gli sforzi per bloccare il suo web crawler tramite robots.txt.
All'inizio di giugno, l'editore di media economici Forbes ha accusato Perplexity di aver plagiato le sue storie investigative per utilizzarle nei sistemi di AI generativa senza darne credito.
Reddit ha dichiarato martedì che i ricercatori e le organizzazioni come Internet Archive continueranno ad avere accesso ai suoi contenuti per uso non commerciale. (Servizio di Harshita Mary Varghese; Redazione di Alan Barona)
