Joe Ragazzo, editore del sito di notizie Talking Points Memo, ha descritto la situazione dei siti web come un “dilemma esistenziale”, in cui i webmaster si trovano di fronte a due scelte problematiche: “Se rifiuti Google, rischi di morire immediatamente; se collabori, rischi di morire lentamente.”
Googlebot, lo strumento di scansione web di Google, è essenziale per indicizzare e tenere traccia delle pagine web, creando così un vasto archivio di Internet. Se i siti web scelgono di escludere Googlebot tramite il file robots.txt, non verranno inclusi nei risultati di ricerca di Google. Questo può ridurre drasticamente il traffico verso quei siti, poiché non compariranno nei risultati di ricerca.
Google è accusata di detenere un monopolio nella ricerca e di sfruttare questa posizione dominante per ottenere vantaggi nello sviluppo dell’intelligenza artificiale. Alcuni esperti sostengono che il Dipartimento di Giustizia degli Stati Uniti dovrebbe intervenire con misure drastiche, come la divisione dell’azienda o la condivisione dei dati.
Alex Rosenberg, CEO della startup di intelligenza artificiale Taco, ha osservato che molte aziende tecnologiche ora pagano per i contenuti, mentre Google non sembra fare lo stesso. OpenAI, ad esempio, ha firmato contratti con diverse società mediatiche. Al contrario, a parte un contratto con Reddit all’inizio dell’anno, Google non ha reso noto di aver pagato altre aziende mediatiche per i contenuti.
In sintesi, i siti web si trovano a fare i conti con una situazione difficile: accettare Google e rischiare una dipendenza a lungo termine, o rifiutarla e affrontare la possibile estinzione del loro traffico.