Recentemente, il numero di siti che bloccano i web crawler di OpenAI è diminuito notevolmente, probabilmente a causa di una serie di accordi di licenza firmati con grandi aziende dei media.
Secondo i dati di Originality AI, il blocco del bot GPT di OpenAI, noto come “GPTBot”, ha subito una forte riduzione. Inizialmente, circa un terzo dei 1.000 principali siti di informazione bloccava il bot GPT tramite il file robots.txt, ma ora questa percentuale è scesa al 25%. Per i grandi gruppi mediatici, il tasso di blocco è passato dal 90% all’inizio dell’anno a circa il 50%.
Questo calo è dovuto in gran parte agli accordi di licenza sui contenuti che OpenAI ha stretto con diverse società di media. Dopo che DotDashMeredith ha firmato un contratto con OpenAI lo scorso maggio, altri media, come Condé Nast e Vox Media, hanno seguito l’esempio, portando a una riduzione dei blocchi.
Ad oggi, OpenAI ha firmato accordi con 12 importanti media, tra cui Time, The Atlantic, Vox Media, News Corp, Financial Times, e molti altri. Questi accordi hanno portato alla modifica dei file robots.txt dei siti per consentire l’accesso ai web crawler di OpenAI. Tuttavia, ci sono eccezioni, come TIME, che continua a bloccare i bot GPT nonostante l’accordo.
OpenAI ha spiegato che una volta siglati questi contratti, l’azienda non utilizza più la scansione dei siti per raccogliere dati, ma ottiene i contenuti direttamente dai media attraverso feed forniti dagli stessi.
Alcuni siti, come il sito di teoria della cospirazione Infowars e il sito satirico The Onion, hanno deciso volontariamente di sbloccare i bot GPT, senza un accordo di licenza. Questo potrebbe far sì che i loro contenuti vengano inclusi nei risultati di ricerca del servizio “SearchGPT”.
Tuttavia, non è certo se il trend del calo dei blocchi continuerà. John Gillham, CEO di Originality AI, ha suggerito che, se gli editori vedranno il blocco come una strategia negoziale, potrebbe esserci un nuovo aumento dei blocchi in futuro. In pratica, bloccare i web crawler potrebbe diventare un modo per costringere OpenAI a sedersi al tavolo delle trattative.