Meta ha recentemente lanciato due nuovi bot di scansione del web, Meta-ExternalAgent e Meta-External Patcher, per raccogliere contenuti online e addestrare modelli linguistici di grandi dimensioni (LLM). Questi bot sono progettati per essere difficili da bloccare per i proprietari dei siti web.
Secondo quanto riportato da Business Insider il 21 agosto, i nuovi bot sono apparsi per la prima volta a luglio e sono utilizzati per raccogliere dati sui modelli di IA e prodotti correlati. Meta ha già utilizzato un bot chiamato “FacebookBot” per addestrare i suoi modelli di IA, ma questo era stato bloccato su circa il 10% dei principali siti web. Ora, i nuovi bot sembrano aggirare queste restrizioni.
I bot Meta-ExternalAgent e Meta-External Patcher svolgono due funzioni principali: raccolgono dati per l’addestramento dell’IA e indicizzano contenuti per migliorare la visibilità online. I siti web possono tentare di bloccare questi bot tramite il file “robots.txt”, ma Meta ha trovato modi per aggirare queste restrizioni. Attualmente, meno dell’1% dei principali siti web riesce a bloccare i nuovi bot di Meta.
John Gillum, CEO di OriginalityAI, ha dichiarato che le aziende dovrebbero dare ai siti web la possibilità di bloccare l’uso dei loro dati per l’addestramento dell’IA senza compromettere l’esposizione dei contenuti.
Meta ha anche rilasciato informazioni su come bloccare i bot attraverso la sua homepage.