Una nuova ricerca accademica ha utilizzato una tecnica particolarmente efficace per analizzare il comportamento reale dei chatbot AI durante il recupero di informazioni online: l’inserimento di contenuti unici e invisibili all’interno di siti web controllati dai ricercatori, progettati per funzionare come veri e propri “canary token”, cioè marcatori identificativi capaci di rivelare quale sistema abbia effettuato lo scraping o l’indicizzazione dei dati.
L’esperimento ha coinvolto venti siti web creati appositamente per distribuire contenuti differenti a specifici bot e crawler. Ogni scraper riceveva frasi o sequenze testuali leggermente diverse, permettendo ai ricercatori di capire successivamente quale infrastruttura fosse stata utilizzata dai chatbot quando questi restituivano informazioni agli utenti finali. Il principio è simile a quello storicamente usato nei sistemi di controspionaggio o nelle indagini sulle fughe di dati: fornire informazioni uniche a soggetti diversi e osservare dove riemergono.
La parte più interessante dello studio riguarda il fatto che numerosi chatbot hanno restituito contenuti provenienti da scraper che ufficialmente non dovrebbero essere associati direttamente alle loro piattaforme. In diversi casi, i sistemi AI sembrano utilizzare dati recuperati tramite motori di ricerca, cache intermedie o infrastrutture di crawling condivise, rendendo molto più complessa la tracciabilità reale delle fonti utilizzate durante il retrieval in tempo reale.
La ricerca evidenzia inoltre che molti bot collegati all’ecosistema AI tendono a mascherarsi come normali browser web oppure a utilizzare User-Agent generici, rendendo difficile per i gestori dei siti distinguere il traffico umano dal traffico automatizzato destinato all’alimentazione dei modelli linguistici. Alcuni sistemi sembrano addirittura alternare differenti identità software durante le richieste HTTP, complicando ulteriormente qualsiasi strategia di filtraggio o limitazione dell’accesso.
Uno degli aspetti tecnicamente più rilevanti riguarda il ruolo delle cache. Anche quando i siti vengono temporaneamente rimossi o bloccano esplicitamente gli scraper AI tramite robots.txt, i chatbot riescono spesso a continuare a fornire contenuti precedentemente acquisiti. Questo suggerisce che parte delle informazioni utilizzate dai sistemi AI venga mantenuta in cache locali o recuperata indirettamente attraverso motori di ricerca e infrastrutture terze. Di conseguenza, il semplice blocco successivo dello scraping potrebbe non essere sufficiente per impedire la presenza dei dati nelle risposte generate dai modelli.
La ricerca mette quindi in discussione l’efficacia pratica degli strumenti tradizionali di controllo del crawling web, sviluppati originariamente per i motori di ricerca classici e oggi utilizzati anche contro gli scraper AI. Il protocollo robots.txt, pur continuando ad avere valore operativo, sembra non garantire più un isolamento affidabile nel contesto dei moderni sistemi di retrieval AI, soprattutto quando i dati vengono replicati, indicizzati o memorizzati attraverso catene multiple di caching e redistribuzione.
Il lavoro fornisce uno dei primi tentativi sistematici di mappare la relazione tra chatbot commerciali, sistemi di retrieval, motori di ricerca e reti di scraping. L’obiettivo non è soltanto identificare chi raccoglie i dati, ma comprendere come le informazioni transitino tra crawler, cache, motori di indicizzazione e modelli linguistici durante le richieste in tempo reale degli utenti.
Il tema assume particolare rilevanza per editori, aziende tecnologiche, piattaforme informative e operatori che gestiscono contenuti proprietari online. L’aumento esponenziale del traffico generato da scraper AI sta infatti modificando profondamente il bilanciamento storico tra accessibilità pubblica del web, indicizzazione automatica e controllo sui dati pubblicati. Secondo alcune stime riportate nello studio, il traffico automatizzato legato ai sistemi AI potrebbe superare quello umano nel prossimo futuro, soprattutto nei contesti ad alta intensità informativa e aggiornamento continuo.