Pangram è un sistema di AI detection progettato per distinguere i testi scritti da persone da quelli prodotti dai modelli generativi. Il funzionamento per l’utente è diretto: il testo viene incollato nella piattaforma e il sistema restituisce una valutazione percentuale della componente umana e di quella generata artificialmente. Il servizio costa 20 dollari al mese e utilizza a sua volta modelli di intelligenza artificiale addestrati per individuare le caratteristiche statistiche e stilistiche lasciate dai diversi chatbot. Pangram dichiara una precisione pari a 9.999 testi correttamente identificati su 10.000, mentre uno studio indipendente dell’Università di Chicago avrebbe registrato prestazioni prossime alla perfezione nell’analisi dei contenuti testuali.
Il sistema non basa la classificazione sulla semplice presenza di elementi facilmente associabili alla scrittura dei chatbot, come emoji, elenchi puntati, trattini lunghi o costruzioni ripetitive. Max Spero, cofondatore di Pangram, descrive invece un processo basato sulla ricerca della specifica impronta lasciata dai modelli linguistici. ChatGPT, Claude, Gemini e sistemi analoghi generano ogni parola attraverso una successione di scelte probabilistiche, nelle quali ciascun token influenza quelli successivi. Analizzando grandi quantità di output prodotti separatamente dai diversi modelli è possibile cercare ricorrenze statistiche e linguistiche sufficientemente stabili da costruire una sorta di firma stilistica, attraverso un processo che Spero paragona al reverse engineering del comportamento dei chatbot.
Pangram è stato sottoposto a circa 50 prove nelle quali testi umani e contenuti generati dall’AI sono stati combinati all’interno dello stesso documento. In alcuni casi passaggi scritti da una persona sono stati intervallati da frasi prodotte artificialmente, mentre in altri la struttura è stata invertita. Il detector è riuscito a individuare correttamente le sezioni attribuibili all’intelligenza artificiale e quelle umane anche quando entrambe erano presenti nello stesso testo. La capacità di distinguere le due componenti rappresenta uno degli aspetti più rilevanti del sistema, perché molti contenuti reali non sono interamente generati da un chatbot ma vengono scritti, completati o modificati attraverso strumenti di AI.
Tra le verifiche sono stati utilizzati anche testi di Charles Dickens disponibili pubblicamente, che Pangram ha classificato come completamente umani. Il test è significativo perché le precedenti generazioni di AI detector avevano mostrato problemi proprio con testi letterari e storici, producendo falsi positivi e arrivando in alcuni casi a identificare come artificiali opere scritte molto prima della nascita dei modelli generativi. In un’altra prova è stato analizzato un post pubblicato su LinkedIn che presentava caratteristiche compatibili con un testo generato dall’AI: Pangram ha classificato come umana soltanto la frase introduttiva e ha attribuito il resto a un sistema generativo. L’autore del post ha successivamente confermato di avere effettivamente utilizzato l’intelligenza artificiale per scriverlo.
Le prestazioni diventano meno solide quando il rilevamento passa dai testi alle immagini. Pangram dispone anche di una funzione di image detection, ma si tratta ancora di una componente in fase di sviluppo. In un confronto effettuato su 20 immagini artificiali già identificate in precedenza come false, Pangram è stato messo alla prova insieme a Hive Detect. Quest’ultimo ha classificato erroneamente come autentiche otto immagini generate o manipolate con l’AI, comprese un deepfake dell’attrice Zendaya, un’immagine del senatore Mitch McConnell rappresentato in un letto d’ospedale e la fotografia modificata di un cartello stradale di San Francisco.
Pangram ha commesso due errori sullo stesso insieme di immagini, non riuscendo a identificare correttamente il contenuto relativo a McConnell e quello del falso cartello stradale. In altri quattro casi il sistema non ha prodotto una classificazione perché le immagini erano considerate eccessivamente violente oppure di qualità insufficiente. Nei test interni realizzati dall’azienda su un diverso campione di 43 immagini generate artificialmente, Pangram dichiara invece di averne identificate correttamente 41.
Anche verifiche indipendenti evidenziano come l’image detection rimanga più difficile rispetto all’analisi del testo. Hany Farid, professore al Dartmouth College e fondatore di GetReal Security, ha sottoposto Pangram a cinque fotografie di guerra generate dall’intelligenza artificiale e il sistema ne ha riconosciute correttamente tre. Uno dei principali problemi tecnici deriva dalle trasformazioni che le immagini subiscono durante la loro diffusione online: screenshot, ridimensionamenti, compressione applicata dai social network e modifiche successive possono eliminare o alterare caratteristiche utili ai detector, riducendo l’affidabilità della classificazione rispetto all’analisi del file originale.
La rilevazione algoritmica si affianca alle tecniche di identificazione inserite direttamente nei contenuti sintetici. Per le immagini possono essere utilizzati watermark e informazioni incorporate nei metadati per indicarne l’origine artificiale, mentre tecniche analoghe stanno iniziando a interessare anche i testi. OpenAI, Anthropic e Google utilizzano già diversi sistemi per rendere identificabili i contenuti generati dai propri modelli e Anthropic ha annunciato l’intenzione di introdurre un watermark invisibile nei testi prodotti da Claude, anche in relazione ai nuovi obblighi europei sulla trasparenza dei contenuti generati dall’intelligenza artificiale.
La capacità di Pangram di analizzare testi nei quali scrittura umana e generazione automatica sono mescolate apre applicazioni concrete nella verifica di recensioni online, post pubblicati sui social network, contenuti editoriali ed email potenzialmente fraudolente. Il problema tecnico rimane invece più complesso per immagini e altri materiali che possono essere modificati o ricompressi più volte prima di essere sottoposti all’analisi, perché l’efficacia dei sistemi di detection dipende in misura significativa dalla quantità e dalla qualità delle informazioni ancora presenti nel contenuto esaminato.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)