AI e il futuro del tradimento
Cosa succede quando le università non sanno se un saggio è scritto da un essere umano o da un algoritmo?
NoNonimporta se tu fossi uno studente di diritto all’università o più uno studente di birra pong, è estremamente improbabile che i tuoi ricordi positivi del college abbiano avuto luogo in una sala d’esame. Oltre ad essere generalmente infelici, gli esami aggravano l’ ansia e altri problemi di salute mentale e fanno un cattivo lavoro nel valutare abilità come il pensiero critico e la creatività. I test a tempo ridotto sono usati come filtro chiave per diverse professioni e università prestigiose e, alcuni sostengono , senza una ragione apparente valida.
Dato questo triste stato di cose, dovrebbe essere positivo vedere gli esami e i test supervisionati cadere lentamente di moda. Dirigenti e professori hanno sollecitato la necessità di sostituire gli esami con valutazioni più flessibili e meno limitate nel tempo come saggi e compiti scritti. Singapore, il leader mondiale dell’educazione basata sugli esami, ha abolito la classifica degli esami (anche se solo per i voti elementari). Allo stesso tempo, l’istruzione online è aumentata, con l’iscrizione ai corsi online quadruplicata negli ultimi 15 anni .
Sfortunatamente, questa tendenza verso le valutazioni online e scritte ha un avversario: l’intelligenza artificiale. Non siamo lontani da un futuro in cui gli studenti avranno accesso a sofisticati strumenti di intelligenza artificiale con la capacità di “scrivere” saggi o compiti di alta qualità per loro conto.
All’inizio di quest’anno, OpenAI (una società di ricerca di intelligenza artificiale fondata da Elon Musk e Sam Altman) ha avvertito del pericolo del suo nuovo algoritmo per la generazione di testo, chiamato GPT-2. A quel tempo, OpenAI non era particolarmente a suo agio con le capacità avanzate di GPT-2 nel generare testi sofisticati in risposta ai comandi. OpenAI ha addestrato GPT-2 su 8 milioni di pagine Web che erano state curate dagli utenti di Reddit (la povera IA).
Se un’università non ha modo di determinare se un compito è stato scritto da un essere umano o da un algoritmo, i sistemi di classificazione esistenti perdono qualsiasi parvenza di meritocrazia o correttezza.
Naturalmente, la maggior parte degli studenti non vuole imbrogliare per l’università. Ma barare sta diventando più comune. Uno studio delle migliori università del Regno Unito ha rilevato 3.721 casi di cattiva condotta accademica nel 2016-2017, in crescita del 40% rispetto allo studio precedente due anni prima. Stiamo cercando un possibile futuro in cui gli studenti pigri o disonesti possano accedere agli strumenti di intelligenza artificiale che consentano loro di superare gli altri studenti senza sforzo e senza prove di apprendimento reale. All’altra estremità della curva dei voti, i migliori studenti potrebbero anche essere incentivati a imbrogliare per andare avanti, desiderosi di ottenere un vantaggio rispetto ad altri successi in settori competitivi come la medicina e la legge.
Il potere delle reti neurali in questo momento
Ho dato a GPT-2 la seguente frase:
Nervoso di come l’AI potrebbe essere utilizzata in modo improprio da cattivi attori , OpenAI fino ad oggi ha rilasciato solo iterazioni precedenti e più deboli di GPT-2.
Ecco cosa mi è tornato in mente:
Al momento, GPT-2 utilizza un algoritmo di ricerca binaria, il che significa che il suo output può essere considerato un insieme “vero” di regole. Se OpenAI ha ragione, potrebbe eventualmente generare un programma completo di Turing, una macchina auto-migliorante che può imparare (e quindi migliorare) se stessa dai dati che incontra. E ciò renderebbe OpenAI una minaccia per gli obiettivi di IBM di apprendimento automatico e intelligenza artificiale, in quanto potrebbe essenzialmente rendere migliore persino agli umani il miglior modello possibile che le macchine future possano utilizzare per migliorare i loro sistemi. Tuttavia, c’è un problema: non solo qualsiasi nuova IA farà, ma un tipo specifico; uno che utilizza il deep learning per apprendere le regole, gli algoritmi e i dati necessari per far funzionare la macchina a un dato livello di intelligenza artificiale.
Che ci crediate o no, non ho modificato affatto questa risposta. Puoi accedere a GPT-2 da solo, su Talk to Transformer . Certo, l’esempio di scrittura sopra non è sorprendente: ha alcuni errori di scrittura e sembra più coerente di quanto si dimostri al momento dell’ispezione. Irene Solaiman, ricercatrice senior di OpenAI, ha confermato a OneZero che i modelli AI di generazione di testo esistenti come GPT-2 avevano una capacità limitata, in particolare quando veniva chiesto di completare lunghi passaggi di testo. Solaiman dubitava che GPT-2 potesse essere usato per produrre saggi accademici accettabili senza modifiche o miglioramenti significativi.
È improbabile che una sofisticata IA di generazione di testo rimanga chiusa a chiave con custodi sicuri come OpenAI.
Tuttavia, il rapporto OpenAI su GPT-2 cita ricerche che dimostrano che gli esseri umani possono essere ingannati dal testo generato dall’intelligenza artificiale. In uno studio , i campioni di testo GPT-2 sono stati quasi convincenti quanto gli articoli del New York Times (il 72% degli intervistati ha giudicato i campioni GPT-2 “credibili” rispetto all’83% per il New York Times ). Non è difficile nemmeno immaginare un’intelligenza artificiale imperfetta, forse un successore di GPT-2, in grado di superare la sua giusta quota di appassionati di birra pong nelle università.
Inoltre, è improbabile che una sofisticata intelligenza artificiale per la generazione di testo rimanga sotto chiave con custodi sicuri come OpenAI. Per prima cosa, alcune delle loro tecnologie potrebbero essere già state ricreate da un paio di laureati in informatica. Per un altro, OpenAI prevede di condividere la prossima versione più avanzata di GPT-2 con il mondo in pochi mesi. Mentre OpenAI dovrebbe essere applaudito per il loro lento, attento lancio finora, l’assenza di un uso dannoso su larga scala fino ad oggi non preclude l’uso improprio in futuro, come osserva il rapporto GPT-2 . Anche casi relativamente piccoli di imbrogli che usano strumenti come GPT-2 possono sfuggire alla notazione in un modo in cui non farebbero abusi su larga scala ( come campagne di disinformazione armate ).
Data la potenziale domanda da parte degli studenti, potrebbe essere solo una questione di tempo prima che i programmatori imprenditoriali sviluppino un’intelligenza artificiale dedicata alla generazione di testo diretta a loro. Gli strumenti esistenti utilizzati dalle università per verificare l’integrità del lavoro degli studenti sono ridicolmente mal equipaggiati per far fronte ai compiti scritti dall’IA. I controllori dell’integrità accademica come TurnItIn scansionano esclusivamente per plagio, che non riesce già a cogliere casi in cui gli studenti pagano gli altri per scrivere saggi originali per loro. L’intelligenza artificiale potrebbe sfruttare questa scappatoia esistente su larga scala. Mentre generano testo nell’AI accedono alle risorse nel loro database, non plagiano di per sé e quindi eviterebbero il rilevamento dagli strumenti anti-cheat esistenti.
Per fortuna, per il momento, questo rimane un problema ipotetico. L’intelligenza artificiale potrebbe essere lontana molti anni dalla produzione di risposte ponderate a domande complesse in un modo che sarebbe credibilmente umano. Nel frattempo, i ricercatori stanno sviluppando strumenti per neutralizzare la minaccia per il mondo accademico. Gli esperti di AI di Harvard e del MIT stanno lavorando a uno strumento per identificare schemi di parole prevedibili al fine di rilevare il testo scritto dall’IA, anche se quel testo ingannerebbe un lettore umano nel pensare che fosse autentico. Un altro strumento di sviluppo tenta di rilevare il testo generato dall’IA eseguendo la scansione alla ricerca di errori macchina comuni, come espressioni errate e frasi non tradotte.
Lo sviluppo di una soluzione efficace su scala per le università è di vitale importanza – senza un’adeguata difesa, il settore accademico rischia di essere minato quando l’IA che genera testo diventa più avanzata. Se gli studenti pigri possono semplicemente pagare per gli strumenti di intelligenza artificiale per scrivere loro saggi brillanti e le università non possono dire quali risposte sono scritte da un essere umano e quali no, nessun sistema di valutazione che incorpora tali valutazioni è compromesso. Una conclusione è che le università saranno costrette a tagliare qualsiasi incarico che consenta la possibilità di assistenza AI. Ciò significherebbe la fine di incarichi scritti, risposte a saggi e assolutamente qualsiasi cosa valutata online.
Tuttavia, un’alternativa più positiva a lungo termine è stata suggerita a OneZero da Miles Brundage, ricercatore di OpenAI. Miles ipotizza che gli strumenti di intelligenza artificiale potrebbero eventualmente essere incorporati nell’aula allo stesso modo dei calcolatori.
“Se non viene utilizzato in modo illecito, l’intelligenza artificiale può essere un vantaggio per generare documenti di testo più ampi, più ambiziosi e più creativi – in modo simile al modo in cui i calcolatori sono stati utilizzati per aiutare a sviluppare le competenze che vogliamo insegnare”, afferma Brundage .
I calcolatori hanno risparmiato agli studenti di matematica e scienze la faticosa sofferenza di lunghi calcoli e hanno consentito programmi più avanzati, progettati con la consapevolezza che gli studenti avranno accesso ai calcolatori quando risponderanno. Allo stesso modo, è possibile che le università possano evolversi pianificando corsi che sfruttano l’accesso degli studenti all’intelligenza artificiale
Sia che le università combattano l’avanzamento tecnologico dell’intelligenza artificiale generatrice di testo o l’abbracciano, c’è molto in gioco – con conseguenze molto più gravi dell’afflizione di più esami sul corpo studentesco. La grande promessa di corsi online per fornire un’istruzione avanzata su larga scala nei paesi in via di sviluppo potrebbe non essere mai realizzata se ogni incarico completato online è intrinsecamente sospetto, ossessionato dallo spettro della sofisticata IA
Come sempre, l’IA rappresenta una scatola di sfide e opportunità di Pandora. Da un lato, modelli generatori di testo come GPT-2 potrebbero aiutare gli scrittori e aiutare a massimizzare la creatività. Ma con l’inganno accademico, l’intelligenza artificiale minaccia il contrario, eliminando la necessità di sforzo umano e compromettendo un sistema di classificazione dipendente da condizioni di parità. In che modo si sviluppa il campo nascente dell’IA che genera testo (e come rispondono le università) sia per gli studenti di A che per gli esperti di birra pong.
