Negli ultimi giorni il ricercatore e divulgatore nel campo dell’intelligenza artificiale Andrej Karpathy ha attirato l’attenzione della comunità tecnica pubblicando un’implementazione funzionante di un modello stile GPT in sole 243 righe di Python puro, senza dipendenze esterne come PyTorch, TensorFlow o NumPy. Questo esperimento non è tanto un nuovo modello pre-allenato quanto una dimostrazione didattica estremamente compatta dell’intero algoritmo di un generative pretrained transformer (GPT), con tutte le componenti matematiche essenziali espresse in forma esplicita, “dal basso” fino alla generazione di testo.
Questa versione minimale illustra i concetti alla base delle serie GPT, evidenziando che l’architettura fondamentale, il ciclo di apprendimento e la generazione di testo non richiedono un’infrastruttura software stack complessa per essere compresi nel loro nucleo. Karpathy pone l’accento proprio su questo aspetto: la maggior parte delle implementazioni industriali non è complessa perché l’algoritmo lo richiede, ma perché a livello pratico servono strumenti e ottimizzazioni per scalare, gestire efficienza e throughput, integrare quantizzazioni hardware e interfacce con dataset molto ampi. In altre parole, secondo Karpathy ciò che è veramente “necessario” per far funzionare un GPT è un insieme relativamente semplice di operazioni matematiche — moltiplicazioni, somme, esponenziali, logaritmi — più un motore di differenziazione automatica e un ottimizzatore come Adam per aggiornare i pesi.
Il codice di Karpathy include le componenti principali di una rete transformer: dallo embedding dei token alla costruzione dell’attenzione multi-head, dalla normalizzazione RMS alle connessioni residui, fino al ciclo autoregressivo che permette la generazione di testo basata sul token precedente. Questo significa che tutte le costruzioni teoriche introdotte dal paper “Attention Is All You Need” di Vaswani et al., che costituiscono il cuore delle architetture dei moderni modelli di linguaggio, sono presenti in forma esplicita e leggibile. La riproposizione di questi elementi in un file di poche centinaia di righe dimostra che, concettualmente, i LLM non sono “scatole nere” inaccessibili, ma algoritmi interpretabili come qualsiasi altro software, sebbene l’addestramento su larga scala e l’ottimizzazione su hardware accelerato restino compiti ingegneristici complessi.
Dal punto di vista didattico, un tale progetto ha un valore significativo. Sebbene implementazioni minimaliste di modelli transformer non siano una novità assoluta — esistono librerie come minGPT di Karpathy stesso o esempi di “GPT in 60 righe di NumPy” — la combinazione di un codice completo, senza dipendenze e comprensibile in un’unica vista offre una piattaforma di apprendimento molto potente per studenti e professionisti che desiderano capire “quanto è semplice” alla radice il meccanismo che guida i LLM. L’approccio contrasta con l’idea — spesso diffusa tra i non specialisti — che i modelli come GPT siano tecnologicamente impossibili da comprendere senza anni di esperienza o accesso a infrastrutture di fascia alta. Al contrario, mostra come la comprensione dei meccanismi di base sia alla portata di chiunque abbia una solida formazione in algebra lineare, calcolo e programmazione Python.
Tuttavia, è importante distinguere tra comprendere un algoritmo e replicare i modelli di produzione. Il codice presentato da Karpathy non affronta aspetti cruciali per l’uso su larga scala come l’ottimizzazione delle prestazioni, la gestione di vocabolari di milioni di token, l’addestramento su dataset di dimensioni enormi o l’efficienza richiesta per inferenze rapide in produzione. Questi aspetti richiedono complessi software stack e infrastrutture di calcolo che non si possono comprimere in poche centinaia di righe. In questo senso, l’implementazione didattica funge da ponte cognitivo tra la teoria dei transformer e le implementazioni industriali, ma non sostituisce la necessità di tool evoluti per l’addestramento e la distribuzione di modelli competitivi.
Un’altra distinzione importante riguarda la differenza tra codice “che funziona” e codice “ottimizzato”. L’esempio di Karpathy mira a rivelare il contenuto algoritmico essenziale di un transformer, ma non è progettato per prestazioni elevate. A livello ingegneristico, le implementazioni moderne includono strategie di batching, attenzione mista con precisioni diverse, parallelizzazione su GPU/TPU, pipeline di addestramento avanzate e altre tecniche che permettono di addestrare centinaia di miliardi di parametri in tempi accettabili. Queste ottimizzazioni non sono parte dell’algoritmo di base ma dell’ingegneria di sistema necessaria per scalare l’intelligenza artificiale moderna.
Nella comunità tecnica, progetti di questo tipo servono anche a ribaltare narrative fuorvianti secondo cui i LLM sarebbero misteriosi artefatti inaccessibili al di fuori dei grandi laboratori di ricerca. Mostrare l’intero meccanismo in modo conciso contribuisce all’alfabetizzazione tecnica e mette in rilievo che la barriera competitiva non è tanto la comprensione dell’algoritmo, quanto gli investimenti in dati, potenza di calcolo e capacità di ingegnerizzare prodotti su larga scala. In quest’ottica, la competizione tra organizzazioni si sposta sempre più verso coloro che sanno orchestrare ecosistemi di dati e calcolo in modo efficiente, piuttosto che verso chi “capisce” il meccanismo di base dei transformer.