In un’epoca in cui l’intelligenza artificiale domina sempre più gli sviluppi tecnologici delle aziende, la storia recente di un ingegnere dell’AI offre una lezione sorprendente su come la chiarezza e la semplicità possano tradursi in benefici economici enormi. Benjamin Verbeek, membro del team tecnico di Lovable, una piattaforma tecnologica focalizzata sull’uso di modelli linguistici di grandi dimensioni (LLM) per lo sviluppo di applicazioni, ha condiviso su LinkedIn un’esperienza che, dietro un’apparenza quasi umile, nasconde un impatto impressionante: riorganizzando e ripulendo il system prompt della piattaforma, ovvero quel nucleo di istruzioni che guida il comportamento del modello linguistico, è riuscito a rendere il sistema non solo più veloce ma anche drasticamente più efficiente nei costi operativi, arrivando a risparmiare all’azienda circa 20 milioni di dollari all’anno.
Il lavoro di Verbeek non è stato un semplice esercizio di ingegneria standard. Durante il periodo delle festività ha deciso di approfondire il system prompt utilizzato da Lovable: un insieme di istruzioni dinamiche raccolte da molti file diversi e costruito nel tempo senza una visione complessiva. Mostrando un tracciato dell’LLM alla madre, storica di professione, ha ricevuto una domanda tanto semplice quanto illuminante: perché certe istruzioni venivano ripetute in più punti? Quella domanda, apparentemente banale, ha messo in luce un problema strutturale: il prompt era diventato troppo lungo, duplicato in molte parti, incoerente in alcune formulazioni e dispersivo nel messaggio complessivo.
Quello che poteva sembrare un dettaglio secondario – ridurre ridondanze e semplificare il linguaggio – si è invece rivelato il cuore della svolta. Verbeek e il suo team hanno ripulito il system prompt, rimuovendo duplicati, affinando le istruzioni e preservando l’equilibrio delle regole di base in modo che il modello potesse comprenderle e seguirle in modo più diretto. Per le prime sezioni del prompt la riscrittura è stata manuale, mentre per il resto si è fatto aiutare da un altro modello AI per rifattorizzare il contenuto nello stesso stile, seguito da una revisione rigorosa linea per linea per reintrodurre alcune salvaguardie critiche.
I risultati di questa attività di pulizia sono stati sorprendenti: il sistema ha iniziato a rispondere in modo più rapido e coerente, migliorando l’aderenza alle istruzioni e, soprattutto, consumando molti meno token, ovvero le unità di elaborazione per cui i servizi di LLM addebitano costi. Questi minori consumi, moltiplicati per l’enorme scala delle operazioni quotidiane della piattaforma, hanno permesso a Lovable di risparmiare una cifra che in molti reparti finanziari farebbe girare la testa: circa 20 milioni di dollari l’anno.
La storia, oltre a illustrare un risultato economico impressionante, porta in luce alcune riflessioni più ampie sul modo in cui lavoriamo con l’intelligenza artificiale. Verbeek stesso ha sottolineato che la qualità di un prompt, soprattutto quando un sistema viene usato su larga scala, può avere effetti compounding, cioè che si sommano e amplificano nel tempo, generando benefici ben maggiori di quanto sembri a prima vista. Inoltre, ha osservato come una prospettiva fresca – in questo caso quella di sua madre, estranea al mondo tecnico ma allenata al pensiero critico – possa rivelare inefficienze che chi è immerso quotidianamente nel progetto può non notare. Infine, ha ricordato l’importanza di sperimentare rapidamente e in modo sicuro, testando ipotesi e verificandole empiricamente per capire cosa funziona davvero.
Questa vicenda, che potrebbe sembrare quasi aneddotica, offre uno spunto prezioso: nel mondo dell’AI, dove spesso l’attenzione è rivolta alla potenza del modello o alle caratteristiche più appariscenti, può essere altrettanto cruciale fermarsi a guardare la struttura delle istruzioni alla base delle interazioni. Un prompt ben costruito non è semplicemente più elegante, ma può tradursi in prestazioni più solide, risposte più coerenti e, come in questo caso, in risparmi economici che pesano sulle decisioni strategiche di un’azienda.