L’intelligenza artificiale è in piena espansione, ma con essa cresce anche il consumo energetico necessario per alimentare le reti neurali. Secondo alcuni report, strumenti come ChatGPT consumano più di mezzo milione di kilowattora al giorno, equivalenti all’energia necessaria per alimentare 17.000 famiglie negli Stati Uniti. Per far fronte a questa crescente richiesta di energia, i ricercatori hanno sviluppato una nuova tecnica chiamata L-Mul, capace di ridurre il consumo energetico delle reti neurali fino al 95%.
Il problema del consumo energetico è in gran parte dovuto all’uso intensivo di moltiplicazioni in virgola mobile, che sono computazionalmente costose. Un recente studio, intitolato “Addition is All You Need: For Energy Efficient Language Models”, ha evidenziato che la moltiplicazione di due numeri in virgola mobile a 32 bit consuma circa quattro volte più energia rispetto all’addizione di due numeri fp32, e ben 37 volte di più rispetto all’addizione di due numeri interi. La tecnica L-Mul affronta direttamente questo problema, sostituendo la moltiplicazione in virgola mobile con operazioni più semplici basate su addizioni di numeri interi.
L-Mul è un metodo di moltiplicazione a complessità lineare che utilizza operazioni sui bit e addizioni per evitare le moltiplicazioni complesse. Ciò consente di ridurre notevolmente il consumo energetico senza compromettere la precisione dei calcoli. I ricercatori hanno testato L-Mul su modelli del mondo reale come Llama 3.1 8b, Mistral-7b e Gemma2-2b, dimostrando che questa tecnica può essere utilizzata in sostituzione di diversi moduli negli strati del trasformatore, sia in condizioni di messa a punto fine che senza necessità di addestramento aggiuntivo.
Una delle caratteristiche più interessanti di L-Mul è che non dipende da architetture hardware specifiche, il che significa che potrebbe essere implementata su un’ampia varietà di dispositivi per migliorare l’efficienza energetica. Questa tecnica può potenzialmente ridurre il consumo di energia fino al 95% per le moltiplicazioni di tensori in virgola mobile e dell’80% per i prodotti scalari, mantenendo una precisione paragonabile alle operazioni tradizionali.
Nonostante i benefici energetici di L-Mul, alcuni esperti hanno sollevato dubbi riguardo alla sua effettiva capacità di accelerare i calcoli. L’approccio di approssimazione utilizzato potrebbe infatti richiedere più passaggi o una gestione più complessa rispetto alle GPU ottimizzate per le operazioni in virgola mobile. Tuttavia, in termini di riduzione del consumo energetico, i vantaggi di L-Mul sono indiscutibili e potrebbero rappresentare una vera svolta per il settore.