Il famoso ricercatore Andrej Karpathy ha recentemente affermato che il progetto llm.c dimostra come GPT-2 possa ora essere addestrato in sole 24 ore su un singolo nodo GPU 8XH100, per soli $672.
Karpathy ha iniziato il suo viaggio cercando di riprodurre GPT-2 di OpenAI per scopi educativi. Inizialmente, ha incontrato ostacoli nell’uso di PyTorch, un popolare framework di apprendimento profondo. Frustrato, ha deciso di riscrivere l’intero processo di addestramento da zero in C/CUDA, creando il progetto llm.c, un sistema efficiente per l’addestramento dei modelli linguistici.
Il progetto utilizza hardware avanzato (H100 GPU), software (CUDA, cuBLAS, cuDNN, FlashAttention) e dati di alta qualità per ridurre drasticamente i costi di addestramento.
Mauro Sicard, direttore dell’Agenzia BRIX, concorda con Karpathy: “Con i miglioramenti delle GPU e dell’ottimizzazione dell’addestramento, il futuro potrebbe sorprenderci.”
Secondo Mahima Chhagani, ingegnere di Meta, il metodo LLMLingua è progettato per ridurre efficientemente le dimensioni dei modelli senza sacrificare informazioni significative. Utilizzando una cascata di modelli, dai più economici come GPT-2 ai più potenti come GPT-4 Turbo, è possibile ottimizzare i costi.
Un altro approccio, FrugalGPT, utilizza multiple API per bilanciare costi e prestazioni, riducendo i costi fino al 98% mantenendo prestazioni comparabili a GPT-4.
Un utente di Reddit, pmarks98, ha ridotto i costi dell’88% utilizzando strumenti come OpenPipe e modelli come Mistral 7B.
Anche se i modelli open source possono essere meno costosi inizialmente, l’esecuzione locale può portare a costi più alti nel lungo termine a causa della necessità di hardware specializzato e manutenzione.
Il professore di Princeton Arvind Narayanan sottolinea che le riduzioni dei costi sono più eccitanti e significative dei miglioramenti delle capacità, rendendo l’IA più accessibile e conveniente.
Questa democratizzazione dell’IA potrebbe accelerare rapidamente, portando forse a Intelligenze Artificiali Generali (AGI) personali a basso costo entro il 2029.