Amazon Web Services ha presentato TorchNeuron, un progetto software open source progettato per semplificare l’esecuzione dei modelli di intelligenza artificiale sviluppati con PyTorch sugli acceleratori Amazon Trainium. Il progetto, annunciato durante un evento dedicato agli sviluppatori PyTorch negli Stati Uniti, viene distribuito con licenza Apache 2.0 ed è destinato a ridurre gli interventi necessari per trasferire applicazioni AI su hardware differente rispetto alle GPU NVIDIA. Secondo Amazon, circa l’85% dei ricercatori e sviluppatori nel settore dell’intelligenza artificiale utilizza PyTorch, rendendo l’integrazione con questo framework un requisito essenziale per favorire l’adozione dei propri processori. TorchNeuron punta a consentire il passaggio a Trainium attraverso modifiche contenute nella configurazione, mantenendo gran parte del codice applicativo e degli strumenti di sviluppo già utilizzati. L’obiettivo è evitare che la scelta di un acceleratore alternativo imponga una revisione estesa delle pipeline di addestramento e inferenza, con i conseguenti costi di sviluppo, validazione e manutenzione.
L’iniziativa si inserisce nel confronto tra le architetture hardware disponibili per l’addestramento dei modelli AI e i rispettivi ecosistemi software. NVIDIA dispone di una posizione consolidata grazie a CUDA e alle librerie che ne permettono l’integrazione con PyTorch e altri strumenti di machine learning. La disponibilità di codice, librerie e applicazioni ottimizzate per questo ambiente può rendere complesso trasferire un progetto verso acceleratori concorrenti, anche quando questi offrono caratteristiche economiche o computazionali interessanti. TorchNeuron è stato progettato per intervenire su tale vincolo, consentendo agli sviluppatori di mantenere il flusso di lavoro PyTorch e utilizzare processori Trainium attraverso un livello software dedicato. Colin Brace, vicepresidente responsabile del software presso Annapurna Labs, ha descritto l’iniziativa come un tentativo di partire dagli ambienti già conosciuti dai clienti, anziché richiedere l’adozione di un insieme completamente nuovo di strumenti di programmazione.
TorchNeuron supporta le generazioni Trainium2 e Trainium3 e comprende integrazioni destinate all’addestramento distribuito e all’ottimizzazione dell’inferenza. La continuità dell’ambiente PyTorch dovrebbe permettere agli sviluppatori di conservare gli strumenti esistenti durante il trasferimento dei carichi computazionali, utilizzando l’infrastruttura AWS per adattare progressivamente la capacità di elaborazione alle esigenze dei progetti. Amazon ha comunicato che più di trenta clienti utilizzano già la tecnologia nelle fasi iniziali di adozione, con applicazioni che comprendono intelligenza artificiale vocale, robotica e ricerca farmaceutica. Tra i casi citati figura Deepgram, azienda specializzata nell’elaborazione del parlato, che avrebbe aumentato del 70% la quantità di dati vocali elaborati per ogni dollaro speso dopo il passaggio a Trainium. Il miglioramento rappresenta un risultato riferito a una specifica applicazione e non necessariamente un incremento prestazionale generalizzabile a tutte le architetture o ai differenti carichi di lavoro.
La disponibilità di una piattaforma che supporti sia l’addestramento sia l’inferenza permette inoltre di ridurre la complessità organizzativa dei sistemi che devono passare dalla sperimentazione iniziale alla distribuzione commerciale. AWS intende ampliare la compatibilità con gli strumenti dell’ecosistema PyTorch e contribuire direttamente allo sviluppo upstream del framework, intervenendo per ridurre le dipendenze del codice da specifiche architetture hardware. L’azienda ha indicato di aver condotto verifiche su centinaia di migliaia di modelli per migliorare la qualità e la compatibilità dell’integrazione. Rimane comunque necessario valutare le prestazioni effettive, la correttezza numerica, la disponibilità delle operazioni supportate e il costo complessivo dei differenti workload prima di considerare un trasferimento hardware equivalente sul piano operativo. TorchNeuron rappresenta quindi un intervento principalmente software, finalizzato a rendere Trainium più accessibile agli utilizzatori PyTorch e ad ampliare le alternative disponibili per lo sviluppo e la distribuzione dell’intelligenza artificiale.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)