Hugging Face ha annunciato l’acquisizione di XetHub, una piattaforma innovativa per la gestione di modelli e set di dati di grandi dimensioni, fondata da ex ricercatori di Apple. Questa operazione, che rappresenta la più grande acquisizione dell’azienda finora, permetterà a Hugging Face di migliorare significativamente la sua capacità di ospitare e gestire modelli AI di grandi dimensioni.
Con l’Acquisizione di XetHub cambia:
- Integrazione Tecnologica: Hugging Face prevede di integrare la tecnologia di XetHub nella propria piattaforma, migliorando il backend di archiviazione e permettendo agli sviluppatori di gestire set di dati e modelli più grandi con maggiore facilità.
- Upgrade del Backend di Archiviazione: Attualmente, Hugging Face Hub utilizza Git LFS (Large File Storage), ma questo sistema ha limitazioni nel supporto di file e repository di grandi dimensioni. XetHub offre una soluzione avanzata in grado di gestire file superiori a 1 TB e repository oltre i 100 TB, superando ampiamente le capacità di Git LFS.
- Funzionalità Aggiuntive: XetHub apporta avanzamenti significativi come il chunking definito dal contenuto e la deduplicazione, che semplificano l’aggiornamento dei set di dati e dei modelli. Queste tecniche riducono il tempo necessario per caricare e aggiornare file, migliorando l’efficienza e riducendo i costi.
Con l’acquisizione di XetHub, Hugging Face sarà in grado di gestire modelli e set di dati ancora più grandi, facilitando l’adozione di modelli AI di ultima generazione con trilioni di parametri. L’integrazione di queste nuove tecnologie mira a supportare meglio la crescente domanda di risorse computazionali e a ottimizzare la collaborazione tra i team di sviluppo.
Attualmente, Hugging Face Hub ospita oltre 1,3 milioni di modelli e 450.000 set di dati, per un totale di 12 PB in Git LFS. L’aggiunta della tecnologia di XetHub promette di espandere ulteriormente queste capacità, migliorando la gestione e la scalabilità della piattaforma.