Groq ha annunciato una partnership con Meta per rendere disponibili i modelli Llama 3.1, tra cui 405B Instruct, 70B Instruct e 8B Instruct, alla comunità. Questi modelli saranno utilizzabili tramite Groq, noto per la sua inferenza AI ultra-rapida.
Mark Zuckerberg, capo di Meta AI, ha dichiarato: “Sono entusiasta di vedere l’inferenza ultra-low-latency di Groq per i modelli Llama 3.1. Condividendo i nostri modelli e strumenti, aziende come Groq possono costruire sul nostro lavoro e spingere avanti l’intero ecosistema.”
Jonathan Ross, capo di Groq, ha aggiunto che Meta sta sviluppando un sistema operativo aperto per l’intelligenza artificiale, simile a Linux, per migliorare l’efficienza dell’AI. L’ex ricercatore di OpenAI, Andrej Karpathy, ha lodato la velocità di Groq, affermando che rende l’IA molto più piacevole e immediata.
Negli ultimi mesi, Groq ha catturato l’attenzione per la sua capacità di eseguire attività di intelligenza artificiale in modo più rapido ed economico rispetto ai concorrenti. Questo è possibile grazie alla loro unità di elaborazione linguistica (LPU), che è più efficiente per l’inferenza rispetto alle GPU tradizionali.
Benjamin Klieger, ingegnere delle applicazioni AI di Groq, ha introdotto StockBot, un chatbot AI open source che utilizza Llama 3-70B su Groq, in grado di rispondere con grafici azionari, finanziari e notizie in tempo reale.
Groq ha recentemente lanciato i modelli Llama 3 Groq Tool Use nelle versioni 8B e 70B, che hanno raggiunto il primo posto nel benchmark BFCL, superando modelli proprietari come GPT-4 Turbo e Gemini 1.5 Pro.
Groq offre il suo servizio gratuitamente per alimentare i carichi di lavoro LLM, attirando oltre 282.000 sviluppatori. Jonathan Ross ha sottolineato che il servizio è facile da usare e compatibile con la maggior parte delle applicazioni esistenti. Groq si distingue per evitare l’uso delle GPU, preferendo il proprio hardware proprietario, la LPU.
Le LPU sono progettate per gestire i modelli di linguaggio di grandi dimensioni (LLM) in modo più rapido ed efficiente, riducendo il consumo di energia e migliorando le prestazioni rispetto alle GPU. Questo rappresenta una sfida significativa per i produttori di GPU tradizionali come NVIDIA, AMD e Intel.