La scorsa settimana, xAI di Elon Musk ha fatto parlare di sé con il lancio di Grok-2, un chatbot avanzato basato su un modello linguistico di grandi dimensioni (LLM). Disponibile tramite un abbonamento mensile di 8 USD su X (ex Twitter), Grok-2 ha già ottenuto un aggiornamento significativo.
Recentemente, il team di xAI ha lavorato intensamente per migliorare la velocità di Grok-2 e della sua versione più veloce, Grok-2 mini. Grazie al lavoro di Lianmin Zheng e Saeed Maleki, che hanno riscritto il codice di inferenza utilizzando SGLang, entrambe le versioni sono ora molto più veloci. Igor Babuschkin di xAI ha annunciato su X che “Grok-2 mini è ora due volte più veloce di ieri”, e che anche Grok-2 ha visto miglioramenti nella velocità e nella precisione.
SGLang è un sistema open source sviluppato da università prestigiose come Stanford, UC Berkeley, Texas A&M e Shanghai Jiao Tong. Questo sistema migliora notevolmente l’efficienza nell’esecuzione dei modelli linguistici complessi, rendendolo fino a 6,4 volte più veloce rispetto ad altri sistemi. SGLang supporta vari modelli, tra cui Llama e GPT-4 di OpenAI, e permette una programmazione più semplice grazie alla sua struttura integrata.
Nell’ultimo aggiornamento della classifica di Lmsys Chatbot Arena, Grok-2 si è posizionato al 2° posto con un punteggio di 1293, subito dietro a ChatGPT-4 di OpenAI. Grok-2-mini, con un punteggio di 1268, è salito al 5° posto. Grok-2 ha dimostrato eccellenza in compiti matematici e ha ottenuto buoni risultati in altre categorie come Hard Prompts, Coding e Instruction-following, superando anche GPT-4 di OpenAI.