GPT-3.5 trionfa nel concorso di videogiochi “Street Fighter 3” per modelli linguistici di grandi dimensioni (LLM).
Secondo quanto riportato da Tom’s Hardware, GPT-3.5 ha vinto il Mistral AI Hackathon a San Francisco, superando altri modelli di OpenAI e Mistral AI.
L’evento, chiamato “SF3 LLM Colosseum”, è stato progettato da Mistral AI per valutare le capacità di gioco degli LLM. Si tratta della prima competizione di questo tipo dedicata esclusivamente ai modelli linguistici.
Durante il gioco, ai partecipanti è stato chiesto di connettere un LLM a un emulatore PC e rispondere a una descrizione testuale dello schermo. Dovevano prendere decisioni basate sulle azioni dei giocatori e degli avversari, così come sulla salute dei personaggi.
Il personaggio “Ken” era l’unico disponibile e poteva eseguire varie azioni, tra cui movimenti, salti e attacchi speciali come Hadouken e Shoryuken.
Mistral AI ha testato diverse versioni del proprio modello, ma ha successivamente incluso modelli di OpenAI per aumentare la varietà. GPT-3.5 Turbo si è classificato al primo posto con un punteggio totale di 1776,11, seguito dalla versione finale Mistral Small con 1586,16 punti.
Le quattro versioni di “GPT-4” si sono piazzate dal terzo al sesto posto, mentre i due modelli più grandi di Mistral AI sono arrivati ultimi.
Il management di Mistral AI ha spiegato che i modelli più piccoli hanno un vantaggio in termini di reattività e velocità, che sono cruciali in un gioco come questo.
Amazon Banjo Obayomi ha gareggiato in modo separato e il modello “Claude 3 Haiku” di Antropic si è classificato al primo posto. Obayomi ha anche scoperto che piccoli oggetti e barriere interferiscono con il gioco.
Infine, Mistral AI ha reso disponibile il codice sorgente del progetto su GitHub, consentendo a chiunque di provarlo senza la necessità di un supercomputer.