Matt Shumer, co-fondatore e CEO di OthersideAI, ha finalmente parlato dopo essere stato accusato di frode riguardo al suo modello linguistico Reflection 70B. Questa accusa è emersa quando i ricercatori non sono riusciti a replicare le prestazioni eccellenti che Shumer aveva inizialmente dichiarato per il modello, rilasciato il 5 settembre.
Sul social network X, Shumer si è scusato per la situazione, dicendo di aver “sottovalutato la situazione” e riconoscendo che l’entusiasmo iniziale è stato sostituito dallo scetticismo.
Il 5 settembre, Shumer ha presentato Reflection 70B sulla piattaforma open source Hugging Face, definendolo “il miglior modello open source al mondo” e mostrando risultati impressionanti in benchmark di terze parti. Shumer ha attribuito queste prestazioni straordinarie a una tecnica chiamata “Reflection Tuning”, che migliora la qualità delle risposte del modello.
Tuttavia, pochi giorni dopo, ricercatori indipendenti e membri della comunità open source hanno messo in dubbio i risultati, non riuscendo a replicarli. Alcuni hanno notato somiglianze con il modello Claude 3.5 di Anthropic. Le critiche sono aumentate quando Artificial Analysis ha pubblicato test che mostrano risultati inferiori a quelli dichiarati da Shumer.
Inoltre, è emerso che Shumer aveva investito in Glaive AI, la startup che ha fornito i dati sintetici per l’addestramento del modello, ma non aveva rivelato questo legame al momento del lancio.
Martedì 10 settembre, Shumer ha pubblicato una dichiarazione su X in cui si scusa e promette che il suo team sta lavorando per capire cosa è andato storto. Ha anche accennato a un post di Sahil Chaudhary, fondatore di Glaive AI, il quale ha confermato che alcuni risultati del modello erano ancora misteriosi e non riproducibili.
Nonostante le scuse, molti restano scettici. Yuchen Jin, CTO di Hyperbolic Labs, ha criticato Shumer per la mancanza di trasparenza, sottolineando il tempo e l’energia spesi per ospitare il modello senza ottenere risultati chiari. Altri membri della comunità IA, come l’utente Megami Boson, hanno espresso dubbi sulla veridicità delle dichiarazioni di Shumer e Chaudhary.
La comunità di intelligenza artificiale rimane in attesa di spiegazioni più chiare. Solo il tempo dirà se Shumer e Chaudhary riusciranno a rispondere adeguatamente alle preoccupazioni e ai dubbi sollevati dai loro critici.