In India, c’è un bisogno crescente di un’intelligenza artificiale in grado di comprendere le sottili sfumature e le complessità delle molte lingue parlate nel paese. Tuttavia, Krutrim di Bhavish Aggarwal potrebbe non essere la soluzione ideale al momento.
L’anno scorso, Aggarwal ha presentato Krutrim come il modello di intelligenza artificiale dell’India, capace di comprendere 22 lingue indiane e di produrre risultati in 10 di esse. Ha anche sostenuto che il suo modello superasse GPT-4 e LLama-2, tra i più avanzati e diffusi modelli di lingua naturale, quando si trattava di lingue indiane.
Ma, al momento del suo effettivo rilascio la settimana scorsa, Krutrim ha deluso le aspettative. Il chatbot non solo ha fallito nel cogliere le sfumature delle lingue indiane, ma in molti casi non è riuscito nemmeno a comprendere il contesto nelle lingue come l’hindi e il marathi.
Aggarwal ha dichiarato che Krutrim è stato addestrato con un numero di esempi indiani molto superiore rispetto ad altri modelli. Se fosse stato così, Krutrim avrebbe dovuto superare altri chatbot come Gemini o ChatGPT.
Tuttavia, durante i test del bot, è stato evidente che Krutrim era confuso tra lingue simili, come l’assamese e il bengalese, o tra marathi e hindi. Questo problema non è nuovo e si è visto anche in altri modelli, come GPT3.5.
L’azienda ha ammesso che i dati di addestramento di Krutrim sono limitati, il che potrebbe portare a inesattezze occasionali o a pregiudizi nel sistema.
Nonostante le affermazioni di Aggarwal che le inesattezze sarebbero state meno frequenti nei contesti indiani rispetto ad altre piattaforme globali, la realtà ha dimostrato il contrario. Krutrim sembra commettere errori anche quando si tratta di lingua inglese, dimostrando una maggiore propensione alle allucinazioni.
Inoltre, Krutrim sembra evitare deliberatamente di discutere di certi argomenti, come OpenAI o altri modelli di lingua. Questo solleva domande sulla trasparenza del modello e porta a speculazioni sul fatto che possa essere semplicemente un’estensione dei modelli GPT di OpenAI.
L’azienda non ha fornito dettagli approfonditi sul modello, compresa la sua architettura o il set di dati utilizzato per l’addestramento, alimentando ulteriori dubbi sulla sua efficacia e sulla provenienza dei finanziamenti.
Nonostante i suoi limiti attuali, Krutrim ha ancora la possibilità di migliorare. L’azienda ha annunciato il lancio di un modello multimodale più grande, chiamato Krutrim Pro, nel secondo trimestre del 2024. Si spera che questo modello sia in grado di superare le lacune della versione attuale.
Per avere successo, Krutrim deve affrontare i suoi errori e investire maggiormente nella raccolta di dati di alta qualità per le lingue indiane meno diffuse. Solo allora potrà diventare una risorsa affidabile per le imprese e gli sviluppatori.
Al momento, Krutrim può essere considerato un semplice chatbot divertente per i consumatori indiani, ma deve fare molto di più per guadagnarsi la fiducia delle aziende e diventare una risorsa utile nel campo dell’intelligenza artificiale.