Google ha lanciato IndicGenBench, un nuovo benchmark progettato per valutare le capacità generative dei modelli di linguaggio di grandi dimensioni (LLM) in 29 lingue. Questo strumento fa parte di una serie di aggiornamenti presentati durante il Google I/O Bengaluru 2024.
Ambarish Kenghe, vicepresidente di Google Pay e GM, ha annunciato il lancio durante l’evento. IndicGenBench copre diverse lingue indiane che attualmente non dispongono di benchmark adeguati. Questo strumento aiuterà a migliorare e valutare le prestazioni dei modelli linguistici in queste lingue, favorendo una maggiore inclusione linguistica.
Subram Natarajan, direttore dell’ingegneria dei clienti e CTO di Google Cloud India, ha sottolineato l’importanza di affrontare le questioni relative al linguaggio e di trasformare vari settori attraverso l’uso di LLM. IndicGenBench è parte di un impegno più ampio per migliorare le tecnologie linguistiche in India.
Inoltre, Google ha collaborato con l’Indian Institute of Science (IISc) nel progetto Vaani, che ha raccolto oltre 14.000 ore di dati vocali in 58 lingue. Questi dati sono ora accessibili agli sviluppatori e fanno parte dell’iniziativa AI di punta del MeitY, Bhashini, che promuove l’open source per favorire l’innovazione multilingue.
IndicGenBench e queste iniziative rappresentano un significativo passo avanti per l’intelligenza artificiale multilingue in India, offrendo nuove opportunità per sviluppatori e utenti in una vasta gamma di lingue.