Gli Emirati Arabi Uniti (EAU), attraverso il Technology Innovation Institute (TII) di Abu Dhabi, hanno recentemente lanciato Falcon 3, una nuova famiglia di modelli linguistici open-source progettati per funzionare in modo efficiente su infrastrutture leggere basate su singole GPU.
La serie Falcon 3 comprende quattro modelli di diverse dimensioni: 1B, 3B, 7B e 10B, ciascuno disponibile in varianti base e “instruct”. Questi modelli sono stati addestrati su 14 trilioni di token, più del doppio rispetto al loro predecessore, Falcon 2, e utilizzano un’architettura decoder-only con grouped query attention. Questa configurazione consente di condividere i parametri e ridurre l’uso della memoria durante l’inferenza, garantendo operazioni più rapide ed efficienti nell’elaborazione di compiti testuali diversificati.
Un aspetto distintivo di Falcon 3 è il supporto per quattro lingue principali: inglese, francese, spagnolo e portoghese. Inoltre, i modelli dispongono di una finestra di contesto di 32.000 token, che permette di gestire input estesi, come documenti di grandi dimensioni. La variante base dei modelli è ideale per applicazioni generative, mentre la versione “instruct” eccelle in compiti conversazionali, come l’assistenza clienti o gli assistenti virtuali.
Secondo la classifica di Hugging Face, i modelli Falcon 3 superano o eguagliano le prestazioni di altri modelli open-source popolari nella stessa categoria di dimensioni, tra cui Llama di Meta e Qwen-2.5. Questo posiziona Falcon 3 come un concorrente significativo nel panorama dei modelli linguistici di piccole dimensioni, particolarmente richiesti per la loro efficienza, economicità e capacità di essere implementati su dispositivi con risorse limitate.