Conan Technology ha recentemente presentato il suo Large Language Model (LLM), chiamato “Conan LLM”. Si tratta di un modello linguistico progettato per scopi aziendali, con un focus su prestazioni ottimizzate, costi ridotti e sicurezza aumentata. Questo modello si basa su ricerca in loco e vettoriale, con una struttura che incorpora un numero maggiore di token di apprendimento, riducendo al contempo i parametri.
La presentazione si è tenuta in una conferenza stampa al Conrad Seoul il 17. Kim Young-seom, CEO di Conan Technology, ha aperto l’evento dichiarando che l’azienda ha continuato a investire nello sviluppo tecnologico per affrontare le sfide del mercato dell’IA generativa.
Lim Wan-taek, responsabile della pianificazione strategica, ha poi spiegato i dettagli e i vantaggi di Conan LLM. Ha evidenziato il notevole numero di token di apprendimento in Corea, che ammonta a 2 miliardi di dati provenienti da documenti di alta qualità, insieme alla tecnologia di ricerca vettoriale. Questi elementi combinati hanno portato a una maggiore sicurezza, una riduzione dei costi e risposte più affidabili.
La caratteristica chiave di sicurezza è l’approccio “on-premise”, che implica l’uso di LLM autocostruiti anziché servizi cloud pubblici. Questo aiuta a prevenire la perdita di dati interni. Inoltre, l’implementazione di una tecnologia di ricerca vettoriale riduce le allucinazioni, garantendo risultati più accurati.
Conan Search, basato sulla ricerca vettoriale, viene utilizzato insieme a Conan LLM per presentare prove e fonti in forma di documenti di riferimento insieme alle risposte. Conan Technology si distingue per essere l’unica azienda in Corea a commercializzare questa tecnologia di ricerca vettoriale basata su disco, con risultati derivati da oltre un miliardo di documenti.
Conan LLM ha un’enorme quantità di apprendimento, con 492 miliardi di token totali e 284 miliardi di token coreani. Una versione del modello, con 700 miliardi di token di apprendimento in totale e 322 miliardi di token coreani, verrà rilasciata a novembre. Questa scala di token è la più grande in Corea e rappresenta un notevole progresso rispetto ai modelli concorrenti.
Il modello è disponibile in due versioni, 13.1B (13,1 miliardi di unità) e 41B (41 miliardi di unità), a seconda delle esigenze. Questo rappresenta un cambiamento significativo rispetto a modelli come “GPT-3.5” di Open AI e “HyperClova” di Naver.
Un punto di forza è la “proprietary data” o “dati di proprietà”, accumulati da Conan Technology attraverso il servizio di analisi dei media online “Pulse K”. Questi dati hanno alimentato l’apprendimento di Conan LLM, escludendo messaggi di social media e commenti alle notizie.
Conan LLM è ottimizzato per la generazione di bozze di documenti, report e comunicati stampa. Può creare un documento di 4.000 caratteri a partire da un prompt semplice, eseguire query aggiuntive, correzioni e creazione di dati di riferimento durante la creazione. Questo processo riduce il tempo e i costi di creazione del documento e migliora l’efficienza del lavoro.
La lunghezza del contesto è stata identificata come elemento chiave, con Conan LLM 41B che può elaborare 4.000 token contemporaneamente, oltre il doppio rispetto ad altri modelli. La capacità di elaborare testi coreani è notevolmente superiore ad altri modelli simili.
Una dimostrazione in tempo reale ha mostrato che Conan LLM può generare un rapporto di 4.000 parole in soli 7 secondi, dimostrando anche prestazioni uniformi con diverse richieste.
Il modello supporta anche query interattive tramite chat durante la creazione di documenti e offre funzioni aggiuntive come diagrammi, riscrittura, riepilogo e correzione di documenti.
Conan Technology prevede di vendere Conan LLM attraverso modelli di licenza o abbonamenti annuali e intende integrarlo nei suoi prodotti come “Conan Chatbot” e “Conan Voicebot” per supportare i contact center basati su AI (AICC).