NVIDIA ha recentemente presentato un nuovo modello di linguaggio di grandi dimensioni, chiamato Llama3-ChatQA-2-70B, che sta facendo parlare di sé per le sue prestazioni impressionanti. Questo modello è stato sviluppato per gestire contesti lunghi fino a 128.000 token, mettendolo in competizione diretta con GPT-4 Turbo di OpenAI.
Le caratteristiche principali del modello sono:
- Gestione del contesto lungo: Llama3-ChatQA-2-70B può elaborare contesti lunghi fino a 128.000 token, una capacità che lo rende particolarmente adatto per attività complesse che richiedono una comprensione approfondita e prolungata del testo.
- Prestazioni in RAG: Il modello eccelle nelle attività di generazione aumentata (RAG) di recupero, superando GPT-4 Turbo in questi compiti specifici.
- Efficacia su vari benchmark: Dimostra prestazioni competitive in attività di media lunghezza (fino a 32.000 token) e breve contesto (entro 4.000 token).
Il team di ricerca di NVIDIA ha utilizzato un approccio in due fasi per estendere la capacità di contesto di Llama3-70B da 8.000 a 128.000 token. Questo è stato realizzato attraverso un continuo pre-allenamento con dati SlimPajama e una successiva sintonizzazione delle istruzioni in tre fasi.
I risultati delle valutazioni sono stati i seguenti:
- InfiniteBench: Llama3-ChatQA-2-70B ha ottenuto un punteggio medio di 34,11, superando GPT-4 Turbo che ha raggiunto 33,16.
- Attività a media lunghezza: Il modello ha ottenuto un punteggio di 47,37, confrontato con il 51,93 di GPT-4 Turbo.
- Attività a breve contesto: Ha superato GPT-4 Turbo e Qwen2-72B-Instruct con un punteggio di 54,81.
Gli studi hanno mostrato che RAG supera le soluzioni di contesto lungo per attività che si estendono oltre i 100.000 token, suggerendo che anche i modelli più avanzati possono avere difficoltà con input così estesi.
Questo nuovo sviluppo rappresenta un significativo passo avanti per i modelli di linguaggio open source, avvicinandoli sempre di più alle capacità dei modelli proprietari come GPT-4. NVIDIA ha anche condiviso dettagli tecnici e parametri di valutazione per promuovere la riproducibilità e il progresso nella comunità open source.
Con Llama3-ChatQA-2-70B, NVIDIA dimostra ancora una volta il suo impegno nell’innovazione e nello sviluppo di tecnologie avanzate che possono competere con i leader del settore.