Oggi Snowflake ha annunciato il lancio dei modelli incorporati Snowflake Arctic, che sono disponibili con licenza Apache 2.0. Questi modelli, progettati per incorporare testo, offrono prestazioni all’avanguardia per le applicazioni di recupero e variano in dimensioni e finestra di contesto.
Il modello più grande della famiglia, con 330 milioni di parametri, si posiziona in testa alla classifica del Massive Text Embedding Benchmark (MTEB), con prestazioni di recupero superiori a una media del 55,9.
Sridhar Ramaswamy, CEO di Snowflake, ha sottolineato il ruolo chiave del team Neeva, acquisito da Snowflake lo scorso maggio, nell’implementazione di questi modelli di successo.
I modelli Snowflake Arctic Embedding sono disponibili su Hugging Face e presto saranno integrati nella funzione di incorporamento Snowflake Cortex. Questi modelli consentono alle organizzazioni di migliorare le loro capacità di recupero durante l’integrazione di dati proprietari con tecniche come il Retrieval Augmented Generation (RAG) o servizi di ricerca semantica.
Il successo di questi modelli si basa sull’applicazione di tecniche di ricerca web efficaci per l’addestramento dei modelli di incorporamento del testo. Miglioramenti nelle strategie di campionamento e nel mining dei negativi hanno notevolmente migliorato la qualità dei modelli.
La famiglia di modelli incorporati Snowflake Arctic offre cinque dimensioni, dalla più piccola alla più grande, per soddisfare una varietà di esigenze organizzative in termini di latenza, costi e prestazioni di recupero.
Snowflake sottolinea che il modello Arctic-embed-l è un’alternativa aperta di alta qualità per i fornitori di API black-box come Cohere, OpenAI o Google, offrendo un ottimo rapporto prestazioni/dimensioni.
Questi miglioramenti sono stati ottenuti senza la necessità di una massiccia espansione delle risorse di elaborazione, utilizzando solo otto GPU H100, dimostrando la potenza di elaborazione dei dati di Snowflake.
Snowflake continua a sviluppare e ampliare la propria gamma di modelli e carichi di lavoro mirati per soddisfare le esigenze dei clienti in settori come RAG e ricerca