Nel mondo dei grandi modelli linguistici (LLM), le aziende cercano costantemente il modello migliore per le loro esigenze specifiche. Tuttavia, con l’evoluzione rapida di questi modelli, è difficile sapere quale sia il più adatto. Not Diamond, una startup emergente di San Francisco, ha una risposta: il routing intelligente.
Not Diamond ha sviluppato un innovativo router LLM che permette alle aziende di utilizzare più modelli di intelligenza artificiale e di indirizzare le richieste al modello più adatto. Questo migliora non solo la qualità delle risposte, ma anche la latenza e i costi associati all’uso dei modelli.
Nonostante sia una startup relativamente nuova, Not Diamond ha già attirato l’attenzione e raccolto 2,3 milioni di dollari in finanziamenti iniziali. Tra i sostenitori ci sono nomi noti come Jeff Dean di Google DeepMind e Julien Chaumond di Hugging Face.
Il router di Not Diamond utilizza un “metamodello” per decidere quale LLM è più adatto a rispondere a una query. Questo processo non solo migliora l’accuratezza delle risposte, ma riduce anche i costi e la latenza, evitando di chiamare sempre lo stesso modello pesante quando non è necessario.
Nel dicembre 2023, Not Diamond ha reso open source una versione leggera del suo router, che permette alle aziende di gestire automaticamente le query tra modelli come GPT-3.5 e GPT-4. Le aziende possono anche addestrare un router personalizzato utilizzando i propri dati per ottimizzare la selezione del modello.
I primi utenti, come Samwell AI, hanno riportato un miglioramento del 10% nella qualità dell’output e una riduzione del 10% nei costi e nella latenza. Con il supporto dei finanziatori, Not Diamond prevede di accelerare lo sviluppo del prodotto e ampliare la sua adozione.
Nel campo del routing intelligente, Not Diamond si confronta con startup come Martian e Unify, ma si distingue per la sua velocità di routing e le sue funzionalità di ottimizzazione e privacy.