Kelvin Legal Data OS, di proprietà di 273 Ventures con sede nell’Illinois, ha lanciato KL3M, una serie di modelli di linguaggio naturale avanzati progettati specificamente per applicazioni legali. Questi modelli vengono addestrati da zero utilizzando dati legalmente consentiti, ottimizzati per le esigenze aziendali. KL3M1 è il modello principale, addestrato su una vasta quantità di dati legali, finanziari e generici, con oltre due trilioni di token di dati puliti. Questo insieme di dati, chiamato Kelvin Legal DataPack, è soggetto a valutazione e filtraggio costanti per miglioramenti utilizzando un processo personalizzato.
KL3M è pensato per essere utilizzato nelle operazioni aziendali relative al legale, alla regolamentazione e al settore finanziario. I test dimostrano che KL3M supera altri modelli simili in termini di prestazioni, inclusa la perplessità, la tossicità e la preferenza umana. I modelli iniziali, kl3m-170m e kl3m-1.7b, si distinguono per la loro capacità di rispondere a domande normative, redigere contratti ed estrarre informazioni strutturate con un livello di dettaglio e realismo stilistico superiore. Inoltre, sono in fase di sviluppo modelli più ampi di Mixture-of-Experts (MoE), previsti per essere rilasciati entro la fine del primo trimestre.
I dati utilizzati per addestrare i modelli vengono raccolti in modo etico, rispettando le normative sul fair use e i contratti. Il rilascio dei modelli segue il successo dei modelli linguistici più piccoli (SLM) ma con una roadmap accelerata. I modelli sono progettati per funzionare in modo efficiente su hardware di consumo standard come MacBook Air o GPU NVIDIA da $ 300.
L’accesso a KL3M è possibile tramite il sistema operativo Kelvin Legal Data e le parti interessate possono registrarsi per ricevere notifiche riguardanti la disponibilità. I creatori sono aperti alla collaborazione per espandere l’uso di KL3M in altri settori e per testarlo rispetto ai modelli di flusso di lavoro linguistico esistenti. La formazione di KL3M utilizza un sottoinsieme inglese di alta qualità curato dal Kelvin Legal DataPack e i modelli si basano sull’architettura GPT-3 con modifiche specifiche.