OpenAI ha recentemente introdotto nuovi modelli di incorporamento e aggiornamenti alle sue API, aggiungendo due nuovi modelli alla sua offerta: un modello di incorporamento testuale più piccolo ed efficiente denominato “text-embedding-3-small” e un modello più grande e potente chiamato “text-embedding-3-large”.
La tecnica di incorporamento alla base di questi modelli è stata sviluppata da Aditya Kusupati, ricercatrice di Google, e Pratik Jain, ricercatore senior di Google. Questi sviluppatori hanno pubblicato un articolo intitolato “Matryoshka Representation Learning”, che descrive una metodologia innovativa per l’apprendimento delle rappresentazioni.
Questa tecnica, conosciuta come “MRL” (Matryoshka Representation Learning), è una metodologia di rappresentazione di incorporamento che codifica le informazioni in modo stratificato, da una granularità grossolana a una più fine, all’interno di un unico vettore. Questo approccio si ispira alle bambole Matrioska russe, dove le bambole più piccole sono contenute all’interno di quelle più grandi. Il concetto chiave dell’MRL è di addestrare un singolo vettore ad alta dimensione che possa racchiudere informazioni a diverse granularità, permettendo l’adattamento a vari compiti successivi senza dover modificare la rappresentazione originale. Questo si traduce in un risparmio di risorse computazionali e nell’eliminazione della necessità di sviluppare modelli separati per ciascun compito.
Inizialmente, il contributo di Jain e Kusupati non era stato menzionato nel post del blog di OpenAI. Tuttavia, dopo un’intervento di Prateek Jain su una piattaforma online, Owen Campbell-Moore di OpenAI ha riconosciuto che l’azienda si era basata sull’MRL per lo sviluppo dei suoi modelli. In seguito a questo riconoscimento, OpenAI ha aggiornato il suo post sul blog per includere un riferimento ai lavori di Jain e Kusupati.