Dario Amodei di Anthropic ha recentemente esposto la possibilità di creare un motore di generazione di dati infinito, nonostante lo scetticismo iniziale sulla qualità dei dati sintetici. Secondo Amodei, con alcune informazioni extra, è fattibile sviluppare un tale motore che potrebbe rivoluzionare la costruzione di sistemi di intelligenza artificiale più avanzati. L’approccio coinvolge l’interazione dei modelli AI con dati reali per produrre ulteriori dati o varianti, aprendo possibilità di apprendimento infinite.
Amodei ha citato l’esempio di AlphaGo, sottolineando come anche una piccola quantità di nuove informazioni possa trasformare significativamente le capacità di un modello. Questo approccio, afferma, può portare modelli AI da una mancanza di capacità a livelli superiori persino rispetto agli esseri umani.
Tuttavia, Yann LeCun di Meta ha espresso opinioni contrastanti, criticando l’apprendimento per rinforzo come inefficiente e poco pratico se utilizzato da solo nel mondo reale. Al contrario, LeCun promuove l’apprendimento autosupervisionato, in cui i modelli AI scoprono autonomamente modelli e strutture nei dati senza etichette esplicite.
Oltre ai due approcci principali, LeCun ha discusso diverse altre tecniche per la generazione di dati e l’addestramento dei modelli AI, tra cui modelli generativi come GAN e VAE, apprendimento predittivo, modelli basati sull’energia, architetture di incorporamento congiunto, modelli a variabile latente e pianificazione gerarchica.
Queste varie metodologie offrono un ampio spettro di opzioni per la generazione e l’addestramento dei dati, aprendo la strada a una nuova era di sviluppo di sistemi di intelligenza artificiale più sofisticati e adattabili.