È stato riportato che Anthropic, una startup di San Francisco fondata da ex ingegneri di OpenAI e guidata da una coppia di fratelli, ha annunciato il lancio di una nuova serie di modelli linguistici di grandi dimensioni (LLM) denominata Claude 3. Questi modelli sono considerati tra i migliori al mondo, eguagliando o addirittura superando GPT-4 di OpenAI su diversi benchmark importanti. Amazon ha prontamente integrato uno di questi modelli, Claude 3 Sonnet, che si posiziona a metà strada per intelligenza e costi, nel suo servizio Amazon Bedrock, consentendo lo sviluppo di servizi e applicazioni AI direttamente su AWS Cloud.
Un ingegnere di Anthropic, Alex Albert, ha condiviso su X (precedentemente Twitter) un dettaglio particolarmente interessante emerso durante i test di Claude 3 Opus, il modello più potente della nuova famiglia LLM. Durante una valutazione che mirava a testare la capacità del modello di identificare informazioni specifiche in un vasto corpus di dati, i ricercatori sono stati sorpresi dal fatto che Claude 3 Opus sembrava essere consapevole di essere sottoposto a test. In una valutazione denominata “test dell’ago nel pagliaio”, i ricercatori hanno scoperto che il modello non solo forniva la risposta corretta identificando l’informazione richiesta ma indicava anche di sospettare di essere testato.
Albert ha spiegato che il comportamento di Claude 3 Opus durante il test suggeriva una forma di meta-consapevolezza, poiché riconosceva l’irrilevanza di una frase inserita artificialmente tra i dati. Questa osservazione ha sottolineato l’importanza per il settore di passare da test artificiali a valutazioni più realistiche che possano misurare accuratamente le vere capacità e limitazioni dei modelli.
Tuttavia, è cruciale ricordare che, nonostante queste apparenti dimostrazioni di meta-cognizione, i LLM, incluso Claude 3 Opus, sono governati da algoritmi di apprendimento automatico basati su regole, parole e associazioni concettuali, e non indicano una vera coscienza o pensiero indipendente. La capacità del modello di identificare il contesto del test potrebbe derivare dalla sua esperienza di addestramento piuttosto che da un’autocoscienza.
Nonostante ciò, la risposta accurata di Claude 3 Opus ha suscitato sorpresa e, per alcuni, preoccupazione riguardo al livello di capacità che questi modelli stanno raggiungendo. Man mano che si interagisce di più con i LLM e questi diventano più avanzati, continuano a emergere sorprese sulle loro capacità. Claude 3 Opus e Claude 3 Sonnet sono ora disponibili per l’uso tramite il sito web e l’API di Claude in 159 paesi, con il modello più leggero, Claude 3 Haiku, previsto per il rilascio futuro.
Tuttavia, la risposta di Claude 3 Opus in questo caso è stata sorprendentemente corretta, forse inquietante per alcuni. Più tempo trascorriamo con i LLM e più diventano potenti, più sorprese sembrano emergere sulle loro capacità. Claude 3 Opus e Claude 3 Sonnet sono disponibili oggi per chiunque possa utilizzarli sul sito Web e sull’API di Claude in 159 Paesi, con il modello leggero, Claude 3 Haiku, in arrivo.