Ogni nerd del computer vuole controllare il modo in cui i suoi dati vengono raccolti su Internet. Oltre alla privacy dei dati , ci sono altri motivi per questo, come lavorare in ambienti software isolati e avere meno probabilità di connettersi a Internet per eseguire LLM.
Certo, al giorno d’oggi sono disponibili molti LLM open source , ma non è possibile accedervi direttamente. Per accedervi, utilizzarli e modificarli, sarebbe necessaria una piattaforma per lavorare con i dati, ed è qui che entrano in gioco le nostre cinque opzioni.
- Jan: Plug and Play per ogni piattaforma
Durante i test, Jan si è distinta come l’unica piattaforma con supporto diretto per Ubuntu, poiché offre un file.debche può essere installato con due clic, senza che sia richiesta l’interazione con il terminale. Inoltre, la sua interfaccia utente è la più pulita tra le opzioni elencate. Inoltre, utilizzando LLM, è possibile accedere al monitor di sistema, che mostra il consumo totale di CPU e memoria. Utilizza un linguaggio di markup markdown per produrre la risposta, il che significa che ogni punto è ben strutturato ed evidenziato, il che può essere molto utile quando si lavora con domande di programmazione. Puoi anche scegliere da un’ampia libreria di LLM, incluso closed-source (che richiede chiavi API per il download e l’utilizzo). Ti consente inoltre di importare LLM, consentendoti di caricare facilmente modelli addestrati manualmente.
- Ollama: il modo più veloce per eseguire LLM localmente su Linux
Ollama può essere utilizzato dal terminale, ma se desideri accedere alla GUI, puoi utilizzare l’interfaccia utente Web aperta (richiede la finestra mobile). Abbiamo anche provato Ollama sul terminale e sulla GUI e la risposta nel terminale è stata simile al modo in cui interagiamo con i LLM su Internet. Ciò la rende l’opzione migliore per chi desidera eseguire LLM localmente su Linux, poiché la maggior parte degli utenti Linux interagirà con il terminale. Inoltre, avere accesso a LLM locali velocissimi direttamente nel terminal sarà un’ottima notizia. Un altro aspetto positivo di questa utility è il modo in cui gestisce automaticamente le dipendenze per le GPU AMD su Linux. Pertanto, non è necessario scaricare alcuna dipendenza specifica da solo, verrà gestito automaticamente. Inoltre, puoi scaricare direttamente gli LLM con un solo comando. Inoltre, puoi personalizzare il messaggio con più parametri, come la modifica della temperatura (per bilanciare prevedibilità e creatività), la modifica dei messaggi di sistema, ecc. Successivamente, puoi caricare il modello personalizzato per risposte ottimizzate. Ha funzionato benissimo se abbinato a un’interfaccia utente web aperta, ma abbiamo riscontrato un problema durante l’interazione con il terminale. Nel terminale, quando provi a caricare un modello e, per qualche motivo, se non si carica, non mostrerà alcun messaggio di errore e mostrerà per sempre il messaggio LLM in caricamento. Può essere affrontato monitorando le risorse di sistema durante il caricamento di LLM. Se noti un improvviso calo nell’utilizzo delle risorse, significa che Ollama ha smesso di caricare LLM; puoi chiudere il terminale o fermare Ollama: Ollama non può segnalare problemi durante il caricamento di un LLM.
- llamafile: unica opzione per eseguire LLM di grandi dimensioni localmente su dispositivi di fascia media
Quando abbiamo iniziato a sperimentare, llamafile era l’unica utility che ci permetteva di utilizzare Mistral 70B sul nostro laptop. Certo, la generazione ha richiesto molto tempo, ma le altre opzioni menzionate nell’elenco semplicemente non riuscivano a caricare il modello stesso. A differenza delle altre opzioni, devi scaricare ciascun modello dal suo repository GitHub. Questo repository può essere eseguito come script, quindi non è necessario caricare l’intero modello nella RAM prima dell’esecuzione. Inoltre, non è necessario installare manualmente la piattaforma GUI, poiché viene eseguito il backup con llama.cpp per fornire una GUI. Inoltre, è ospitato localmente sul tuo browser per ridurre al minimo il consumo di risorse. Per soddisfare gli utenti avanzati, sono disponibili molte opzioni di configurazione come modello di richiesta, temperatura, campionamento Top-P e K e opzioni avanzate come quante probabilità mostrare e varie opzioni di configurazione di Mirostat.
- GPT4ALL: il modo più veloce per eseguire LLM localmente su un computer
Utilizza GPT4ALL per eseguire LLM localmente. GPT4ALL è stata l’utility più veloce nei test, fornendo 6,5 token/secondo. Inoltre, forniscono un programma di installazione per Ubuntu, Mac e Windows per un’installazione senza interruzioni, il che è positivo, ma per Linux non crea un’icona sul desktop e finisci per spostarti in una directory specifica per avviare GPT4ALL. Ha un’enorme libreria di LLM che puoi scaricare ed eseguire localmente. Ma non c’era modo di caricare un modello scaricato localmente, quindi dovevi fare affidamento solo sulle loro offerte. Inoltre, era l’unica utility nell’elenco che richiedeva agli utenti di condividere i propri dati e le risposte alle chat per migliorare GPT4ALL. L’unico problema riscontrato è di non riuscire a utilizzare le chiavi API per accedere al modello OpenAI GPT-4. Inoltre, l’esperienza utente è disordinata poiché gli sviluppatori hanno aggiunto troppe opzioni. Inoltre, la struttura dell’output è stata fornita in un formato di markdown ma stampata in testo semplice, quindi gli utenti finiscono per avere simboli di markdown nei loro output di testo semplice.
- LM Studio: accesso diretto al repository Hugging Face
LM Studio era l’unica utility che non funzionava su Linux e faticava a tenere il passo quando veniva utilizzata su Mac. Ciò significa che siamo riusciti a usarlo senza problemi solo su un portatile Windows. Tuttavia, può essere diverso se utilizzi distribuzioni Linux diverse o una versione Mac con specifiche superiori. La parte migliore è che puoi caricare e richiedere più LLM contemporaneamente con l’accesso alla consultazione. Inoltre, puoi accedere a qualsiasi repository Hugging Face all’interno dello stesso LM Studio e, in caso contrario, puoi comunque ottenere il LLM desiderato dalla loro ampia libreria. Inoltre, puoi utilizzare LLM scaricati/modificati localmente e ospitare un LLM su un server HTTP locale.