Ingegneri software vs hardware
Spesso si scherza sul fatto che molti ingegneri del software non sappiano molto di hardware. Ma c’è un po’ di verità dietro questa battuta? In una discussione online, molti sviluppatori…
Ollama per eseguire LLM sul computer
Di recente, esaminando le migliori opzioni per eseguire modelli linguistici di grandi dimensioni (LLM) direttamente su un computer locale, Ollama si è dimostrata la soluzione più efficiente, offrendo una flessibilità…
Weka ottiene 140 milioni di dollari per pipeline di dati dinamici per AI
Oggi, Weka ha annunciato di aver raccolto un round di finanziamenti da 140 milioni di dollari, portando la valutazione dell’azienda a 1,6 miliardi di dollari. Weka, una startup, sta cercando…
L’Università di Tsinghua presenta la tecnica Attention Offloading per ottimizzare l’inferenza degli LLM
Un nuovo studio dell’Università di Tsinghua ha rivelato che una riorganizzazione dell’hardware e dei calcoli può notevolmente abbassare i costi dell’inferenza per i modelli linguistici di grandi dimensioni (LLM). La…