Scalare LLM con PEER nei Mixture-of-Experts
Il Mixture-of-Experts (MoE) si è affermato come una tecnica per espandere modelli linguistici senza aumentare eccessivamente i costi computazionali. Al contrario di utilizzare tutti i parametri per ogni input, le…
Meta FAIR introduce la Distillazione del Sistema 2 per potenziare gli LLM
I modelli linguistici di grandi dimensioni (LLM) sono bravi a rispondere a domande semplici, ma affrontano difficoltà con compiti complessi che richiedono ragionamento e pianificazione. Questi compiti sono noti come…
I 10 migliori LLM non censurati da eseguire su un laptop
Proteggere la propria privacy è fondamentale, e far funzionare modelli di linguaggio di grandi dimensioni (LLM) localmente sul proprio computer è una delle soluzioni migliori. I modelli tradizionali spesso sono…
FlashAttention-3: Together AI potenzia GPU con NVIDIA H100
Nel tentativo di migliorare l’efficienza delle architetture Transformer, Together AI ha introdotto FlashAttention-3, basato sul successo delle versioni precedenti nell’accelerare i meccanismi di attenzione. Questo progetto è il risultato di…