Scalare LLM con PEER nei Mixture-of-Experts
Il Mixture-of-Experts (MoE) si è affermato come una tecnica per espandere modelli linguistici senza aumentare eccessivamente i costi computazionali. Al contrario di utilizzare tutti i parametri per ogni input, le…