Microsoft RHO-1, SLM Selective Language Modeling
I ricercatori di Microsoft hanno introdotto un nuovo approccio al pre-addestramento dei modelli linguistici (LM) chiamato Selective Language Modeling (SLM), sfidando il metodo tradizionale che applica uniformemente una perdita di…