Zyphra presenta ZHA, un’architettura di attenzione gerarchica per elaborare contesti fino a dieci milioni di token
Zyphra ha presentato Zyphra Hierarchical Attention, denominata ZHA, una nuova architettura di attenzione sparsa progettata per ridurre il costo computazionale dell’elaborazione di contesti estremamente lunghi nei modelli linguistici. Il lavoro,…