Un team di ricercatori di Microsoft, in collaborazione con esperti dell’Istituto ZJU-UIUC e dell’Università Nazionale di Singapore, ha sviluppato un nuovo strumento chiamato AllHands. Questo framework analitico è progettato per gestire grandi quantità di feedback scritto, utilizzando un’interfaccia basata sul linguaggio naturale e modelli linguistici avanzati (LLM).
AllHands offre agli sviluppatori di software una soluzione semplice ed efficace per estrarre informazioni utili da un vasto assortimento di feedback. Il processo prevede la classificazione iniziale del feedback e la modellazione degli argomenti per organizzare i dati in modo strutturato. L’utilizzo dei modelli linguistici di grandi dimensioni migliora la precisione e la capacità di generalizzazione del sistema.
Successivamente, un agente LLM traduce le domande degli utenti sul feedback in codice Python, lo esegue e fornisce risposte complete e variegate, comprensive di testo, codice, tabelle e immagini.
I ricercatori hanno testato AllHands su diversi set di dati di feedback e hanno ottenuto risultati eccellenti in tutte le fasi del processo, superando le prestazioni delle soluzioni convenzionali. Il framework è in grado di gestire una vasta gamma di domande comuni sul feedback e può essere personalizzato con plug-in per analisi più complesse.
Gli autori dello studio notano che le soluzioni attuali per la classificazione del feedback e la modellazione degli argomenti presentano limiti significativi, come la dipendenza da grandi quantità di dati etichettati manualmente, la mancanza di capacità di generalizzazione e le sfide legate alla polisemia e alla multilingua.
Inoltre, evidenziano che, sebbene esistano vari strumenti per supportare specifici obiettivi di analisi del feedback, manca un quadro unificato e flessibile in grado di gestire una vasta gamma di casi. AllHands si propone di colmare questa lacuna sfruttando le potenzialità dei modelli LLM, offrendo un nuovo approccio per superare le limitazioni dei metodi attuali, come la dipendenza da modelli di apprendimento automatico supervisionato.