PyTorch rilascia TorchMetrics versione 0.7
La versione 0.7 ha oltre 60 metriche che coprono otto domini tra cui audio, classificazione, immagine, pairwise, rilevamento, regressione, recupero di informazioni e testo.
PyTorch ha lanciato TorchMetrics v0.7 . La nuova versione include diverse nuove metriche (principalmente per NLP), modifiche alla denominazione e all’importazione, miglioramenti generali all’API tra le altre funzionalità.
La versione 0.7 ha oltre 60 metriche che coprono otto domini tra cui audio, classificazione, immagine, pairwise, rilevamento, regressione, recupero di informazioni e testo. Il team ha anche unificato l’API TorchMetrics in tutti i domini e ha raggiunto oltre 600 stelle. Attualmente, 1.500 repository utilizzano TorchMetrics.
Le modifiche alle metriche NLP includono il pacchetto di testo che nella versione 0.7 include un paio di metriche di traduzione automatica come chrF, chrF++, Translation Edit Rate o Extended Edit Distance. Ora supporta anche altre metriche: tasso di errore di corrispondenza, informazioni sulla parola perse, informazioni sulla parola conservate e metriche di valutazione SQuAD. Il team ha anche reso possibile la valutazione del punteggio ROUGE utilizzando più riferimenti.
Altri aggiornamenti includono Translation Edit Rate (TER) che rappresenta un numero minimo normalizzato di modifiche richieste per un’ipotesi che corrisponde a uno dei riferimenti forniti. Le modifiche comprendono l’inserimento, l’eliminazione e la sottostazione a livello di parola o di n grammi. La distanza di modifica estesa è anche uno degli aggiornamenti che operano a livello di personaggio e estende la distanza di Levenshtein usando le operazioni di salto.
È stato aggiunto Match Error Rate (MRE), una metrica utilizzata per valutare i sistemi di riconoscimento vocale automatico (ASR). Word Information Lost (WIL) e Word Information Preserved (WIP) sono due metriche intrecciate utilizzate principalmente per valutare l’output ASR. SQuAD, che sta per Stanford Question Answering Dataset , è un altro aggiornamento. È un set di dati di comprensione automatica di oltre 100.000 coppie di domande e articoli di Wikipedia con risposte selezionate. Il set di dati viene utilizzato per la valutazione di modelli estrattivi.
TorchMetrics v0.7 apporta modifiche più estese alla modalità di importazione delle metriche. Le modifiche all’importazione influiscono direttamente sulla v0.7, che richiederà agli sviluppatori di modificare l’istruzione di importazione per alcune metriche specifiche. Tutte le modifiche ai nomi seguono il processo di ritiro standard. A partire dalla v0.8, i vecchi nomi delle metriche non saranno più disponibili.
Un elenco completo delle metriche soggette a modifica del nome è disponibile nel registro delle modifiche.
