Pinterest descrive in dettaglio l’IA che alimenta la moderazione dei contenuti
Pinterest questa mattina ha tolto il sipario all’intelligenza artificiale e alle tecnologie di apprendimento automatico che utilizza per combattere i contenuti dannosi sulla sua piattaforma. Sfruttando algoritmi per rilevare automaticamente contenuti per adulti, attività che incitano all’odio, disinformazione medica, farmaci, violenza grafica e altro ancora prima che venga segnalato, la società afferma che i rapporti che violano le norme per impressione sono diminuiti del 52% dall’autunno 2019, quando le tecnologie sono state introdotte per la prima volta . E i rapporti sui contenuti di autolesionismo sono diminuiti dell’80% da aprile 2019.
Una delle sfide nella creazione di modelli di machine learning multi-categoria per la sicurezza dei contenuti è la scarsità di dati etichettati, costringendo gli ingegneri a utilizzare modelli più semplici che non possono essere estesi a input multi-modello. Pinterest risolve questo problema con un sistema addestrato su milioni di Pin revisionati da persone, costituito sia da segnalazioni degli utenti che da campionamenti proattivi basati su modelli dal suo team di operazioni Trust and Safety, che assegna categorie e interviene in caso di violazione dei contenuti. L’azienda utilizza anche un modello di Pin addestrato utilizzando una rappresentazione matematica e compatibile con il modello dei Pin in base alle loro parole chiave e immagini, aggregata con un altro modello per generare punteggi che indicano quali bacheche Pinterest potrebbero essere in violazione.
“Abbiamo migliorato le informazioni derivate dal riconoscimento ottico dei caratteri sulle immagini e abbiamo implementato una versione online, quasi in tempo reale, del nostro sistema. Un’altra novità è il punteggio delle bacheche e non solo dei Pin “, ha detto a VentureBeat via e-mail Vishwakarma Singh, capo del team di apprendimento automatico per la fiducia e la sicurezza di Pinterest. “Un [modello] multi-categoria di forte impatto che utilizza input multimodali – incorporamenti e testo – per la sicurezza dei contenuti è una preziosa intuizione per i responsabili delle decisioni … Usiamo una combinazione di modelli offline e online per ottenere prestazioni e velocità, fornendo un design di sistema è un bel apprendimento per gli altri e generalmente applicabile. “
Moderazione dei contenuti di Pinterest
Nella produzione, Pinterest utilizza una famiglia di modelli per rilevare in modo proattivo i Pin che violano le policy. Quando si applicano i criteri tra i Pin, la piattaforma raggruppa i Pin con immagini simili e li identifica con un hash univoco chiamato “firma dell’immagine”. I modelli generano punteggi per ciascuna firma dell’immagine e, in base a questi punteggi, la stessa decisione di moderazione del contenuto viene applicata a tutti i Pin con la stessa firma dell’immagine.
Ad esempio, uno dei modelli di Pinterest identifica Pin che ritiene violino la politica della piattaforma sulla disinformazione sanitaria. Addestrato utilizzando le etichette di Pinterest, il modello trova internamente parole chiave o testo associati a disinformazione e blocca i pin con quella lingua mentre allo stesso tempo identifica rappresentazioni visive associate a disinformazione medica. Secondo Singh, tiene conto di fattori come immagine e URL e blocca qualsiasi immagine online nella ricerca Pinterest, nel feed principale e nei relativi pin.
Poiché gli utenti di solito salvano insieme Pin tematicamente correlati come raccolta su bacheche su argomenti come ricette, Pinterest ha implementato un modello di apprendimento automatico per produrre punteggi per le bacheche e imporre la moderazione a livello di bacheca. Un modello Pin addestrato utilizzando solo incorporamenti, ovvero rappresentazioni, genera punteggi sulla sicurezza dei contenuti per ogni bacheca Pinterest. Un incorporamento per le schede viene costruito aggregando gli incorporamenti dei Pin più recenti salvati su di essi. Quando vengono inseriti nel modello Pin, questi incorporamenti producono un punteggio di sicurezza dei contenuti per ciascuna bacheca, consentendo a Pinterest di identificare le bacheche che violano le norme senza addestrare un modello per le bacheche.
“Queste tecnologie, insieme a un algoritmo che premia i contenuti positivi e gli aggiornamenti delle norme e dei prodotti come il blocco dei contenuti anti-vaccinazione, il divieto di annunci culturalmente insensibili, il divieto di annunci politici e il lancio di una ricerca compassionevole per il benessere mentale, sono le basi per rendere Pinterest un luogo stimolante in linea “, ha detto Singh. “Il nostro lavoro ha dimostrato l’impatto che i metodi convoluzionali del grafo possono avere in un sistema di raccomandazione di produzione, così come altri problemi di apprendimento della rappresentazione grafica su larga scala, tra cui il ragionamento del grafo della conoscenza e il clustering del grafo.”
