Social Media Sentiment Analysis

La divisione Social Media e CRM Marketing Intelligence del principale media broadcaster italiano aveva espresso l’esigenza di dotarsi di un sistema software automatizzato in grado di comprendere il “sentiment” (la polarità) espressa dal pubblico attraverso “interazioni” in italiano (ad esempio tweets, post, ecc.) sui principali canali social, a prescindere dallo specifico canale o programma a cui si riferivano.

La sfida

I principali obiettivi del progetto erano:

Passare da un’analisi quantitativa ad un’analisi qualitativa delle interazioni social riconducibili a programmi televisivi e radiofonici
Aumentare la soddisfazione del pubblico
Costruire una soluzione scalabile in grado di integrarsi facilmente con nuovi flussi di interazioni provenienti dai canali social

La nuova funzionalità di continuous learning

Il linguaggio ed il sentiment sono fenomeni fortemente dipendenti dal tempo, quindi tutte le risorse ed i modelli linguistici sviluppati e rilasciati devono essere oggetto di monitoraggio e ri-addestramento continui, in modo da garantire il mantenimento delle capacità predittive del sistema.

Per raggiungere questo obiettivo e consentire di apportare i necessari aggiustamenti dei modelli analitici è stata sviluppata una funzionalità di “continuous learning”, che consente agli utenti, ogni volta che ne riscontrino la necessità, di analizzare e modificare le risposte fornite dal modello di SMSA in modo da poter ottenere un modello migliore.

SOLUZIONE E BENEFICI

Target Reply Roma ha sviluppato il sistema SMSA attraverso la composizione di servizi PaaS messi a disposizione dal cloud Microsoft Azure, realizzando sia un Data Lake general-purpose, che una soluzione di Sentiment Analysis ritagliata sulle esigenze del cliente.

Per il task di SMSA Target Reply Rome ha deciso di avvalersi di “motori” di Natural Language Processing (NLP), Machine Learning (ML) e Sentiment Analysis (SA) realizzati dal centro di ricerca sull’AI dell’Università di Tor Vergata. Assieme al team di ricercatori ed esperti di Tor Vergata, Target Reply Roma ha costruito una soluzione analitica appositamente addestrata, ottimizzata e specializzata sul dominio e sulle esigenze specifiche del cliente. Il “motore” di SA è formato da una batteria di classificatori specializzati nell’individuare le 4 classi di polarità richieste dal cliente + 1 classe di non polarità/oggettività e di assegnare a ciascuna di esse una misura di “confidenza” (anche questa prodotta da un ulteriore modello di ML appositamente addestrato).

L’ottimizzazione ed il fine-tuning della soluzione di SMSA sono state effettuate a partire da un insieme di (cosiddetti) Golden Tweets, la cui polarità è stata stabilita da un pool di valutatori selezionati dal cliente, arricchito da un insieme addizionale di Silver Tweets, la cui polarità è stata invece determinata attraverso l’applicazione di tecniche di Distant Supervision ed Active Learning.

Milioni di tweet classificati ogni giorno, per consentire un’analisi non solo quantitativa, ma qualitativa, delle interazioni social

Massimizzazione dell’indice di soddisfazione del pubblico (ASI++)

1 framework architetturale di solution pronto per essere riutilizzato anche per classificare le interazioni provenienti da altri canali social