sintesi sentiment analysis

La metodologia “Sentiment Analysis” applicata al Turismo
La metodologia di ricerca “Sentiment Analysis” rappresenta uno strumento di analisi di sempre più larga e
flessibile applicazione, con la progressiva estensione di ambienti social (o web 2.0) nei quali con sempre
maggiore intensità cittadini, utenti di servizi, clienti inseriscono valutazioni, commenti, osservazioni,
giudizi.
In particolare, il settore del turismo ha visto una forte affermazione dei servizi web, e parallela riduzione
e crisi dei servizi tradizionali di agenzia, diventando il primo settore economico che sta migrando end-toend sulla rete. Come logica conseguenza, è stato anche il primo a sviluppare siti web e blog spesso di
valenza internazionale di valutazione sui servizi ricevuti da alberghi, ristoranti, trasporti ecc., estesi ormai
anche ai luoghi turistici in quanto tali.
I sentiment espressi dai viaggiatori dopo le loro esperienze sono ormai in numero e varietà ampiamente
sufficiente per ricavare informazioni preziose sui punti di forza e di debolezza e sui trend di settore, e
quindi avere un efficace ruolo di indirizzo per le politiche del turismo, che nei prossimi anni devono
fronteggiare, in Italia, la progressiva perdita di significative quote di mercato, a favore di altre mete
europee.
Strategie di “Sentiment Analysis”
La ricerca “Sentiment Analysis” rappresenta uno strumento estremamente completo ed affidabile di
rilevazione, grazie ai numeri molto elevati di “conversazioni” sui quali lavora. Inoltre:
- fornisce risultati in tempo reale (anche se le fonti – social media / blog – mutano altrettanto
velocemente);
- ha costi di rilevamento molto più ridotti rispetto ai tradizionali sondaggi ed analisi statistiche;
1
-
può essere automatizzata con strumenti di analisi semantica, alcuni dei quali ormai disponibili e
maturi ed estremamente efficaci.
Le strategie di “Sentiment Analysis” sono classificabili in:
1. Analisi mirata a cura di esperti del settore con approfondita competenza linguistica:
è una modalità obbligata per analizzare i sentiment espressi in lingue con alfabeto non latino, non
essendo disponibili al momento applicazioni automatiche in grado di gestirle al meglio; in generale,
questa modalità di analisi “manuale” presente anche il vantaggio di raffinare progressivamente il
modello in base agli esiti della ricerca.
2. Analisi automatizzata con applicazioni specifiche di software di ricerca semantica:
con il termine “web semantico” si intende la trasformazione del World Wide Web in un ambiente
dove i documenti pubblicati (pagine HTML, file, immagini, e così via) siano associati ad informazioni
e dati (metadati) che ne specifichino il contesto semantico in un formato adatto all'interrogazione e
l'interpretazione (es. tramite motori di ricerca) e, più in generale, all'elaborazione automatica. Con
l'interpretazione del contenuto dei documenti sono possibili ricerche basate sulla presenza nel
documento di parole chiave.
Una applicazione pratica di ricerca “Sentiment Analysis”svolta da Easy Italia
Al fine di verificare e quindi proporre questo approccio per accompagnare il rilancio del settore del
turismo, con particolare riferimento alle destinazioni sotto-utilizzate e quindi ad elevato potenziale
presenti nel Mezzogiorno d’Italia, il team del servizio Easy Italia ha applicato la metodologia, sia
utilizzando applicazioni automatizzate, per le lingue italiano e inglese, sia con analisi mirate per le lingue
russa, cinese, giapponese e tedesco.
In sintesi, l’azione si è svolta su:
a) L’Analisi mirata a cura di esperti del settore con approfondita competenza linguistica
analisi mirata su destinazioni selezionate per interesse/criticità in Italia Centro-Sud; le valutazioni
selezionate e valutate da Easy Italia su 6 destinazioni (“città d’arte”) e per 4 lingue (russo, cinese,
giapponese, tedesco), hanno portato a risultati significativi in un numero ridotto di giorni, con quasi
1.000 “sentiment” selezionati e valutati (su un corpus di dati controllati molto più ampio),
Il team Easy Italia si è attivato per la rilevazione “Sentiment Analysis” su destinazioni selezionate per
interesse/criticità usando le competenze nel settore del turismo, oltre che linguistiche, in suo possesso e
utilizzando, come piattaforma di indagine, i contenuti rilevati in rete:
1. Individuazione dei tag appropriati (parole-chiave con le quali effettuare le ricerche).
Attività preliminare alla vera e propria “Sentiment Analysis” è stata l’individuazione di parole-chiave
(tag), utilizzabili per tutte le città d’arte oggetto dell’analisi, e specifiche per la tipologia di destinazione
individuata. I tag selezionati sono stati scelti da una lista di circa 250 elementi presenti nel Database di
Easy Italia, dai più generici ai più specifici.
-
Assistenza sanitaria, ospedali, cure mediche
Barriere architettoniche, strutture accessibili
Cultura e spettacolo (eventi)
Trasporto pubblico locale
Viabilità, parcheggi, ZTL, ecc.
Musei e monumenti
-
Truffe
Rapporti Enti e Istituzioni (forze dell'ordine, IAT e APT, ecc.)
Aspetto urbano
Ristorazione, shopping, ecc.;
Ricettività
2. Utilizzo delle risorse in lingua per valutazione “sentiment” di città a vocazione turistica su social
media/siti/blog turistici relativi al turismo verso l’Italia, in lingua.
Si è proceduto all’utilizzo delle risorse del servizio multilingue “Easy Italia”, in particolare in lingua
russa, cinese, giapponese e tedesca per valutazione “sentiment” delle n. 6 città-campione Napoli,
Pompei, Sorrento, Costiera Amalfitana, Agrigento e Roma su n. 25 social/siti/blog turistici relativi al
turismo verso l’Italia, in lingua (ovvero le fonti/piattaforme social utilizzate).
2
3. Valutazione del “sentiment” per singolo commento rilevato.
Le conversazioni sono state estrapolate e ne è stato valutato il “sentiment”, sia in termini
complessivi sia relativamente agli aspetti specifici presenti, attribuendo un punteggio da 1 (molto
negativo) a 5 (molto positivo). Si è poi proceduto ad effettuare una media aritmetica ed al conseguente
calcolo percentuale.
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
Si è prestata massima attenzione alla valutazione del “sentiment” dei singoli commenti, e successiva
estrapolazione di quelli più significativi nel rispetto dell’obiettivo di voler rendere la presente Analisi uno
strumento efficace per le PA, gli enti e le istituzioni nell’individuare le criticità e nell’incrementare le
eccellenze.
4. Predisposizione e svolgimento dei cicli di Valutazione.
La rilevazione è stata condotta dagli operatori del servizio multilingue Easy Italia in n. 3 cicli temporali
compresi tra:
- l’8 e il 14 dicembre 2012;
- il 5 e l’8 gennaio 2013 (raccogliendo ed esaminando i “sentiment” aventi come periodo della visita
quello compreso tra la fine di dicembre 2012 e il 7 gennaio 2013);
- l’11 e il 26 febbraio 2013.3.
Quasi 1.000 “sentiment” sono stati selezionati e valutati (su un corpus di dati controllati molto più
ampio).
Risultati quantitativi dei n. 3 Cicli di Rilevazione dell’analisi mirata, per città e lingue:
RUSSO
CINESE
GIAPPONESE
TEDESCO
TOTALE
87
92
21
10
210
3
10
=
=
13
SORRENTO
10
11
=
=
21
POMPEI
29
31
46
14
120
AGRIGENTO
19
17
20
23
79
ROMA
175
96
80
170
521
TOTALE
323
257
167
217
964
CITTA’/LINGUA
NAPOLI
COSTIERA
AMALFITANA
b) La ricerca automatizzata in partnership con Promo PA Fondazione
In partnership con Promo PA Fondazione, con utilizzo dell’applicazione specializzata “Jeenuin”, che ha
realizzato una piattaforma innovativa per il monitoraggio della web reputation, la ricerca (su n. 6
3
destinazioni) ha adottato un modello di analisi (automatizzata) basato sulla rilevazione delle opinioni
affidate al web, in lingua inglese ed italiana, contenente le seguenti keyword:
Napoli, Roma, Lecce, Lucca, Costiera Amalfitana/Amalfi, Palermo,
utilizzando le seguenti 4 fonti/piattaforme social media:
Trip Advisor, Lonely Planet, Twitter, Facebook,
considerando le seguenti categorie/tag:
- ristorazione/food
- moda/fashion
- eventi/events
- intrattenimento/entertainment
- servizi/services (inclusi trasporti)
- arte/arts
e per i mesi di dicembre 2012, gennaio e febbraio 2013.
Oltre tre milioni di commenti, attinenti al tema turistico, sono stati rilevati dall’analisi automatizzata.
Risultati
I risultati, in estrema sintesi, danno una immagine maggiormente positiva rispetto ai correnti pregiudizi
sull’offerta turistica italiana e del Mezzogiorno in particolare, con una forte prevalenza di giudizi positivi,
pur in presenza di alcune segnalazioni di criticità che dovrebbero essere attentamente analizzate dagli
operatori del settore:
1
Percentuali generali dei “Sentiment”
2
3
4
5
molto negativo
negativo
neutro
positivo
molto
positivo
1,07
4,52
8,56
23,90
61,95
Ulteriori analisi di dettaglio sono disponibili per approfondimenti nella Parte II del presente documento.
Conclusioni
Un progetto di ascolto di “sentiment” focalizzato su poche destinazioni e limitato nel tempo ha già fornito
risultati molto interessanti, che confermano la validità del metodo. Può, quindi, essere esteso ad altre
destinazioni ed essere utilizzato in modo sistematico, anche in considerazione del fatto che può essere in
gran parte automatizzato, quindi ha costi bassi.
4
Percentuali di gradimento per le città di: Roma, Napoli, Pompei, Agrigento
- ROMA
Roma – “Sentiment” russo
Percentuale sentiment generale
1
2
3
4
5
molto
negativo
negativo
neutro
positivo
molto positivo
1,14
4,00
5,14
12,00
77,71
Roma - “Sentiment” cinese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
2,08
5,21
14,58
21,88
56,25
Roma – “Sentiment” tedesco
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
7,06
4,71
21,76
66,47
Roma – “Sentiment” giapponese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
2,50
10,00
11,25
27,50
48,75
- NAPOLI
Napoli – “Sentiment” russo
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
2,78
0,00
8,33
30,56
58,33
Napoli – “Sentiment” cinese
Percentuale sentiment generale
1
2
3
4
5
molto
negativo
negativo
neutro
positivo
molto positivo
4,76
9,52
19,05
33,33
33,33
5
Napoli – “Sentiment” tedesco
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
20,00
20,00
30,00
30,00
Napoli – “Sentiment” giapponese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
14,29
33,33
47,62
- POMPEI
Pompei – “Sentiment” russo
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
4,76
0,00
38,10
57,14
Pompei – “Sentiment” cinese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
3,23
22,58
45,16
29,03
Pompei – “Sentiment” tedesco
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
7,14
0,00
35,71
57,14
Pompei – “Sentiment” giapponese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
13,04
47,83
39,13
6
- AGRIGENTO
Agrigento – “Sentiment” russo
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
5,56
27,78
66,67
Agrigento – “Sentiment” cinese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
0,00
5,88
94,12
Agrigento – “Sentiment” tedesco
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
4,35
4,35
30,43
60,87
Agrigento – “Sentiment” giapponese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
10,00
25,00
65,00
- COSTIERA AMALFITANA
Costiera Amalfitana – “Sentiment” russo
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
0,00
0,00
100,00
Costiera Amalfitana – “Sentiment” cinese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
0,00
30,00
70,00
7
- SORRENTO
Sorrento – “Sentiment” russo
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
0,00
10,00
90,00
Sorrento – “Sentiment” cinese
Percentuale sentiment generale
1
2
3
4
5
molto negativo
negativo
neutro
positivo
molto positivo
0,00
0,00
18,18
27,27
54,55
MEDIE SENTIMENT (GENERALE E PER SINGOLO TAG): città di ROMA
Medie dei Sentiment generale e per singolo tag
città di ROMA
Musei e monumenti;
4,64
Truffe; 1,49
Mobilità; 1,65
Rapporti con enti ed
istituzioni; 2,07
Aspetto urbano;
3,62
Trasporti; 3,67
Ristorazione,
shopping; 3,77
Cultura e
spettacolo; 3,94
Accessibilità; 3
Assistenza sanitaria;
0
Sentiment generale;
4,39
Ricettività; 2,7
Sentiment generale
Assistenza sanitaria
Accessibilità
Cultura e spettacolo
Trasporti
Mobilità
Musei e monumenti
Truffe
Rapporti con enti ed istituzioni
Aspetto urbano
Ristorazione, shopping
Ricettività
8
MEDIE SENTIMENT (GENERALE E PER SINGOLO TAG): città di NAPOLI
Medie dei Sentiment generale e per singolo tag
città di NAPOLI
Musei e monumenti;
3,05
Mobilità; 1,59
Truffe; 0,88
Rapporti con enti ed
istituzioni; 2,75
Aspetto urbano;
2,58
Trasporti; 2,03
Cultura e
spettacolo; 2,9
Ristorazione,
shopping; 2,39
Accessibilità; 2,29
Sentiment generale;
4,04
Assistenza sanitaria;
0
Ricettività; 2,08
Sentiment generale
Assistenza sanitaria
Accessibilità
Cultura e spettacolo
Trasporti
Mobilità
Musei e monumenti
Truffe
Rapporti con enti ed istituzioni
Aspetto urbano
Ristorazione, shopping
Ricettività
Esempio di sintesi finale e commenti suddivisi per “sentiment” rilevati
- Risultati in lingua russo per la città di Roma (I ciclo di rilevazione):
N. 5 siti russi: analizzati n.139 feedback (commenti/conversazioni)
Conteggio sentiment generale
1
2
3
4
5
molto
negativo
negativo
neutro
positivo
molto
positivo
1
4
7
15
112
Percentuale sentiment generale
1
2
3
4
5
molto
negativo
negativo
neutro
positivo
molto
positivo
0,72%
2,88%
5,04%
10,79%
80,58%
9
%
Percentuale sentiment generale
90,00
80,00
70,00
60,00
50,00
40,00
30,00
20,00
10,00
0,00
molto
negativo
negativo
neutro
positivo
molto
positivo
Esempi di “sentiment” molto positivo (5):
- Complimenti per i treni- veloci e comodi.
- Molto positivo, il comportamento degli abitanti di Roma nei confronti dei gatti.
- Mi è piaciuto il Colosseo di notte! E' bellissimo! E' stato da sempre il mio sogno di visitarlo!
E' divino!
Esempi di “sentiment” positivo (4):
- Il Pantheon: monumento interessante, originale, ed entrata gratuita.
Esempi di “sentiment” neutro (3):
- Fori Imperiali: luogo interessantissimo, ma l’entrata è scomoda, e c’è poca informazione
disponibile.
- Abbiamo sentito tramite il TG che le catacombe del Colosseo erano aperte per le visite …:
era una informazione falsa, ma le catacombe sono interessanti.
- Purtroppo non abbiamo potuto entrare nel Colosseo causa fila incredibile. Esso resta
bellissimo da tutte le angolazioni.
- Un sacco di turisti intorno alla bellissima Fontana di Trevi: impossibile fare le foto. Turisti,
turisti, turisti... la Fontana è quasi invisibile in mezzo alla folla.
Esempi di “sentiment” negativo (2):
- Taxi troppo caro, soprattutto di notte.
- Siamo arrivati in albergo nel giorno del nostro matrimonio, con ancora i vestiti da sposi, ma
l’amministrazione del hotel non ci ha prestato nessuna attenzione. Ci hanno chiesto un
deposito di 400,00 € e 6,00 € (tassa di soggiorno) per ogni giorno di nostra permanenza.
La struttura, dichiarata di 4 stelle, aveva servizi, stanze e quant'altro non corrispondevano
nemmeno a un 3 stelle. Sono molto delusa.
10
Medie dei Sentiment generale e per singolo tag - Roma (russo)
6,00
5,00
4,68
4,81
4,57
4,46
4,14
4,20
4,00
3,00
3,00
2,25
2,00
1,00
1,00
tà
vi
et
ti
Ri
c
Ri
s
As
pe
t
en
t
co
n
Ra
pp
o
rti
to
ur
to
ba
ra
no
zio
ne
,s
ho
pp
in
g
zio
ni
fe
d
ist
itu
Tr
uf
ie
e
M
us
ei
Se
nt
im
en
t
M
ob
ili
tà
m
on
um
en
ti
0,00
Tr
as
po
rti
0,00
ge
ne
As
ra
sis
le
te
nz
a
sa
ni
ta
ria
Ac
ce
Cu
ss
ib
ltu
ilit
ra
à
e
sp
et
ta
co
lo
0,00
1,00
Sentiment generale
Assistenza sanitaria
Accessibilità
Cultura e spettacolo
Trasporti
Mobilità
Musei e monumenti
Truffe
Rapporti con enti ed istituzioni
Aspetto urbano
Ristorazione, shopping
Ricettività
1
()
11
I macro-tag utilizzati:

Assistenza sanitaria, ospedali, cure mediche;

Barriere architettoniche, strutture accessibili;

Cultura e spettacolo (eventi);

Trasporto pubblico locale;

Viabilità, parcheggi, ZTL, ecc.;

Musei e monumenti;

Truffe;

Rapporti con la cosa pubblica (forze dell'ordine, IAT e APT, ecc);

Aspetto urbano;

Ristorazione, shopping, ecc.;

Ricettività,
sono stati, per comodità, sintetizzati come indicato nel grafico.
11