- Clariter

Il coinvolgimento del cliente
finale nel processo produttivo
dei servizi digitali: mito o realtà?
Software Testing Forum 2016 – Milano 16 Giugno
La Mission IQ Zone®
IQ Zone® è il TCOE di Clariter che aiuta a mantenere efficiente il
ciclo di vita del Software attraverso l’impiego della migliore
combinazione di persone, processi, strumenti e infrastrutture, ad un
livello superiore e a costi più contenuti.
Strutturalmente
indipendente
Connesso alle
dinamiche
tecno-sociali
Altamente
qualificato
Adeguatamente
interdisciplinare
2
La visione olistica IQ Zone®
=
InLab Testing: test
strutturato svolto in
laboratorio.
QoD (Quality of Data):
misura della qualità dei
dati (testuali,
multimendiali, ecc.).
OutLab
Testing:
test
strutturato svolto in campo
alle condizioni del mondo
reale.
Test Engineers
Professional Community
QoS (Quality of Service): rilevazione delle
anomalie del software in ambiente di
produzione
QoE (Quality of Experience): misurazione in
campo della qualità dell’esperienza da parte
dell’utente finale.
.
Test Engineers
Professional Community
Crowdtester Community
Professional Community
Crowdtester Community
3
I vantaggi del modello IQ Zone®
Vista «grandangolare» sulla qualità (oggettiva e percepita)
Cortocircuito tra l’ingegneria, il marketing e i clienti
30% di efficienza media nell’approccio combinato
160% di efficacia rispetto al solo InLab
4
Lesson learned
…ci eravamo lasciati nel 2015 con questo messaggio
Le campagne crowd di QoS permettono di rilevare dati QoE,
confermando che, dal punto di vista dell’utente finale,
la QoE è condizionata dalla QoS ed entrambe concorrono alla definizione
della qualità in uso.
L’introduzione dell’analisi degli scarti
delle segnalazioni rilevate in ambito QOS,
permette quindi di derivare
considerazioni di experience
5
IQ Zone® & Agile Software Development Lifecycle
I feedback del crowd diventano elementi aggiuntivi per il backlog successivo
Durata ciclo di test
2-3 giorni
Durata tipica 2 settimane
6
Il contributo del cliente finale nel processo di validazione dei rilasci
TIM ha adottato il modello IQ Zone® nel processo di validazione introducendo
nella fase di pre-esercizio le attività crowd
Collaudo
Test di laboratorio
Pre-esercizio
Crowd
validation
Esercizio
UAT
Obiettivi
•
•
includere il cliente nel processo produttivo come previsto del principale
paradigma della Digital Transformation e dell’approccio Agile
Introdurre una valutazione indipendente da sviluppo e offerta
7
Ambiente di pre-esercizio – fase di validazione
Setup - INLAB
Operation - CROWD
Sanity Check
Phase
Validation Phase
Coerenza
dei
REQ.
Consistenza
Requisiti di
Copertura
Qualità
FIX
Crowd
REQ.
FIX
Crowd Phase
Completamento
requisiti di
Crowd
QoS
QoE
8
Ambiente di pre-esercizio – fase di validazione
Setup - INLAB
Operation - CROWD
Sanity Check
Phase
Validation Phase
Coerenza
dei
REQ.
Consistenza
Requisiti di
Copertura
Qualità
FIX
Crowd
REQ.
FIX
Crowd Phase
Completamento
requisiti di
Crowd
QoS
QoE
9
Ambiente di pre-esercizio – fase di validazione
Setup - INLAB
Operation - CROWD
Sanity Check
Phase
Validation Phase
Coerenza
dei
REQ.
Consistenza
Requisiti di
Copertura
Qualità
FIX
Crowd
REQ.
FIX
Crowd Phase
Completamento
requisiti di
Crowd
QoS
QoE
10
I dati delle campagne di QoS 2016
Staffing di campagna
Raccolta segnalazioni
Validazione segnalazioni
La fase di condivisione delle segnalazioni prevede l’incontro con le strutture di
Demand e Sviluppo per la validazione delle segnalazioni.
Accettate
40%
0%
10%
20%
Rifiutate
60%
30%
40%
50%
60%
70%
80%
90%
100%
Complessivamente al termine di campagna circa il 40% delle segnalazioni raccolte
concorrono alla definizione di FIX.
Il restante 60% è sottoposto al processo di analisi degli scarti per la definizione di dati
di experience.
11
Analisi degli scarti
L’introduzione dell’analisi degli scarti, già presentata nel 2015,
permette quindi di rilevare gli elementi di Qualità in uso
Comportamento Atteso
19%
•
Qualità del dato
14%
Non riproducibile
15%
Duplicati
37%
Out of Scope
16%
Comportamento Atteso:
in questo gruppo ricorrono tutte le segnalazioni in merito a comportamenti dell’applicazione che non trovano riscontro nelle
aspettative degli utenti. Tali segnalazioni possono, in alcuni casi, evidenziare punti di miglioramento.
•
Qualità del Dato:
Sono segnalazioni relative ai contenuti (testi, multiaudio, locandine, sinossi…)
•
Non riproducibile:
Segnalazioni non riproducibili in laboratorio ma certificate dal crowd con screenshot o video. Sebbene non sia possibile
riprodurre la segnalazione in laboratorio, tali eventi incidono sulla qualità percepita dell’app ed evidenziano criticità del
software in determinate condizioni. In alcuni casi definiscono e validano i requisiti minimi per la corretta fruzione del
servizio.
•
Duplicati - Segnalazioni confermative.
Sono segnalazioni già segnalate da altri utenti. La segnalazione risulta particolarmente evidente da essere riscontrata da
più utenti in condizioni differenti.
12
Analisi degli scarti – segnalazioni non in ambito funzionale
L’analisi delle segnalazioni non funzionali, di un servizio OTP di TIM
cross device e cross platform, ha permesso di identificare delle specifiche aree di
miglioramento.
Ciascuna area è dimensionata per frequenza
e volume di segnalazioni rilevate
dalle campagne crowd.
Accuratezza
17%
Offerta
5%
Adattabilità
39%
Supporto
13%
Self caring
26%
13
Segnalazioni evolutive – un approccio innovativo alla QoE
Abbiamo chiesto ai crowdtester di partecipare ad un contest per definire le migliori
soluzioni evolutive.
•
•
Il 45% delle risposte è rivolto al miglioramento o all’ottimizzazione in chiave di
usability di funzionalità già disponibili
Il 40% delle risposte rappresentano nuove funzionalità non ancora
implementate nel servizio.
Introduzione di offerte più
Segnalazioni migliorative di
funzionalità esistenti
45%
vantaggiose ed integrate
15%
Introduzione di nuove funzionalità non
implementate
40%
14
Conclusioni
Roadmap evolutiva guidata dal crowd
I risultati delle indagini di QoS e QoE sono i driver per la roadmap evolutiva del prodotto.
Crowd
Accademy
Customer
Co Creation
Crowd
Support
Digital
Marketing
Il cliente TIM è cambiato,
TIM cambia per lui
QoE
QoS
15