VALUTAZIONE - Dipartimento di Scienze della Comunicazione

Valutazione
Università di Siena | Scienze della Comunicazione
TIPOLOGIE DI VALUTAZIONE
In corso d’opera (formative evaluation)
In fase avanzata del processo di sviluppo (summative
evaluation)
Post (beta testing, monitoraggi)
Valutazioni qualitativa e quantitativa
Valutazioni che coinvolgono gli utenti finali.
Valutazioni euristiche condotte da esperti.
VALUTAZIONE | USER TEST
Æ La valutazione basata su scenari è nota come testutente
– Consente di valutare nel dettaglio le performance e le reazioni
dell’utente nei diversi stadi di sviluppo del sistema, attraverso
l’uso dei prototipi
– Fornisce indicazioni sulle modifiche da apportare ai prototipi
nelle successive fasi di design
VALUTAZIONE | L’USO DI SCENARI
Æ progettazione degli scenari: progettare alcuni scenari
per ogni tipologia di attività che s’intende testare
– sulla base delle informazioni raccolte sugli utenti, sui compiti,
sulle attività, sul contesto d’uso
– tenendo conto dei requisiti di usabilità ed esperienza che
s’intende misurare
– e di quali funzionalità del sistema (prototipo) coprire.
Æ valutazione con gli scenari: l’utente esegue gli scenari
d’uso selezionati affiancato da un valutatore esperto
VALUTAZIONE | USER TEST
Æ Come condurre un TEST UTENTE:
1. Definire gli obiettivi del test (generici o specifici)
2. Definire il campione di soggetti che partecipano al test
3. Selezionare gli scenari da testare, rappresentativi dell’attività
4. Decidere i criteri di valutazione (qualitativi o quantitativi).
5. Predisporre l’ambiente di testing e verificare che il prototipo
supporti gli scenari selezionati
6. Eseguire il test, documentandone lo svolgimento (video o audio
registrazione, appunti scritti, log delle interazioni).
7. Analizzare i risultati
VALUTAZIONE | USER TEST
1. Definire gli obiettivi del test:
– Obiettivi generici:
Valutare la facilità d’uso, la soddisfazione e l’utilità percepita
nell’uso del sistema.
– Obiettivi specifici:
Valutare il funzionamento di un menù o di una funzione di
navigazione, verificare la leggibilità di un etichetta, ecc
VALUTAZIONE | USER TEST
Usabilità e qualità
dell’esperienza utente
Jakob Nielsen
VALUTAZIONE | USER TEST
2. Definire il campione dei soggetti:
– Scegliere dei criteri di rappresentatività della popolazione e
delle diverse tipologie di utenti
• Ruolo svolto nell’attività
• Esperienza con il sistema e con l’attività
(esperto/principiante)
• Frequenza d’uso del sistema
• Conoscenza di sistemi simili
– Definire il numero di utenti da coinvolgere nel test
• In base agli obiettivi ed allo stadio di sviluppo del progetto
VALUTAZIONE | USER TEST
3.
Selezionare task e scenari
Æ
Acquistare un biglietto
–
Æ
Acquistare un biglietto con bancomat
–
Æ
“Oggi é Sabato 25 ottobre, sono le 11:50. Lei é alla stazione di Roma, davanti alla
biglietteria automatica e vuole acquistare un biglietto solo andata per Napoli del
treno IC delle 12:10 ”
“Oggi é Sabato 25 ottobre, sono le 11:50. Lei é alla stazione di Roma, davanti alla
biglietteria automatica. Vuole acquistare un biglietto solo andata per Napoli del treno
IC delle 12:10. Non ha contante, ma ha con sé il bancomat. ”
Andata e ritorno…
–
“Oggi é Lunedi 13 ottobre, sono le 9:15. E’ una bella giornata così ha deciso di fare
una sorpresa a sua figlia che abita a Napoli. Vorrebbe essere lì per ora di pranzo,
ma deve tornare a Roma in serata perché ha un appuntamento con una sua amica
per il dopo cena. Quindi va alla biglietteria automatica della stazione Roma Tiburtina
per acquistare con la sua carta argento un biglietto andata e ritorno, sperando che ci
siano buone combinazioni di treni per i suoi programmi
VALUTAZIONE | USER TEST
3. Selezionare task e scenari
Æ I criteri di selezione degli scenari per condurre user test:
– Rappresentatività: compiti che sono rappresentativi per l’attività, che
ne sono alla base. Ad es: se s’intende valutare una biglietteria
automatica non dovranno mancare compiti di scelta del percorso,
dell’orario di partenza, modalità di pagamento,ecc.
– Frequenza: i compiti caratterizzati da un alto tasso di occorrenza
nell’attività, ad es. ricercare informazioni sugli orari, acquisto di più di
un biglietto, acquisto veloce di un biglietto, ecc.
– Criticità: compiti che nell’attività reale sono o potrebbero essere critici,
fonti di errore
– Implementabilità: compiti che possono essere portati avanti attraverso
il sistema (prototipo)
VALUTAZIONE | USER TEST
4. Decidere i criteri di valutazione
Æ Le misure quantitative riguardano la performance osservabile dell’utente mentre
esegue i compiti in interazione con il sistema, ad es:
–
Tempo impiegato per completare con successo il compito
–
Percentuale di completamento di un compito nell’unità di tempo
–
Numero e tipologia di errori commessi durante l’esecuzione del compito
–
Frequenza di una determinata tipologia di errore
Æ Le misure qualitative si basano invece su valutazioni soggettive, sull’opinione degli
utenti circa la bontà dell’interfaccia, ad es:
–
livello di soddisfazione percepita dagli utenti (alla prima impressione o a lungo
termine)
–
difficoltà d’uso del sistema
–
piacevolezza
VALUTAZIONE | USER TEST
5. Predisporre l’ambiente di testing e verificare che il
prototipo sostenga i task e gli scenari selezionati
–
Preparare il materiale di cui l’utente ha bisogno durante
l’esecuzione del test
–
Verificare che le funzioni e gli scenari d’uso che si vogliono testare
siano supportati dal prototipo
–
Fornire spiegazioni all’utente sugli obiettivi del test (si valuta il
sistema e non la performance dell’utente!) e indicazioni sui compiti
che deve svolgere
Test condotto in laboratorio
Possibilità di gestire le
variabili con maggiore
accuratezza.
vs
Test condotto sul campo
Possibilità di avere più dati
rispetto all’uso nel contesto
operativo reale.
VALUTAZIONE | USER TEST
6.
Eseguire il test
Æ
Preparazione del test
–
–
–
–
presentare gli obiettivi della sessione all’utente
lista preliminare degli eventi significativi (griglia)
video registrazione del test (se possibile)
Note e appunti di eventi significativi
Æ
Consegne:
–
Fornire l’obiettivo da portare a termine e l’eventuale materiale di supporto
Æ
Metodi di esecuzione:
–
thinking aloud (pensare ad alta voce)
–
il valutatore é osservatore passivo: interviene solo dietro esplicita richiesta di aiuto da parte
dell’utente o in caso di difficoltà che allungano notevolmente i tempi di esecuzione.
Æ
Post test:
–
Commenti liberi dell’utente
–
Discussione rispetto a punti critici
Æ
Documentare quello che succede e quello che l’utente dice (audio, video, appunti, log, ecc.).
VALUTAZIONE | USER TEST
6. Esecuzione del test: diversi metodi
Æ osservazione semplice sul campo o in laboratorio
– Si osserva l’utente interagire con il sistema
– Nessun intervento dello sperimentatore
– Nessun dato sui processi mentali dell’utente
VALUTAZIONE | USER TEST
6. Esecuzione del test: diversi metodi
Æ osservazione con think aloud
– Si chiede ai soggetti di dire cosa stanno pensando o facendo
•
•
•
cosa credono stia accadendo
cosa stanno cercando di fare
perché hanno fatto quella azione
– Si acquisiscono dati sui processi mentali dell’utente
– Ma è poco confortevole per l’utente
– l’utente esplicita ragionamenti altrimenti impliciti: potrebbe
modificare il suo comportamento
– difficile commentare mentre si è concentrati su un problema
VALUTAZIONE | USER TEST
6. Esecuzione del test: diversi metodi
Æ osservazione con interazione costruttiva
– Due soggetti (un quasi esperto ed un novizio) lavorano insieme
con lo stesso sistema
•
il novizio “ha i comandi”
– Si osserva la normale conversazione
•
rimuove la non naturalezza del think aloud
– il novizio pone molte domande
– il quasi esperto risponde
– fornisce dati sui processi mentali di entrambi
VALUTAZIONE | USER TEST
6. Esecuzione del test: diversi metodi
Æ retrospective testing
–
–
–
–
osservazione del test registrato per chiarire alcuni eventi
su snapshot o video
l’utente commenta e spiega le sue azioni
eccellente come materiale di supporto per le interviste post
sessione
– valida la comprensione dello sperimentatore
– utenti spesso commentano ed offrono suggerimenti
VALUTAZIONE | USER TEST
6. Esecuzione del test: diversi metodi
Æ walkthrough
•
•
•
•
prototipi cartacei
immagini di schermate
schermate statiche
Prototipi semi funzionanti
–
Si chiede all’utente di “muoversi” nel sistema, individuare le parti
funzionali, e cosa farebbe per raggiungere un determinato obiettivo
–
EXPLORATORY LEARNING (Lewis & Polson,1991)
•
•
–
–
–
l’apprendimento è legato all’azione
il feedback fornito dall’interfaccia durante l’interazione rafforza e consolida
le conoscenze apprese durante la sua esplorazione.
TEORIA DEGLI STADI DELL’AZIONE (Hutchins, Holland & Norman,
1985; Norman, 1997).
7 stadi dell’azione
3 distanze: difficoltà di passaggio da una fase all’altra
Il modello
dell’azione| NORMAN
MODELLO
DELL’AZIONE
SCOPO
Esecuzione
Input
Valutazione
Confrontare ciò che è successo con
quello che volevamo succedesse
MONDO
[Hutchins, Hollan e Norman, 1985] Modello dell’azione
MODELLO DELL’AZIONE | NORMAN
Esecuzione
SCOPO
Intenzione
Pianificazione
Esecuzione
MONDO
MODELLO DELL’AZIONE | NORMAN
SCOPO
Golfo dell’esecuzione
E’ la differenza tra le intenzioni e le azioni possibili:
Intenzione
Pianificazione
Esecuzione
MONDO
•In che misura il sistema permette agli utilizzatori di raggiungere i loro scopi senza sforzi aggiuntivi?
•Il sistema chiarisce cosa è possibile ottenere da esso?
•Il sistema comunica adeguatamente il suo funzionamento e le azioni che esso rende possibili?
•Lo spazio di interazione fornisce tutta la conoscenza necessaria per pianificare / eseguire una sequenza di azioni?
MODELLO DELL’AZIONE | NORMAN
Valutazione
SCOPO
Valutazione
Interpretazione
Percezione
MONDO
MODELLO DELL’AZIONE | NORMAN
Golfo della valutazione
SCOPO
E’ la differenza tra lo stato del sistema e la valutazione dell’utilizzatore:
Valutazione
Interpretazione
Percezione
MONDO
•In che misura il sistema comunica il proprio stato?
•Sono chiare ed evidenti le conseguenze di un’azione?
•Lo spazio dell’interazione assume uno stato aderente alle aspettative dell’utilizzatore?
•Quanto è difficile comprendere se si sono verificato errori nel corso dell’interazione?
•E’ facile comprendere le relazioni di causa‐effetto relative all’interazione con il sistema?
MODELLO DELL’AZIONE | NORMAN
Distanza cognitiva
Sforzo cognitivo richiesto per eseguire un’azione e valutarne gli effetti.
La distanza semantica: versante dell’esecuzione
Inviare un allegato in posta elettronica...
Apro Word
Scrivo il documento
Lo salvo nel giusto formato (es. .doc o .rtf)
Apro il sistema di posta (es. outlook)
“Allego” il documento al messaggio
Scelgo il giusto formato di codifica (simple text, html)
Scrivo l’indirizzo
Spedisco il documento
Esecuzione
La distanza semantica: versante della valutazione
Il messaggio sarà arrivato a destinazione? E quando?
La distanza referenziale: versante dell’esecuzione
Voglio copiare il file Pippo.txt nella mia cartellina “doc”...
La distanza referenziale: versante dell’esecuzione
…con un computer con sistema operativo dos (senza interfaccia grafica)...
La distanza referenziale: versante dell’esecuzione
…con un’interfaccia grafica a manipolazione diretta...
La distanza referenziale: versante della valutazione
…con un computer con sistema operativo dos (senza interfaccia grafica)...
La distanza referenziale: versante della valutazione
…con un’interfaccia grafica a manipolazione diretta...
La distanza inter‐referenziale
Il fax
Il citofono
…
Skype
Il modello dell’azione
•Individua i concetti di base dell’interazione dal punto di vista dell’utilizzatore
•Spiega la ciclicità dell’interazione
•Individua i golfi da superare
•Evidenzia le distanze semantica e articolatoria
•Sottolinea l’importanza della forma percepibile dello strumento.
VALUTAZIONE | USER TEST
7. Analizzare i risultati
Protocollo verbale
Video clip
Io non ho la carta
verde […] come
faccio? Come
faccio a pagare
normalmente.
Possibile che non
abbiano la tariffa
normale? Ehm […]
Ah si ecco qua…
Descrizione delle azioni
L’utente non riesce ad
individuare l’icona
corrispondente a tariffa
intera. La confonde con una
delle tante carte. La trova
solo dopo ripetuti tentativi
di modifica del numero nel
campo “Totale passeggeri”.
Indicazioni per il design
Modificare la
rappresentazione
dell’opzione “tariffa intera”.
Differenziarla meglio dalle
altre.