Interazione Uomo-Macchina

Facoltà di Lettere e Filosofia
Università di Verona
A.A. 2005-06
Comunicazione ed interazione
http://commons.wikimedia.org/wiki/Image:Bocca_della_verita.jpg
Tecniche di valutazione (1)
1
La valutazione
•
•
•
Pervasiva e influente per tutto il ciclo di vita
specificatamente rivolta a identificare i punti critici su
cui intervenire
Due sistemi di valutazione:
1. analisi di esperti
2. partecipazione degli utenti
2
Gli obiettivi della valutazione – 3 tipi
1. Verificare l’ampiezza e l’accessibilità
delle funzionalità del sistema
– bisogna rispondere alle seguenti domande:
•
I requisiti definiti nella prima fase del ciclo di
vita sono stati soddisfatti?
•
Il sistema aiuta l’utente in quello che vuole fare
nel modo in cui l’utente se lo aspetta?
– può comprendere una stima delle prestazioni
dell’utente nell’uso del sistema
3
Gli obiettivi della valutazione – 3 tipi
2. Controllare l’esperienza d’interazione degli utenti
– occorre considerare
•
facilità d’apprendimento del sistema
•
soddisfazione all’utente
•
divertimento e risposta emotiva (per l’entertainment)
•
aree di sovraccarico per l’utente
4
Gli obiettivi della valutazione – 3 tipi
3. Identificare i problemi specifici d’interazione con il
sistema
– bisogna considerare
•
risultati inaspettati di interazione
•
confusione nell’utente
– può dipendere sia dalla funzionalità che dall’usabilità del
design
5
La valutazione attraverso l’analisi di esperti
•
Obiettivo di base: identificare le aree che
potrebbero causare difficoltà perché
– violano i principi cognitivi noti
– ignorano principi empirici accettati
prima dell’implementazione vera e propria
•
possono comunque essere usati in qualsiasi
fase del processo di sviluppo
•
poco costosi, non richiedono l’intervento di
utenti
–
Specifica dei
requisiti
Design
architetturale
Design
dettagliato
Test delle unità
e codifica
Integrazione e
test
Operazione e
manutenzione
non viene verificato l’uso effettivo del sistema
6
•
Quattro tipi:
1. Walkthrough cognitivo
2. Valutazione euristica
3. Uso di modelli
4. Uso del lavoro precedente
7
Walkthrough cognitivo
•
Approccio psicologico, introdotto da Polson
•
Analogia con il walkthrough del codice
– si valutano sequenze di operazioni o azioni
•
La sequenza di azioni si riferisce alle fasi che
l’interfaccia richiede all’utente di eseguire al fine di
svolgere un compito noto
•
Analizza la facilità di apprendimento tramite
l’esplorazione dell’interfaccia
8
•
Sacra verità:
–
–
SI
NO
apprendimento esplorativo
lettura di manualistica
1.
•
Il WLK analizza l’apprendimento esplorativo
•
Quattro elementi necessari:
1. Specifica o prototipo del sistema
2. Descrizione del compito che
deve svolgere l’utente
3. Elenco azioni necessarie
all’assolvimento del compito
4. Descrizione di chi sono gli utenti
e della conoscenza ed esperienza
che essi possono avere
2.
3.
4.
9
•
•
I valutatori esaminano passo passo la sequenza di
azioni.
Per ogni azione, una scheda con le seguenti 4
domande:
1. Conformità: l’effetto dell’azione è lo stesso dell’obiettivo
dell’utente a questo punto?
2. Visibilità: gli utenti si accorgeranno che l’azione è
disponibile?
3. Significato ed effetto: una volta che gli utenti hanno trovato
l’azione corretta, sapranno che è quella di cui hanno
bisogno?
4. Feedback: dopo aver eseguito un’azione, gli utenti
capiranno il feedback che otterranno?
10
.
http://www.cs.utep.edu/novick/papers/cw-op.interactions.html
11
Valutazione euristica – J.Nielsen, R.Molich
•
•
Euristica = principio generale, linea guida o regola empirica
Metodo flessibile e poco costoso
–
•
•
valutato su prototipi o su sistemi funzionanti
Più valutatori (3-5) esaminano autonomamente il
sistema, tramite 10 euristiche (che possono
eventualmente essere rimpolpate)
Se si individua un problema lo si analizza secondo 4
fattori:
1.
2.
3.
4.
quanto è comune il problema
come è facile per l’utente risolverlo
se è temporaneo o costante
quanto seriamente verrà percepito
12
•
Scala di giudizio, classifica un problema come:
0. Inesistente
1. Accessorio: non deve essere risolto, a meno che nel progetto
non sia disponibile del tempo extra
2. Secondario: alla sua risoluzione bisognerebbe dar bassa
priorità
3. Rilevante: è importante risolverlo, bisognerebbe dare alta
priorità
4. Catastrofico: è imperativo risolverlo prima che il prodotto
possa essere rilasciato
13
•
Le 10 euristiche:
1.
2.
3.
4.
5.
6.
7.
8.
9.
Visibilità di stato del sistema
Corrispondenza tra il mondo reale e il sistema
Libertà e controllo da parte degli utenti
Coerenza e standard
Prevenzione degli errori
Riconoscere più che ricordare
Flessibilità ed efficienza d’uso
Design minimalista ed estetico
Fornire agli utenti i mezzi per riconoscere gli errori,
diagnosticarli e correggerli
10. Guida e documentazione
14
Ho capito cosa inizierò a fare dopo il corso...
15
La valutazione basata su modelli
•
•
•
Modelli cognitivi e di progettazione eseguono
congiuntamente la valutazione e la specifica del
progetto
Per diversi tipi di applicazioni esistono diversi modelli
Prevedono le prestazioni degli utenti
– Esempio: GOMS
16
L’utilizzo di studi precedenti nella valutazione
•
•
Approccio mirato al risparmio
L’esperto riprende in mano valutazioni fatte per altri
progetti precedenti, simili totalmente o in parte a
quello sotto esame
– Ottimo per valutare versioni successive dello stesso
prodotto
17
La valutazione con la partecipazione degli utenti
•
•
•
Più effettiva rispetto alle valutazioni precedenti: ora
l’utente è in gioco
Indispensabile
Si effettua di solito nelle fasi avanzate del progetto,
quando esiste almeno un prototipo
Specifica dei
requisiti
Design
architetturale
Design
dettagliato
Test delle unità
e codifica
•
Due stili differenti:
Integrazione e
test
Operazione e
manutenzione
1. Studi di laboratorio
2. Studi sul campo
18
Gli studi di laboratorio
•
•
Ambiente di usufrutto
Vantaggi:
–
–
–
–
ambiente supervisionato
utili strumenti di analisi a disposizione
ambiente senza interruzioni
si possono creare ambienti altrimenti non osservabili
si possono creare ambienti di riferimento - confronto
http://mmm.idiap.ch/cgi- bin/SessionIndex2?sessionDir=M4- Corpus/Scripted
-
•
Meeting
- T
RN
- 07
Svantaggi:
– irreale, soprattutto in contesti di cooperazione
19
Gli studi sul campo
•
•
Immergo il sistema nell’ambiente di lavoro dell’utente
Vantaggi:
– L’ambiente naturale è quello che conta
– Si osservano approcci collaborativi
– Test di lunga durata (mesi) in lab. non sono fattibili
•
Svantaggi:
– Alti livelli di rumore ambientale
– Non si riproduce mai perfettamente l’ambiente di lavoro
(vedi gli strumenti i registrazione)
– Si inquina l’ambiente originale di lavoro
•
E’ da preferirsi agli studi di laboratorio
20
I metodi empirici: la valutazione sperimentale
•
•
•
Esperimento controllato, per verificare un’ipotesi
Uno degli strumenti più efficaci
Molti fattori influiscono sull’affidabilità generale
dell’esperimento
–
–
–
–
–
partecipanti
variabili
ipotesi (spesso viene formulata per prima)
disegno sperimentale
misure statistiche
21
I partecipanti
•
•
Vitale per il successo di qualsiasi esperimento
Bisogna caratterizzare il loro
– Tipo: i partecipanti dovrebbero rappresentare l’intera utenza
prevista per il prodotto
– Numero: in generale, più grande è, meglio è (si consiglia
>10)
22
Le variabili
•
Due tipi
– Indipendenti: variabili il cui valore viene fatto variare
nell’esperimento (es.: stile d’interfaccia, livello di guida,
numero di elementi del menù, design delle icone),
•
possono essere prese singolarmente per esperimento o combinate
– Dipendenti: variabili misurabili nell’esperimento,
influenzate dalla variabile indipendente (es. tempo
impiegato per svolgere un compito, numero di insuccessi,
etc.)
D
Es.: Fitt’s law
S
23
La legge di Fitt’s e’ un esempio di legge trovata grazie a valutazioni euristiche, in
cui...
Le ipotesi
•
•
•
Previsioni del risultato degli esperimenti, che devono
essere confermate invalidando l’ipotesi nulla, la quale
dice che non c’è alcuna differenza nella variabile
dipendente tra i valori(livelli) della variabile
indipendente
La conferma viene grazie a misure statistiche, che
devono essere significative
se un risultato è significativo mostra, al livello di
certezza dato, che le differenze riscontrate non si sono
verificate per caso
24
Il disegno sperimentale
1. Scegliere l’ipotesi
2. Individuare i partecipanti
3. Scegliere il metodo sperimentale
•
between
- subjects
•
•
•
•
•
a ogni partecipante una condizione diversa (condizione sp.
manipolata, controllo)
ogni agente agisce in una sola condizione (evito apprendimenti)
grande numero di partecipanti richiesto
attenzione alle differenze tra utenti
within
- subjects
•
•
•
•
ogni utente agisce in tutte le condizioni
utile quando si deve valutare l’apprendimento
numero minore di partecipanti
annulla i problemi dovuti alle differenze tra utenti
25
4. Analisi dei risultati
5. Conclusioni (rigetto l’ipotesi nulla o no?)
26
Le misure statistiche
•
Regole fondamentali
– osservare i dati
•
eliminare gli outliers
– salvare i dati
•
•
•
si assicura ripetibilità
Spesso è necessario l’aiuto di un’esperto in statistica.
Argomento avanzato?
27
•
Esempio: scelta delle icone
– Ipotesi:
•
•
vera e propria: gli utenti ricorderanno le icone naturali più facilmente
(= velocemente) di quelle astratte
nulla: non c’è differenza
– Metodo sperimentale: within
- subjects
– ...(analisi statistica)
– Risultato: rigetto l’ipotesi nulla, le icone naturali vengono
valutate più facilmente di quelle astratte
28