Il modello goal question metric

IL MODELLO GOAL QUESTION METRIC
Roma, dicembre 1999
Descrizione del Modello GQM
Approccio alle misurazioni orientato agli
Obiettivi
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
1
Descrizione del Modello GQM
Obiettivi:
Requisiti
Utente
Conformità Processo Sviluppo agli obiettivi
Utente
Gestione dei Rischi
Rispetto delle indicazioni provenienti dalla
Normativa di riferimento (es. norme ISO)
……….
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
2
Descrizione del Modello GQM
GOAL_1
QF_1
QF_2
QUESTION_1
GOAL_2
QF_3
……… GOAL_m
………
QF_p
QUESTION_2 ……… QUESTION_n
metric_1 …… metric_p …….. metric_k
Schema del Modello
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
3
La Verifica del Modello GQM
Correttezza sintattica
Correttezza semantica
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
4
La Verifica del Modello GQM
Correttezza sintattica:
Tutte le Question sono classificate per Goal ?
Tutte le Question sono completate con le rispettive
metriche ?
Le descrizioni dei Goal, dei Quality Focus, delle
Question e delle Metric sono chiare ?
Per ciascuna metrica è indicato il metodo di
derivazione?
Per ciascuna metrica è indicata l’unità di misura ?
Per ciascuna metrica è indicato il Valore di Soglia ?
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
5
La Verifica del Modello GQM
Correttezza semantica:
Tutte le Question sono rilevanti per i Goal selezionati ?
Le relazioni tra Question e Goal sono evidenti e
plausibili ?
Le misure ricavabili attraverso le Metric consentono di
rispondere in maniera esauriente a tutte le Question ?
Tutte le Metric sono operazionali ?
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
6
L’Esperienza Maturata
Processo adottato dal Fornitore
…..
Goal:
Conformità del Processo al Contratto
…..
Prodotto realizzato
…..
Goal:
Affidabilità
Goal: Manutenibilità
…..
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
7
L’Esperienza Maturata
Goal: Conformità del Processo di
Sviluppo al Contratto
…..
Q.F.
:Conformità del Processo con gli obiettivi
contrattuali dell’Utente
…..
Q.F. :Conformità delle Competenze del
Personale al Contratto
…..
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
8
L’Esperienza Maturata
Goal: Conformità del Processo di Sviluppo al Contratto
Quality Focus: Conformità del processo agli obiettivi contrattuali dell’Utente
Question: Il Processo consente il conseguimento di una maggiore
compatibilità del Sistema con sistemi informatici esterni all’Istituto ?
Metric
Metodo di
Valori
Soglia
Cons.
Derivazione
Ammissibili
Applicazione Ispezione al
Sì/No
Sì
Lista di
Processo di
Controllo:
Sviluppo ed al
Contratto
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
9
L’Esperienza Maturata
Lista di Controllo
Risposta fornita
1) Sono indicate normative o standard
che il sistema deve rispettare per
garantire compatibilità con sistemi
informatici esterni?
2) Sono indicate procedure da seguire
per garantire compatibilità con i sistemi
informatici esterni?
3) Si prevede l’utilizzo di linguaggi di
programmazione di larga diffusione
quali COBOL, C e C++?
4) Si prevede che vengano descritte le
interfacce tra il sistema e le
applicazioni dell’ambiente esterno che
interagiscono con esso?
NO
NO
Sì
Sì
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
10
L’Esperienza Maturata
Goal: Conformità del Processo di Sviluppo al Contratto
Quality Focus: Conformità delle competenze al processo
Question: Il personale del Fornitore che si occupa della formazione del
personale tecnico INPS ha competenze di software engineering, di
configuration management, ambienti e linguaggi di programmazione interni
all’istituto, ed esperienze di education ?
Metric
Metodo di
Valori
Soglia
Cons.
Derivazione
Ammissibili
Sì/No
Sì
Sì
Ispezione al
Verifica
Processo di
conformità
Sviluppo ed al
competenze
del personale Contratto
coinvolto in tali
attività,
con
quanto
previsto
dal
contratto
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
11
L’Esperienza Maturata
Goal: Affidabilità del prodotto Sw
Q.F.:
Maturità
Q.F.: Tolleranza (Robustezza)
…..
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
12
L’Esperienza Maturata
Goal: Affidabilità
Quality Focus: Maturità
Question: Qual è la frequenza di difetti rilevati, nel sistem a in
esecuzione, nel corso della fase di collaudo ?
M etric
M etodo di
U.M .
Soglia Cons.
Derivazione
Num ero
di Ispezione al
n. difetti
11
difetti rilevati
Consuntivo Prove di
Collaudo
Tem po
di Ispezione al
giorni
15
osservazione Consuntivo Prove di
(durata
del Collaudo
Collaudo)
Tempo osservazione
Tem po m edio
giorni/difetto =>10 1,4
tra
i
difetti
Numero difetti rilevati
rilevati
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
13
L’Esperienza Maturata
Goal: Affidabilità
Quality Focus: Maturità
Question: Qual è il grado di copertura dei casi di prova previsti ?
M etric
M etodo di
Derivazione
Num ero
di Ispezione al Piano di
casi di prova Collaudo
pianificati
Num ero
di Ispezione al
casi di prova Consuntivo di
eseguiti
Collaudo
U.M .
Tasso dei casi
di
prova
eseguiti
%
Numero casi di
prova eseguiti
Soglia Cons.
n.
61
n.
61
=100
100
Numero casi di prova
pianificati
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
14
L’Esperienza Maturata
G oal: A ffidabilità
Q uality Focus: T olleranza
Q uestion: Il sistem a riesce ad e vitare errori anche con operazioni non
corrette da parte de ll’utente ?
M etric
M etodo di D erivazione
U .M . Soglia C ons.
N um ero di casi di
prova ne gativi con
interazione
utente
superati
N um ero di casi di
prova ne gativi con
interazione utente
T asso dei casi di
prova ne gativi con
interazione
utente
superati
Ispezione al C onsuntivo
P rove di C o llaud o
n.
12
Ispezione al P ia no di
C ollaudo
n.
12
Num ero casi di prova
negativi con interazione
utente superati
Num ero casi di prova
negativi con interazione
utente
%
=10 0
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
100
15
L’Esperienza Maturata
Goal: Manutenibilità del prodotto Sw
…..
Q.F.:
Stabilità
…..
Q.F.:
Testabilità
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
16
L’Esperienza Maturata
Goal: Manutenibilità
Quality Focus: Stabilità
Question: Quanto è esteso, il riverbero di un cam biam ento, nel
sistem a software ?
M etric
M etodo di Derivazione U.M .
Soglia Cons.
Numero
di Ispezione al Consuntivo
difetti rilevati
Prove di Collaudo
n. difetti
11
Numero
Ispezione al Consuntivo
complessivo di Prove di Collaudo
Moduli corretti
per eliminare i
difetti
Numero medio
Numero complessivo
di Moduli per
moduli
correggere un
Numero di difetti
difetti
rilevati
n. moduli
12
moduli/difetto
<=3
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
1,1
17
L’Esperienza Maturata
G oal: M anutenibilità
Q uality Focus: T estabilità
Q uestion: Q uanto tem po è necessario per eseguire un C aso di Prova ?
M etric
M etodo di D erivazione
N um ero di casi
prova eseguiti
di Ispezione al C onsuntivo
Prove di C ollaudo
U .M .
Soglia C ons.
n.
61
Tem po
necessario Ispezione al C onsuntivo
per eseguire i Casi di Prove di C ollaudo
Prova
m inuti
151
Tem po m edio per
eseguire i C asi di
Prova
m inuti/ <=3
Caso di
Prova
2,4
Tem po necessario per
eseguire i C asi di P rova
N um ero casi di prova
eseguiti
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
18
I punti di forza
Schemi
di valutazione riusabili
Registrazione
degli Schemi di valutazione e
dei dati di qualità tramite strumenti
automatici
Diffusione
di terminologie, pratiche
operative e metriche
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
19
… e di debolezza
Complessità
obiettivi
Difficoltà
Rischio
nella strutturazione degli
di aggregazione dei dati
di acquisire troppe informazioni
Workshop “Il Monitoraggio dei Contratti di grande rilievo”
20