Scarica il PDF

Relatori:
Daniele Rosso, Assioma.net – Direttore Area Tecnica
Roberto Pietrantuono, Consorzio Interuniversitario
Nazionale per l'Informatica (CINI) - Ricercatore
Progetto ICEBERG
Stima dei costi della non qualità nei progetti software
The research has received funding from the European Union Seventh Framework Programme (FP7/2007‐2013) under grant agreement n°324356
Software Testing Forum - 24 giugno 2014
Agenda
Partner
Obiettivo
Fasi del progetto
Dissemination
2
Agenda
Partner
Obiettivo
Fasi del progetto
Dissemination
3
ICEBERG Project: Partner
ICEBERG mira a migliorare l’interazione tra il mondo industriale e quello accademico
promuovendo lo scambio incrociato di conoscenze in contesti culturali e geografici differenti.
In particolare:
ANET (coordinatore del progetto)
con conoscenze e competenze in SW quality assurance e certificazioni ISTQB.
DEISER con competenze in strumenti per processi decisionali e metodi di business.
CINI con esperienza nella verifica e validazione del SW in diversi settori, nonché nelle applicazioni critiche.
UAH con conoscenza nelle metriche del SW, modelli e testing, qualità del software e produttività, e sua relazione con gli “human factors”
4
CINI
Consorzio Inter-universitario
Nazionale per l’Informatica
36 Università pubbliche  1.307 su
1.508 professori di informatica e
ingegneria informatica in Italia
Laboratorio “C. Savy” ITEM Napoli
2010: 16 progetti EU, 43 progetti
nazionali, >60 persone che lavorano sui
progetti, >300 pubblicazioni
5
Agenda
Partner
Obiettivo
Fasi del progetto
Dissemination
6
Iceberg Project: Obiettivo
L’obiettivo del progetto ICEBERG è quello di disegnare un set di modelli al fine di
prevedere l’impatto del costo legato alla scarsa qualità.
Proposta di azioni correttive da implementare ad ogni livello (strumenti, processi,
competenze professionali coinvolti nell’intero ciclo di sviluppo SW)
i.
ii.
Identificare le attività legate alla scarsa qualità
Definire come stimare i costi della non qualità
• Test di attività in relazione alla qualità stabilita
• Implementazione incompleta o sbagliata di attività/fasi di testing
• Raccolta iterativa di dati utili per la stima dei costi
iii. Analizzare i risultati e supportare il processo di decisione a livello
manageriale.
7
Agenda
Partner
Obiettivo
Fasi del progetto
Dissemination
8
Fasi del progetto
ICEBERG prevede diverse fasi (Work Packages), divise in macro-temi, fondamentali
per lo sviluppo del progetto.
WP1
WP2
WP3
WP4
WP5
• Project Management
• Stato dell’arte, definizione delle metriche e dei parametri legati alla qualita’ • Definizione di modelli e del workflow
• Implementazione dello strumento e models fine‐tuning
• Dissemination 9
Work Packages & Tasks
10
Approccio
ICEBERG Project
11
WP2: Stato dell’arte (1/4)
WP2
WP2: Stato dell’arte, definizione delle metriche e dei parametri legati alla qualità
 1st deliverable: Raccolta dei bisogni industriali e analisi dello stato dell’arte

Stato dell’arte relativo a metriche per l’analisi della qualità del software,
standard di qualità, a strategie e al miglioramento della qualità del software;
Definire soluzioni per:
Identificare attività critiche rispetto alla relazione costo/qualità;
Stimare la qualità e i costi ad esse associati;
Monitorare e controllare la qualità tramite la raccolta di dati, l’analisi e
l’implementazione di un supporto a livello manageriale

Il risultato consiste in un vocabolario comune ad ogni lettore, un framework ad
alto livello sulla misura di costo/qualità e altre analisi utili a definire le metriche e
disegnare un modello di supporto alle decisioni.
12
WP2: State of the art (2/4)
WP2
Quali sono i fattori che impattano la (non) qualità?
Ci si riferisce in letteratura all’ Iron Triangle.
COSTO
SCOPE
SCHEDULE/TIME
DEFECTS/QUALITY
Qualità  rispetto dei vincoli Costo e Tempo!
Es. Una decisione di qualità può essere l’implementazione del codice di analisi statica, il suo
impatto sulla pianificazione del progetto potrebbe causare ritardi nel completamento dei task
ma il numero di defect potrebbe essere ridotto ad un certo livello che porta alla riduzione dei
costi. Il project manager deve sapere se è conveniente e in linea con gli obiettivi del
progetto.
13
WP2: State of the art (3/4)
WP2
Qual è la relazione tra i fattori che impattano la qualità e il costo?
Come possono essere misurati, controllati e migliorati?
COSTO & QUALITA’
Relazione diretta
Relazione indiretta
(es. misurando l’effort e il tempo per sviluppare il prodotto con una certa qualita’)
(es. In termini di insoddisfazione del cliente, costi di gestione dovuti a defect residui, ecc.)
I tre fattori di costo, tempo e qualità sono oggetto di una indagine condotta tramite
una interview-survey somministrata in diverse fasi.
14
WP2: State of the art (4/4)
WP2
WP2: Stato dell’arte, definizione delle metriche e dei parametri legati alla qualità
 2nd deliverable: Validazione degli scenari e parametri legati alla qualità

i parametri e le metriche coinvolti nell’implementazione del modello si
baseranno su attributi (es., il numero di defect trovati, affidabilità, robustezza)
definiti in studi precedenti derivanti dall’incrocio tra teoria e pratica.
gli approcci proposti saranno testati su casi reali: i partner industriali
provvederanno a definire un set di scenari per la validazione del processo . I
casi di studio si baseranno su:
rilevanza del tema;
adattabilità (presenza e disponibilità di dati e competenze);
scalabilità (i casi presi in considerazione dovranno essere in linea con le risorse e i
tempi del progetto);
estendibilità (l’approccio testato dovrebbe essere esteso anche ad altri settori oltre a
Telco e Finance).
15
WP3: Model based process definition
WP3
WP3: Definizione del modello
Questa fase del progetto prevede la definizione di uno schema per il
supporto alle decisioni basato sul costo, qualità e tempo. Un esempio di
framework è rappresentato dalla figura riportata sotto.
16
WP3: Model based process definition
WP3
Supporto alle “Quality decisions”
In generale, i modelli necessitano di misure per essere
parametrizzati
I modelli supportano l’analisi, la stima, e la predizione di fattori
di qualità/costo
Measurement
Process Quality
Metrics/Indicators
(e.g., tracked
bugs/issues)
Modeling/Analysis
Quality/Cost/Time
Estimation & Prediction
Improve
Data‐supported
Decisions
Improvement
Actions
17
WP3: Model based process definition
WP3
Alcuni esempi di “decisioni” su cui stiamo lavorando
Valutazione di fasi del processo (implementation, testing,
debugging/fixing)
Valutazione di Suppliers in processi di sviluppo basati su outsourcing
Allocation dellEffort per il testing di modules/components per
minimizzare il costo o massimizzare la qualità
Decisioni sul Best Release Time basate su un valore di qualità
desiderato/stimato
Valutazione della qualità di prodotto
Valutazione del processo di debugging e allocazione delle risorse di
debug/testing per un’ottimizzazione globale
Build or Buy Decision per scelte relative all’acquisto o sviluppo di
componenti software (trade-off costo-qualità-tempo)
…
ICEBERG Project
18
WP3: Model based process definition
WP3
Alcuni esempi
The WORST
Who was the best supplier?
SUPPLIER
Bug Fixing
Times (days)
Implementation
Quality (0-100)
SUPPLIER Work
quality (0-100)
C1
75.09
0
0
C2
15.28
5.65
5.65
C3
24.77
9.54
8.03
C4
41.77
48.82
27.20
C5
17.68
100
95.99
C6
23.29
21.14
18.31
The BEST
19
WP3: Model based process definition
How two suppliers/components
differ in the debugging process?
GOOD
ICEBERG Project
WP3
BAD!!
20
WP3: Model based process definition
WP3
How two
suppliers/components
differ in the debugging
process?
BAD!!
GOOD
ICEBERG Project
21
WP3: Model based process definition
WP3
Extract the expected pattern
From the Bug History:
QUEUEING
FIXING
TESTING the FIX
Which DEBUGGER is deviating
from the pattern? Why?
ICEBERG Project
22
WP3: Model based process definition
WP3
When should I release my product?
Estimated
Fault Number
Saturation
Actual Fault
Number Trend
Possible
Release Week
Estimated
Fault Number
Trend
ICEBERG Project
23
Agenda
Partner
Obiettivo
Fasi del progetto
Dissemination
24
WP5: Dissemination 1/2
WP5
WP5: Dissemination

In questa fase tutti i partner sono coinvolti nella dissemination e in altre attività di
sensibilizzazione, mirate a diffondere i risultati e raggiungere l’innovazione.
Regolarmente vengono realizzati alcuni report contenenti le attività di
dissemination.
Un sito web (http://www.iceberg-sqa.eu/) con tutte le informazioni sul progetto,
documenti, workshop, training.
Un blog (http://icebergsqa.wordpress.com/) che fornisce informazioni sul progetto,
I suoi obiettivi, la terminologia e I principali attributi relativi alla qualita’ del
software. Il blog permette di condividere i contenuti con post pubblicati su gruppi
target e comunità internazionali come "QA & Testing Group" e "Software Testing
Group".
25
WP5: Dissemination 2/2
WP5
… alcune pubblicazioni
International Journal on Software Tools for Technology Transfer
Carrozza, Gabriella and Pietrantuono, Roberto and Russo, Stefano (2014).
Dynamic test planning: a study in an industrial context
35th International Conference on Software Engineering (ICSE)
Cotroneo, D., Pietrantuono, R. & Russo, S (2013). A Learning-Based Method for Combining Testing
Techniques.
5th International Workshop on Software Aging and Rejuvenation (WoSAR) 24th International Symposium on Software Reliability Engineering Workshop (ISSREW)
D. Cotroneo, F. Frattini, R. Natella, R. Pietrantuono (2013). Performance Degradation Analysis of a
Supercomputer Proc.
Information and Software Technologies
Rodriguez, D., Ruiz, R., Riquelme, J.C., Harrison, R. (2013). A study of subgroup discovery approaches for
defect prediction.
Covenant Journal of Informatics and Communication Technology (CJICT)
Fernandez-Sanz, L., Diez, T., Pages, C., Martinez, J.J. (2013). Managing Factors Which Influence
Software Quality Results
26
Assioma.net
Assioma.net è in grado di supportare l’IT in una efficace governance della qualità applicativa, mettendo a disposizione dei propri clienti competenze specialistiche consolidate da un’esperienza quasi trentennale e organizzate in una struttura agile e flessibile che conta oltre 200 collaboratori, ha acquisito partecipazioni in aziende leader di mercato e collabora con importanti comunità accademiche nazionali ed internazionali.
Risolvere
Assioma.net offre un’ampia
panoramica di soluzioni e servizi
che consentono da una parte di
controllare che la qualità delle
applicazioni percepita dall’utente
finale sia in linea con le sue
aspettative e con gli obiettivi
dell’azienda, dall’altra di gestire con
efficacia e tempestività servizi di
help desk e di gestione dei problemi.
Composizione del fatturato
Analizzare
Assioma.net mette a disposizione
strumenti e metodologie di
management e di reporting, nonché
attività di assessment e di
misurazione dei risultati, al fine
di supportare un approccio più
strategico e sistematico alla
gestione della qualità, a garanzia
di un ROI più elevato e di una
maggiore capacità predittiva.
Titolo ppt
Prevenire
Assioma.net offre un’ampia gamma
di test strutturali e di performance,
oltre a servizi di gestione e
ottimizzazione delle risorse e dei
processi in ambito Software Quality,
finalizzati a coniugare l’aumento dei
livelli qualitativi con la diminuzione
dei costi, in un’ottica di
continuous improvement.
27
• partner@iceberg‐sqa.eu
Grazie dell’attenzione
• www.linkedin.com
Software Quality Assurance ICEBERG Project
•
•
•
•
•
•
www.iceberg‐sqa.eu
http://icebergsqa.wordpress.com/
www.assioma.net
www.deiser.com
www.uah.es
www.consorzio‐cini.it
CONTATTACI
Torino
Milano
Seoul
www.assioma.net
[email protected]
Via G. Spano, 6/11
10134 Torino
Tel. +39 011.19709.510
Fax. +39 011.19709.541
Via Rimembranze, 6
20090 Cesano Boscone (MI)
Tel. +39 02.45055.810
Fax. +39 02.45055.841
#502 Ivy League Bldg. 292-249 Imundong,
Dongdaemun-gu, Seoul 130-081, Korea
Tel. +82 02.9590.151
Fax. +82 02.9590.153