Metodi quantitativi per la valutazione dei rischi

Transcript

Metodi quantitativi per la valutazione dei rischi
Sessione di Studio ISACA-AIEA 27/09/2012 - Torino
Giancarlo Butti, (LA BS7799), (LA ISO 27001), ISM, CRISC
Fabio Maccaferri, (LA BS25999), Docente a contratto UCSC, AD Pragmatica
Consulting.
Giancarlo Butti – Fabio Maccaferri - SdS ISACA - AIEA -27/09/2012
Copyright G.Butti – F. Maccaferri
Giancarlo Butti
Mi occupo di ICT, organizzazione e normativa dai primi anni 80
Master di II livello in Gestione aziendale e Sviluppo Organizzativo presso il
MIP – Politecnico di Milano – Corsi in Alta Formazione in Information
Security Management e Intranet e Sviluppo dell’ Organizzazione in Rete.
Security manager ed auditor presso banche MEDIO GRANDI
Consulente di aziende MEDIO PICCOLE
Divulgatore:
Formatore:
16 libri/white paper, 3 nuovi libri in preparazione
oltre 600 articoli, rubrica mensile di IT audit su Toolnews
corsi e seminari in ambito privacy,sicurezza, continuità
operativa, document management
corsi di audit presso ABI Formazione
Membro dell’Osservatorio sulla Business Continuity di ABI LAB
Socio AIEA:
Nuovo Comitato Convegni 2012
GDR EU Privacy
Socio CLUSIT
Fabio Maccaferri
Sono laureato in Matematica Applicata e mi occupo di Risk Management,
Controllo di Processo, Organizzazione e ICT dalla fine degli anni 80.
Docente a contratto in Sistemi Informativi presso l’Università Cattolica di Milano
Fondatore e AD di Pragmatica Consulting, Società di Consulenza e Formazione
Project Manager per la progettazione e implementazione di sistemi di
automazione industriale per grandi aziende in Italia e all’estero
Consulente di Banche, Assicurazioni e Aziende su tematiche inerenti la
misurazione e controllo del rischio, controllo statistico di processo e disegno
organizzativo
Formatore:
corsi e seminari in ambito Risk Management, Controllo
statistico delle operations, continuità operativa, document management
corsi di alta formazione presso Università Cattolica
Certificato ITIL e Lead Auditor BS25999
Argomenti
• I metodi per la valutazione dei rischi
• La valutazione dei rischi
• La definizione di un campione significativo
• L’audit proattivo
Puntate precedenti
Comunicare al management – L’aspetto educativo
Comunicare al management – L’aspetto educativo
Comunicare al management – L’aspetto quali-quantitativo
Metodi e strumenti per l’analisi dei rischi
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Austrian IT Security
Handbook
Cramm
Dutch A&K analysis
Ebios
ISF methods
ISO/IEC IS 13335-2
(ISO/IEC IS 27005)
ISO/IEC IS 17799
ISO/IEC IS 27001
ISO 31010
IT-Grundschutz
Marion (replaced by Mehari)
Mehari
Octave
SP800-30 (NIST)
Metodi e strumenti per l’analisi dei rischi
AS/NZS 4360:2004 RISK MANAGEMENT
BSA – Baseline Security Assessment
Ce.TRA - Continuous e.Business Threat and Risk
Analysis
CRAMM
Defender Manager
EBIOS
ERAM - Enterprise Risk Assessment and Management
FIRM (Fundamental Information Risk Management)
ISA – Information Security Assessment
ISO/IEC 21827 - System Security Engineering,
Capability
Maturity Model
NET.RISK
NORA - Network Oriented Risk Analysis methodology
OCTAVE® - Operationally Critical Threat, Asset, and
Vulnerability EvaluationSM
OSSTMM – Open Source Security Testing Methodology
Manual
PRA – Psychological Risk Assessment
RAF - Risk Analyis Facility
RISKWATCH (versione per l’Italia)
SARA - Simple to Apply Risk Analysis
SPRINT – Simplified Process for Risk Identification
SSM - Scalable Security Model
Approccio all’analisi dei rischi (ISCOM)
La Linea Guida ISCOM – RISK ANALYSIS APPROFONDIMENTI classifica
diversi metodi e strumenti di analisi dei rischi, che possono essere
distinti, in base al metodo di valutazione dei rischi utilizzato, nelle
seguenti tre categorie:
• qualitativo;
• quantitativo;
• semi-quantitativo.
L’approccio QUALITATIVO prevede una valutazione del rischio su una
scala qualitativa (ad esempio alto, medio, basso).
L’approccio QUANTITATIVO, invece, riconduce le valutazioni ad un
valore numerico puntuale, spesso inteso come la perdita economica
derivante dal verificarsi del rischio. Si tratta di un approccio più difficile
ed oneroso del primo perché costringe ad un censimento ed una
valorizzazione degli asset e ad una valorizzazione delle perdite che si
avrebbero in caso di incidente.
L’approccio SEMI QUANTITATIVO è un compromesso fra i primi due,
nel quale le valutazioni sono effettuate in termini qualitativi e,
successivamente, trasformate in numeri per poterle elaborare
attraverso algoritmi di calcolo, come se si trattasse di valutazioni
quantitative.
La Linea Guida ISCOM – RISK ANALYSIS APPROFONDIMENTI descrive
i seguenti elementi come caratteristici delle varie metodologie di
analisi dei rischi, qui sintetizzati:
Rischio
Il rischio è l’eventualità che una minaccia possa trasformarsi
realmente in danno, comportando così un determinato impatto.
Il “rischio potenziale” o “intrinseco” è il livello di rischio a prescindere
dalle contromisure, mentre quello “effettivo” o “residuo” tiene conto di
quelle implementate.
Minaccia
La minaccia viene definita come un evento di natura dolosa o
accidentale che, sfruttando una vulnerabilità del sistema, potrebbe
provocare un danno.
Vulnerabilità
Rappresenta una debolezza intrinseca o dovuta a condizioni di
esercizio o assenza di controlli, che può essere sfruttata da una
minaccia per arrecare danno.
Danno
Il danno è la conseguenza (spesso identificata da una perdita di
riservatezza, integrità e/o disponibilità dell’informazione) del
verificarsi di un rischio o dell’attuarsi di una minaccia.
A volte viene distinto il danno in “tangibile” (danno monetario) e
“intangibile” (danno immateriale).
Impatto (sinonimo spesso di danno)
Le possibili definizioni sono:
misura o entità del danno
effetto sull’azienda del verificarsi di una minaccia (effetto reale del
danno sul sistema).
MINACCE
PROTEGGANO DA
CONTROMISURE
SFRUTTANO
AUMENTANO
RIDUCONO
SODDISFATTI DA
INDICANO
REQUISITI DI
PROTEZIONE
VULNERABILITA’
AUMENTANO
ESPONGONO
RISCHI
ASSET
AUMENTANO
HANNO
VALORE
L’Analisi dei rischi
LE FASI DELL’ANALISI DEI RISCHI
Identificazione beni
relazione fra beni
Identificazione minacce
e vulnerabilità
Valutazione impatti
Valutazione probabilità
di accadimento
Valutazione rischio
L’identificazione dei beni
BENI
MATERIALI
BENI IMMATERIALI
PERSONALE
La relazione fra i beni
ESPLICITE
Documenti
Sistemi informativi (dati)
Sistemi informativi
(software, configurazioni)
Processi
Oggetti (prototipi, campioni… )
Taratura impianti e macchine
IMPLICITE
Personale (competenze, conoscenze)
Processi
La relazione fra i beni
EDIFICIO
LOCALE
ATTREZZATURE
Identificazione di minacce e vulnerabilità
MINACCE COMPORTAMENTALI
Azioni errate
Azioni di terrorismo
Furti/Frodi
Vandalismi
Social engineering
Disobbedienza, sabotaggio
Accesso/Uso illecito di risorse
Uso non conforme di risorse lecite
Scioperi del personale
Scioperi di terzi (fornitori, servizi…)
Scioperi connessi ai trasporti (benzinai, ferrovie...)
Identificazione di minacce e vulnerabilità
CARENZE ORGANIZZATIVE
Mancata regolamentazione a vari livelli
Mancata definizione dei ruoli
Mancanza di procedure, policy…
Mancata identificazione del valore delle risorse
Mancata identificazione dei rischi
Mancata identificazione ed implementazione di
adeguate contromisure
Mancata definizione dei controlli e del processo di
gestione degli stessi
Mancata definizione della responsabilità dei controlli
CARENZE NELLE RISORSE UMANE
ERRORI INVOLONTARI
Processi aziendali
Nell’ambito dei sistemi informativi
Nell’ambito degli edifici e delle infrastrutture
Nell’ambito degli impianti produttivi
Valutazione qualitativa dell’impatto
0
irrilevante ai fini pratici
1-3 danni minimi
4-6 danni importanti
7-9 danni gravi
10 danni gravissimi
SOFTWARE PACKAGE ACQUISITION
Tratto da IS Risk Assessment Measurement Procedure P1 - ISACA
Tratto da IS Risk Assessment Measurement Procedure P1 - ISACA
Valutazione quantitativa dell’impatto
Descrizione del bene
Disco fisso
Evento
Distruzione
Costo diretto
Costo del disco
Costi indiretti
Costo dell’intervento
tecnico di sostituzione
Costo di ripristino dei
dati, applicazioni,
configurazioni
Costi consequenziali
Mancato guadagno
temporaneo per
cessazione del servizio
Rimborso a clienti
Spese legali
Spese per il ripristino
dell’immagine aziendale
Mancato guadagno per
perdita di clienti
Valutazione qualitativa della probabilità
0
1
2
3
4
Mai accaduta ed impossibile
Mai accaduta, ma possibile
Meno di una volta all’anno
Più di una volta all’anno
Più di una volta al mese
5
Più di una volta al giorno
Valutazione della probabilità
Minacce accidentali
Livello di vulnerabilità
rispetto ad una specifica
minaccia
Probabilità intrinseca
dell’evento
Minacce di tipo
deliberato
minaccia
Interesse di chi attua la
minaccia
Appetibilità del bene
Minacce di tipo
involontario
minaccia
Metodi qualitativi/semiquantitativi
• I metodi qualitativi sono sufficientemente semplici,
intuitivi, veloci, poco costosi e non richiedono la
disponibilità di dati precisi.
• Per contro la valorizzazione data ai vari parametri è molto
soggettiva e legata alla esperienza di chi effettua la
valutazione ed alla conoscenza dei sistemi ed ambiente da
analizzare.
• La possibilità di utilizzare algoritmi anche sofisticati nei
metodi semi quantitativi non può ovviamente aumentare
il livello di qualità nella valutazione del rischio se la stima
dei singoli parametri è errata; anzi, più il metodo è
complesso e maggiore è il rischio che venga recepito come
corretto, dimenticando la soggettività del dato iniziale.
• I limiti evidenziati si hanno anche negli audit report in
particolare se la valutazione di un determinato processo o
sistema viene effettuata dando un peso qualitativo ai rischi
associati ad una serie di rilievi.
• In questo caso entra in gioco una notevole componente
discrezionale da parte dell’auditor, non solo sui singoli
rilievi, ma anche sulla valutazione complessiva se questa
deriva dall’insieme dei rilievi.
Metodi quantitativi
• I metodi quantitativi considerano un valore numerico,
riconducibile molto spesso a un valore monetario che
identifica la perdita conseguente al verificarsi di un evento
dannoso.
• Sono quindi molto difficili e possono differenziare di molto i
risultati ottenuti a seconda che la perdita che viene
considerata nel calcolo prenda in considerazione ad
esempio il solo valore dell’asset coinvolto o anche le
conseguenze sul business della perdita o indisponibilità
dello stesso.
• Pur essendo metodi complessi è evidente che una corretta
valutazione dell’opportunità o meno di adottare una certa
contromisura può derivare solo dall’uso di tali metodologie.
• L’applicazione di un metodo quantitativo presuppone
l’esistenza di una serie di dati di partenza.
Problemi comuni ai metodi di analisi
• Il costo dell’analisi deve essere congruente con i beni da
proteggere.
• Il livello di granularità dell’analisi è una scelta di chi effettua
la valutazione.
• Se la valutazione del rischio viene effettuata secondo una
logica minaccia/asset senza tenere in giusta considerazione
la relazione fra gli asset potrebbe esserci una non corretta
valutazione del rischio e del rapporto costo beneficio di una
particolare contromisura.
• Una contromisura che potrebbe apparire non conveniente
se rapportata ad una singola minaccia/asset potrebbe
risultare conveniente se ripartita su più asset fra loro
correlati, ovvero se tutela anche rispetto ad altre minacce.
• Ad esempio un impianto antincendio che tuteli un edificio,
automaticamente tutela anche i beni in esso contenuti.
Considerare queste relazioni, anche se molto difficile, è
particolarmente importante.
L’analisi dei rischi nella evoluzione della normativa
Art. 32-bis Adempimenti conseguenti ad una violazione di dati personali (1)
1. In caso di violazione di dati personali, il fornitore di servizi di comunicazione
elettronica accessibili al pubblico comunica senza indebiti ritardi detta violazione al
Garante.
2. Quando la violazione di dati personali rischia di arrecare pregiudizio ai dati personali o
alla riservatezza del contraente o di altra persona, il fornitore comunica anche agli stessi
senza ritardo l'avvenuta violazione.
.
(1) Articolo inserito dall'art. 1, comma 3, del decreto legislativo 28 maggio 2012, n. 69
Linee guida in materia di attuazione della disciplina sulla comunicazione delle
violazioni di dati personali - Consultazione pubblica - 26 luglio 2012
(Pubblicato sulla Gazzetta Ufficiale n. 183 del 7 agosto 2012)
6. Inventario delle violazioni di dati personali.
…
Per giungere a valori uniformi e comparabili, i fornitori dovrebbero affrontare la
valutazione del rischio anche con un approccio di tipo quantitativo,
individuando in ragione dei succitati attributi dei dati coinvolti nella violazione (qualità,
quantità, attualità, ecc.), specifiche metriche in grado di rappresentare gli effetti
pregiudizievoli che la stessa potrebbe provocare sull'interessato.
Oggi
L’ Art. 32-bis Adempimenti conseguenti ad una violazione di dati personali
si applica oggi solo ai fornitore di servizi di comunicazione elettronica accessibili
al pubblico
Domani
Il nuovo REGOLAMENTO DEL PARLAMENTO EUROPEO E DEL CONSIGLIO concernente la
tutela delle persone fisiche con riguardo al trattamento dei dati personali e la libera
circolazione di tali dati (regolamento generale sulla protezione dei dati)
Estende tale obbligo a tutti i responsabili (titolari) di trattamento.
Servizi di Pagamento
Emanazione del Provvedimento di "Attuazione del Titolo II
del Decreto legislativo n. 11 del 27 gennaio 2010” relativo ai
servizi di pagamento nel mercato interno (Recepimento Direttiva
2007/64/CE)
Decorrenza
1/10/2011
Il provvedimento reca indicazioni in particolare sulla definizione delle spese applicabili alla
clientela, sulle modalità per la corretta esecuzione degli ordini di pagamento e sulle
responsabilità dei soggetti coinvolti.
E’ rivolta una specifica attenzione alla tematica della sicurezza dei pagamenti elettronici,
dato il ruolo fondamentale che essa riveste per facilitare il ricorso a servizi alternativi al
contante e agli strumenti cartacei.
I prestatori di servizi di pagamento devono essere in grado di identificare
identificare,, valutare, misurare,
monitorare e mitigare le minacce di natura tecnologica.
E’ necessario individuare un insieme di misure di sicurezza e di controlli appropriati, in grado di
assicurare gli obiettivi di confidenzialità
confidenzialità, integrità
integrità, disponibilità
disponibilità dei sistemi informativi e dei dati
ad essi associati;
Deve essere prevista l’
à dei
l’esecuzione di fasi di verifica teorica e pratica della vulnerabilit
vulnerabilità
presidi di sicurezza con relativa revisione periodica del processo stesso.
stesso.
Devono essere definiti un adeguato insieme di presidi di sicurezza
sicurezza logica e fisica per i sistemi
informativi e un efficace processo di controllo interno
Vigilanza in materia di organizzazione delle Banche
In data 11 gennaio 2010, Bankitalia ha emanato una circolare sulla tematica
“Applicazione delle disposizioni di vigilanza in materia di Organizzazione e
governo societario delle banche”, richiamando i principi e le linee guida indicate
dall’EBA in data 27 settembre 2011
Tra i criteri indicati nelle Linee Guida emanate dall’EBA sul governo interno delle banche,
particolare enfasi viene posta sui rischi aziendali e sui presidi organizzativi necessari per
assicurare che essi siano efficacemente individuati e gestiti, sia all’interno del board, sia
dalle funzioni di controllo interno (risk management e chief risk officer).
La disciplina vigente già contiene numerose disposizioni su questo aspetto. Le Banche
vengono richiamate a una loro scrupolosa applicazione, e - in particolare - a porre attenzione:
a) sul contributo che – nelle banche di maggiori dimensioni e complessità operativa – il
comitato per il controllo interno o il comitato rischi è chiamato ad apportare nella fissazione dei
livelli di rischio che si intendono assumere e delle strategie per la loro gestione;
b) sul corretto ed efficiente funzionamento della funzione di gestione del rischio (risk
management) – che ha, tra l’altro, il compito assicurare che ogni rischio di rilievo per la banca
sia correttamente individuato ed efficacemente gestito, secondo una logica integrata – nonché
sul soggetto responsabile di tale funzione (chief risk officer) cui compete, tra l’altro, assicurare
che siano fornite agli organi di vertice informazioni complete, comprensibili e integrate che
permettano un’effettiva conoscenza del profilo di rischio della banca.
IMPATTI ORGANIZZATIVI E TECNICI
Dettato normativo
Impatti
“…assicurano che le soluzioni tecniche
adottate per l’esercizio dell’attività siano
presidiate da adeguati processi di gestione dei
rischi associati alle tecnologie utilizzate …»
I processi di presidio e gestione dei rischi
legati alle soluzioni tecniche in essere
(aspetto organizzativo) devono essere
effettivamente «adeguati»
«…adeguato e robusto processo di gestione dei
rischi che permetta di identificare, valutare,
misurare, monitorare e mitigare le minacce di
natura tecnologica… tale processo deve
individuare un insieme di misure di sicurezza e
di controlli appropriati»
Il processo di gestione del rischio deve
realmente
consentire
di
individuare,
valutare, misurare, monitorare e mitigare i
rischi tecnologici
“I Vertici Aziendali rafforzano i meccanismi di
gestione e mitigazione del rischio…»
I vertici aziendali sono responsabilizzati
direttamente sui rischi di natura tecnologica
e devono verificare i meccanismi di gestione
in essere, definendo gli interventi di
rafforzamento
“I Vertici Aziendali assicurano che il processo
di gestione dei rischi di natura tecnologica
risulti parte integrante del processo più ampio
di gestione del rischio aziendale attraverso cui
sono presi in considerazione i rischi di varia
natura (liquidità, credito, legale, reputazionale)
Novità normativa (documento al momento in consultazione) del 7 Settembre 2012
nel quale vengono introdotti nuovi paradigmi organizzativi, metodologici e tecnici di
gestione del rischio.
Fra i punti di maggior interesse rientra l’evoluzione del controllo
del rischio IT:
… rispetto al vigente
quadro normativo, o
principali elementi di
novità riguardano:
(1)
(2)
Fonti dati per i metodi quantitativi
Fonti riconducibili direttamente ai sistemi informativi,
tra le quali:
•Segnalazioni di malfunzionamenti da parte di utenti sia interni
che esterni
•Richieste di intervento da parte degli utenti per risolvere
situazioni anomale (errori nelle applicazioni e nei sistemi,
degrado delle prestazioni, perdite o alterazioni di dati, rotture…)
•Log
•Righe di codice modificate
•Database incidenti
•Rapporti di intervento
Fonti connesse in modo indiretto ai problemi
generati dai sistemi informativi, quali:
•Reclami dei clienti (per ritardi nelle consegne, errate evasioni
di ordini…)
•Reclami dei fornitori (ad esempio, ritardi nei pagamenti)
reclami
incidenti
IT
Op Risk
DB
ticket
(help
desk) e
SLA
Mappature
(BIA-BCM,
processi,
compliance)
Audit
report
partitari
contabili
LOG file
…
fonti primarie
fonti secondarie
fonti ausiliarie
Sono le fonti principali dove attingere i
dati:
•reclami: contengono i dati relativi a
rimborsi e risarcimenti per opposizione
della clientela. Contengono molti eventi
che derivano da cause IT e per strani
motivi non si trovano o non sono collegati
ad eventi di perdita di OP Risk DB (ET6)
•incidenti IT. Ma dovrebbero avere anche
i costi, e spesso non ci sono…
•OP Risk DB: ha l’ET6, ma non ci si
registra… E’ spesso incompleto nelle
informazioni
Sono le fonti dalle quali trarre dati di
supporto alle attività di IT Risk Mgnt.
•ticket: consentono di individuare i risk
drivers e i difetti che possono preludere
ad un incidente. Supporto all’analisi delle
cause.
•SLA: spesso nascondono le cause di un
reclamo e supporta l’individuazione dei
risk drivers e factors. Base per il controllo
di produzione. Collegamenti con gli
incidenti (alcuni incidenti hanno impatto
con gli SLA)
•Mappature: buon punto di partenza per
analisi… e spesso sono già fatte.
•Audit report: supporta risk drivers e
factors.
Sono le fonti dalle quali trarre
informazioni di compendio per confronto,
integrazione, conferma.
Se e quando necessario.
approva (n:m)
IT Continuity Plan
MISURE REATTIVE
è associata (n:1)
PROBABILITA’ DI
ACCADIMENTO
integrano (n:1)
si applicano (n:m)
MISURE PREVENTIVE
(MITIGAZIONE)
è associata (n:1)
suggeriscono (n:m)
è associato
(n:m)
è composto da (n:m)
è mitigato da (n:m)
è coinvolto in (1:n)
IT RISK SELF
ASSESSMENT
ha associato (1:1)
INCIDENTE
può causare (1:0,m)
ha associato (1:0n)
PROFILO DI RISCHIO
ASSET
EVENTI BASE
impatta (n:m)
ha associato (n:1)
definiscono (1:0n)
DB Ticket
è legata a
(n:m)
approva (n:m)
RESPONSABILE
ASSET
TICKET
può generare
(n:m)
PERDITA OPERATIVA
è associata (n:m)
valida (n:m)
CATEGORIA DI
INCIDENTE
PROCESSO
ICT
è legato a (1:0,m) GOVERNAN
CE
BUSINESS
OP Risk DB
Reclami
I metodi quantitativi nelle attività di audit
Qualche frase «fatta» per trasmettere alcuni principi fondamentali
1
E’ molto meglio assumersi rischi che si è in grado di misurare che
misurare i rischi che ci si assume.
2
Possiamo avere (quasi) tutte le informazioni dal passato. Una buona
quantità di informazioni dal presente. Nessuna invece dal futuro, quella la
creiamo noi: non pretendiamo che sia sicura, è impossibile.
3
L’assenza di prova non può MAI diventare prova di assenza.
4
L’intelligenza, l’intuito, la sensibilità e la ragionevolezza non devono mai
essere sostituite dai calcoli (banalmente, perché non possono). Il calcoli
possono però semplificare loro un po’ la vita.
L’audit non è né può essere perfetto: anche gli auditor hanno il diritto di
sbagliare o di essere fuorviati
Esistono tecniche per valutare il rischio di audit e dare evidenza
dell’attendibilità, in modo oggettivo e incontestabile
Quando si fa un audit di processo, servono:
•mappatura del processo, ad un accettabile livello di dettaglio (né troppo alto,
né troppo dettagliato)
•pianificazione iniziale dei punti da verificare, di norma scelti tra le «cose che
vanno male» ma anche e soprattutto fra le «cose che vanno troppo bene»
•scelta delle evidenze da campionare per i riscontri (cosa campionare)
•scelta di dove e come campionare
•pianificazione degli interventi
•pianificazione (ex post) delle interviste
•stima dell’errore accettabile e del rischio audit
Provvedimento
rischio di auditdel Garante
cogente
contesto
normativo
Audit di prima parte
reporting
obiettivo
specifico
sistema
contesto
organizzativo
Audit di seconda parte
audit
processi
ambito
contesto
operativo
evidenze
Audit di terza parte
modalità
perimetro
Audit strategico
Audit operativo
Audit di conformità (compliance)
Focus
Audit contabile/finanziario
Audit tecnologico
Audit di progetto
rischio
audit
=
rischio di evidenze viziate
da errori significativi
rischio inerente
rischio inerente
rischio di
controllo
rischio di
rilevazione
x
rischio di
controllo
x
rischio che gli auditor non
le rilevino
x
rischio di
rilevazione
rischio che un’evidenza viziata da errori significativi intervenga nella
formulazione di un’asserzione in ipotesi di assenza di controllo interno
rischio che un errore significativo non sia intercettato dal sistema di
controlli interni
rischio che le procedure di audit portino ad affermare che un’evidenza
viziata da errori significativi sia corretta quando in realtà non la è
fattori che influenzano il rischio inerente
Contesto aziendale complessivo (supporto del management, autorevolezza
degli auditor, cultura e atteggiamento nei confronti dell’audit, …)
Caratteristiche
del
perimetro
dell’audit
(complessità,
documentabilità, disponibilità di documentazione, …)
ampiezza,
Caratteristiche del «momento» in cui viene effettuato l’audit (ambiente esterno,
situazione economico/finanziaria, clima aziendale, …)
peggiori sono le condizioni, maggiore è il rischio inerente
•difficoltà ad accedere alla documentazione
•complessità nell’interpretazione delle evidenze
•limitata disponibilità alle interviste
•lacune nelle spiegazioni
•… … …
fattori che influenzano il rischio di controllo
Contesto del sistema organizzativo (partecipazione del management,
chiarezza dei ruoli, responsabilizzazione e delega, fiducia nell’audit,
investimenti nel sistema dei controlli, …)
Caratteristiche del sistema operativo (complessità dei
parcellizzazione – anche geografica, livello di automazione, …)
processi,
«Posizionamento» dei controlli nella scala delle priorità
maggiore è la complessità, maggiore è il rischio di controllo
•permeabilità dei controlli a causa della parcellizzazione dei processi e dei ruoli
•carenza di responsabilizzazione diretta
•aggiornamento e miglioramento continuo del sistema dei controlli
•… … …
fattori che influenzano il rischio di rilevazione
Competenza dell’auditor (conoscenza della materia, conoscenza dell’azienda,
predisposizione personale, capacità organizzativa, «sesto senso», esperienza,
…)
Autorevolezza dell’auditor (capacità di relazione ad alto livello aziendale,
sintesi, «incondizionabilità», capacità espressiva, un po’ di «cattiveria», sapersi
imporre quando è il caso, capacità di discernimento – ad esempio selezionare
gli aspetti rilevanti rispetto a quelli di minore impatto, …)
maggiore è la competenza e autorevolezza, minore è il rischio di rilevazione
•va a fondo nelle questioni rilevanti senza farsi condizionare dal contesto e dal livello degli interlocutori
•rischia professionalmente: non scende a compromessi e non cede al buonismo
•«sente» quando qualcosa «non va»
•… … …
Provvedimento del Garante
Negli audit di conformità hanno come finalità il verificare ad
esempio il puntuale rispetto di una normativa.
Se il mancato rispetto della norma comporta anche risvolti
penali e reputazionali non possono esserci teoricamente
situazioni di ambiguità.
I metodi quantitativi si prestano bene, oltre ad esprimere
grandezze numeriche, anche a produrre report andamentali
che tutelano verso le autorità di vigilanza e di sorveglianza, in
quanto possono dimostrare il monitoraggio e funzionamento
dei controlli.
Come si calcolano?
rischio inerente
rischio di
controllo
Tramite self assessment (autovalutazione) sulla base di esperienze precedenti
o di percezioni degli auditor esperti
Utilizzando valutazioni statistiche da parte di enti e soggetti terzi (es. Formez)
Predisponendo valutazioni statistiche interne, con le quali monitorare l’attività
di audit nel tempo ex ante ed ex post e stimando la media dei valori, con
possibilità di «adjusting» in dipendenza dalla stima di impatto dei fattori
influenzanti.
Tecnicamente non è complicato, organizzativamente è complesso e adatto a
strutture di rilevanti dimensioni che consentano di predisporre la base dati con
le serie storiche di audit.
Come si calcolano?
rischio
rilevazione
Normalmente viene «fissato» sulla base di quanto si vuole essere confidenti
sui risultati dell’audit. Ad esempio, 10% significa che si vuole un livello di
affidabilità dell’audit del 90%.
Il prodotto del rischio inerente e del rischio di controllo viene chiamato anche
«MMR» (Material Misstatement Risk, ovvero rischio insito nel sistema di controllo
stesso) nella terminologia degli standard internazionali.
FOCUS
rischio
rilevazione
il rischio di rilevazione è l’elemento più
pertinente per gli audit di conformità
Gli auditor lavorano inevitabilmente su campioni, raramente sull’intera popolazione
di evidenze: il rischio è di essere esposti a potenziali critiche.
con la statistica possono offrire rappresentazioni delle risultanze
con la probabilità possono determinare il livello di significatività e rischio
dell’audit specifico
con le tecniche di campionamento possono determinare il campione adeguato
per:
•quantificare e massimizzare la significatività
•quantificare e ridurre il rischio
con le tecniche di monitoraggio andamentale possono verificare e
rappresentare i miglioramenti (o peggioramenti…) rilevati tramite audit ripetuti
quando serve la statistica
quando
voglio
rappresentare
l’andamento di un fenomeno nel
passato o nel presente:
per informare
per capire se «lavoro bene»
quando voglio confrontare l’andamento
di un fenomeno nel passato rispetto al
presente:
per informare
per capire se sto migliorando o
peggiorando
Non
Non c’è
c’è rischio,
rischio, non
non c’è
c’è errore
errore di
di modello:
modello: èè ciò
ciò
che
che èè avvenuto
avvenuto ee che
che avviene,
avviene, èè assodato.
assodato.
Non
Non c’è
c’è errore,
errore, riporto
riporto solo
solo ii fatti
fatti che
che rilevo
rilevo sui
sui
dati
dati di
di cui
cui dispongo.
dispongo.
quando serve la probabilità
quando voglio capire il comportamento
di un fenomeno nel futuro:
per informare
per capire «quanto lavoro bene»
quando voglio capire il rischio che
corro nel formulare le affermazioni su
un numero limitato di riscontri o di
essermi sbagliato:
per informare
per decidere
C’è
C’è errore
errore (possibile),
(possibile), c’è
c’è rischio.
rischio. Meno
Meno
informazioni
informazioni ho,
ho, maggiore
maggiore èè la
la possibilità
possibilità di
di
errore.
errore. Valutiamolo
Valutiamolo ee dichiariamolo.
dichiariamolo.
MA:
MA: alal didi fuori
fuori di
di essi,
essi, non
non posso
posso fare
fare alcuna
alcuna
affermazione.
affermazione.
Le domande di fondo
Eseguiamo un audit, qualunque esso sia, e lo conduciamo «a regola d’arte».
Produciamo il report e tutte le relative evidenze riscontrate.
quanto ci possiamo esporre (con la Direzione, con gli analisti, con la
vigilanza…)?
quanto rappresenta effettivamente la situazione complessiva?
quanto possiamo esserci sbagliati?
Il punto non è se rileviamo non conformità:
•il punto rischioso è se non le rileviamo: non possiamo essere certi che non vi siano e non è
suggeribile essere esposti a «falsi ideologici». La semplice rappresentazione di un fatto (non
sono state rilevate non conformità) non autorizza nessuno a dire che non vi siano. Ma… può
essere utile in certi frangenti «una visione estesa» (l’audit è andato bene! quindi tutto ok)
•il punto «antipatico» è quando le rileviamo: a nessuno piace e può esserci la tendenza a
minimizzare («è stato un caso isolato», «è stata una coincidenza perché…», …). Meglio
giocare d’anticipo.
Il mondo reale, per costi, disponibilità di informazioni, certezza delle informazioni,
elementi imponderabili che intervengono nei processi, ecc. non sempre ci offre una
visione completa ed esaustiva dei fenomeni. L’auditor non può «andare a vedere
tutto»¹.
Statistica descrittiva
Statistica inferenziale
• dispone dei dati per l’intera “popolazione”
(con “popolazione” si intende un gruppo
omogeneo, finito e completo di eventi, fenomeni,
...)
• fornisce tecniche per elaborare i dati, raccoglierli,
analizzarli e desumere caratteristiche e trend.
• dispone di informazioni parziali sulla popolazione,
spesso neppure il numero di elementi che la
compongono. Si ha a disposizione, in altri
termini, di un campione.
• fornisce tecniche per individuare caratteristiche e
trend e prendere decisioni sulla base di poche e
incomplete informazioni, accettando un margine
di incertezza (rischio di sbagliare). E’ MOLTO
meglio che decidere su supposizioni che per
quanto possano essere giuste, non sono
suffragate da metodi scientifici.
¹ E anche se potesse, non può essere certo che sia tutto o che gli sia stato nascosto qualcosa.
tipologie di campionamento
non probabilistici
(non conosco la distribuzione)
probabilistici
(conosco la distribuzione)
campionament
o a scelta
ragionata
campionament
o di comodo o
di convenienza
campionament
o casuale
semplice
campionament
o sistematico
campionament
o stratificato
campionament
o a grappolo
esempi:
•sondaggio su
esperti
•selezione per
caratteristiche
particolari
•…
Va bene, ma i
risultati sono validi
solo per
popolazioni che
hanno TUTTE
quelle
caratteristiche…
esempi:
•rilevazioni via
internet
•test «guidati»
•…
Va bene, ma ciò
che rilevo è
specifico solo per
loro.
Tutti i campioni
hanno la stessa
probabilità di
inclusione. Es:
•estraggo a caso
100
intermediazioni
•scelgo a caso 20
persone per audit
•scelgo a caso 30
attività di un
processo da
verificare
•…
Divido in gruppi di
ugual numero la
popolazione da
campionare.
Scelgo a caso un
numero e
seleziono in base
a quello.
esempio:
Divido in gruppi di
20 800 persone,
determino a caso
«8» e scelgo 8, 28,
48, 68, …
Divido la
popolazione «a
strati» sulla base
di qualche
caratteristica
comune. Poi
scelgo a caso in
proporzione e
combino i risultati
ottenuti.
esempio:
•intermediazione
per segmento di
clientela
Divido la
popolazione in
gruppi sulla base
di determinati
criteri ed ogni
gruppo è
rappresentativo
per sé e per la
popolazione.
esempio:
•audit dello stesso
processo su 3
aree geografiche.
Intervalli di confidenza
L’audit lavora principalmente «a campione»:
•sulle evidenze
•sulle persone da intervistare
•sulle attività da verificare
Lavorando «a campione», le rilevazioni sono inevitabilmente su una parte della popolazione
interessata, quindi c’è altrettanto inevitabilmente un’incertezza che ciò che rilevo sul campione
sia effettivamente ciò che rileverei se analizzassi TUTTA la popolazione.
Il grado di incertezza dipende da quanto è grande il campione e dalla dispersione nel campione
dei risultati che ottengo. Si può però quantificare questa incertezza (o «rischio di errore») e il
«grado di certezza» (che è 1-gradi di incertezza) si dice livello di confidenza.
L’intervallo di confidenza è l’intervallo in cui si trovano i risultati del campione ad un
certo livello di fiducia. E’ la base per determinare il LIVELLO DI SIGNIFICATIVITA’
DELL’AUDIT
Dimensione del campione
La modalità può apparire un po’ ostica, ma in realtà sono solo conti.
mi posso permettere solo un certo
numero di elementi da analizzare
voglio un certo livello di affidabilità
meno usato
(più difficile)
ottengo quanto sarà l’affidabilità
che avrò
ottengo quanto grande deve essere
il campione
Attenzione: se il livello di confidenza è del 95%, non vuol dire che l’errore sarà +/- 5% (anche l’errore si
calcola, ma non così). Vuol dire che se prendessi 100 campioni, mediamente 95 avranno gli stessi risultati
riscontrati sul campione. E tutta la popolazione, indipendentemente da quanto grande, al 95% sarà «fatta»
come è «fatto» il campione.
In quel 5% di incertezza, può succedere DI TUTTO.
ESEMPIO
Misure minime 12, 13, 14, 27
Sistema di autorizzazione
12. Quando per gli incaricati sono individuati profili di autorizzazione di
ambito diverso è utilizzato un sistema di autorizzazione.
13. I profili di autorizzazione, per ciascun incaricato o per classi
omogenee di incaricati, sono individuati e configurati anteriormente
all'inizio del trattamento, in modo da limitare l'accesso ai soli dati
necessari per effettuare le operazioni di trattamento.
14. Periodicamente, e comunque almeno annualmente, è verificata la
sussistenza delle condizioni per la conservazione dei profili di
autorizzazione.
27. Agli incaricati sono impartite istruzioni scritte finalizzate al
controllo ed alla custodia, per l'intero ciclo necessario allo svolgimento
delle operazioni di trattamento, degli atti e dei documenti contenenti
dati personali. Nell'ambito dell'aggiornamento periodico con cadenza
almeno annuale dell‘individuazione dell'ambito del trattamento
consentito ai singoli incaricati, la lista degli incaricati può essere
redatta anche per classi omogenee di incarico e dei relativi profili di
autorizzazione.
Processo di gestione delle autorizzazioni
• Definizione di ruoli, profili, funzioni
• Revisione periodica delle autorizzazioni
– Corrispondenza ruolo/profilo/funzioni
– Corrispondenza fra incaricato e ruolo
• Verifica periodica delle implementazioni
– Corrispondenza fra teoria e implementazione reale sulle
applicazioni
Numero profili non correttamente definiti
Numero profili non correttamente attribuiti
Numero di applicazioni non profilabili correttamente
Numero abilitazioni non utilizzate (ad un utente rispetto a quelle a
disposizione
• La valutazione dei rischi viene effettuata come attività ex
ante (normalmente considerando il rischio potenziale –
senza contromisure) o ex post (normalmente
considerando il rischio residuo)
• L’audit interviene ex post ed ogni rilievo viene valutato in
funzione del rischio che comporta
• Spesso queste valutazioni sono solo di carattere
qualitativo,
basate
sulle
competenze/esperienza
dell’auditor
Proviamo invece ad applicare un metodo quantitativo…
Applicazione al contesto delle misure
minime 12, 13, 14, 27: correttezza del
processo di gestione delle revoche per
il personale IT
Tecnica: campionamento casuale semplice
Obiettivo: correttezza del processo di gestione delle revoche
Caso: tratto da contesto realmente applicato
Un’Azienda ha speso una somma significativa per rimettere «a norma» gli accessi
agli applicativi e ai dati (accesso per codici IPI e Dataset di produzione), dopo che
un audit aveva rivelato lacune inaccettabili. In pratica, in caso di necessità veniva
concesso l’accesso, ma poi in molti casi non veniva rimosso al termine
dell’intervento. Terminato il progetto, è sorta la seguente domanda: «come faccio a
controllare tempo per tempo che l’ambiente non degradi nuovamente e si possa
intervenire tempestivamente?» (l’ordine di grandezza della popolazione è di
200.000…). Si può operare a campione: scegliere casualmente N codici IPI e
verificare la correttezza dei diritti di accesso.
•Ciò che accade sul campione, ad un certo livello di fiducia, rispecchierà l’ambiente
reale.
•Ciò che rispecchia l’ambiente reale, rispecchia anche il rischio conseguente.
passi
1
scegliere il livello di fiducia e… cosa voglio sapere
2
scegliere le modalità di campionamento casuale
3
eseguire il test
4
valutare i risultati
1
scegliere il livello di fiducia…
Normalmente si sceglie il 95%, è un buon compromesso tra «fatica» e accuratezza. Molto dipende però
dalla criticità del fenomeno da campionare. Si può fare anche al contrario: vedo cosa mi posso permettere e
su quella base cosa posso ottenere in cambio. Si è optato per questa seconda scelta e stabilito che 200
codici IPI un team di 4 persone li controlla in circa 2 ore e sono un costo accettabile. Inizialmente il controllo
si farà 1 volta alla settimana per 2 mesi, poi sulla base delle risultanze si potrà pensare di farlo 1 volta al
mese.
1
… e cosa voglio sapere
Se un codice IPI (o un dataset) ha 4 accessi non conformi, vale «1» o vale «4»? Ovvero:
•voglio sapere quanti codici IPI hanno almeno 1 accesso non conforme (e quindi non conformi)
•o voglio sapere quanti accessi non conformi mediamente ci sono in totale?
TUTT’E DUE! (ma guarda un po’…)
Cambia parecchio nel metodo di valutazione.
Il management ha stabilito che il 20% di codici IPI con accessi non conformi e una media di 3 accessi non
conformi sul totale di codici IPI sia fisiologico e comportino un rischio nullo (in realtà non è nullo, ma se è
accettato e ce lo si può permettere, è un’esposizione di fatto «non rischiosa»).
E’ fisiologico perché in un ambito di rilevanti dimensioni, la revoca delle autorizzazioni per riportare «a
norma» l’ambiente richiede un certo tempo (dalla fine della concessione dell’autorizzazione alla revoca
effettiva).
2
scegliere le modalità di campionamento casuale
Questo è facile. C’è il DB dei codici e dei dataset. Export su Access, numerazione progressiva e uso di un
qualunque programma di generazione di numeri casuali e prendo il codice IPI corrispondente al numero.
3
Eseguire il test
Anche questo è facile. Vado a vedere l’ACL e vedo chi ha diritto e chi no. Riporto i risultati (sono 200
record) su excel.
4
Valutare i risultati
Questo è più difficilino… Anche perché le domande sono 2…
Vediamolo nel dettaglio.
4
La prima cosa da fare è valutare la media e l’errore standard.
media = 2,76
errore std della media¹ = 0,32
Fantastico! è meno dei 3 che ha indicato il management!
allora sono a posto! NO. Non so quanto è vero: e se fossimo
stati semplicemente fortunati?
¹errore std della media = dev std/radq(#campione)
4
Il nostro campione segue una distribuzione T di Student a 199 gradi di libertà:
T = (X*- µ)/S(x*)
indica quanti errori standard ci
sono fra la media del campione
e la soglia prefissata
l’errore standard (0,32)
l’errore massimo ammissibile
(differenza tra la soglia del
management (3) e la media µ
campionaria (2,56) che fa 0,44)
T = 0,44/0,32 = 1,375
Dobbiamo quindi trovare la probabilità che T (si dice anche statistica test) sia maggiore di
1,375 perché questo non ci andrebbe bene. Vorrebbe dire che l’errore è tale da far sì che molto
spesso ci sono più di 3 non conformità. Auspicheremmo che sia bassa…
4
Serve introdurre qualcosa in più… Il concetto di «ipotesi nulla» e «ipotesi alternativa». L’ipotesi nulla è quella
che si dovrebbe rifiutare. L’ipotesi alternativa è quella invece accettabile.
Nel nostro caso l’ipotesi nulla è « ci possono essere in media più di 3 non conformità di accesso per codice
IPI», l’ipotesi alternativa è «ci sono in media 3 o meno di 3 non conformità di accesso per codice IPI».
Il tutto, ovviamente, con un margine di errore che il management ci ha detto deve essere al massimo il 5%. In
altri termini, il management intende tollerare una probabilità massima di avere in media più di 3 non conformità
di accesso per codice IPI (ipotesi nulla) del 5%. Non vuole rischiare di non intervenire quando dovrebbe più di
una volta su 20.
è la probabilità cercata: 8,53%
Ovvero la probabilità che ci siano mediamente
meno di 3 non conformità è del 91,47%, mentre
l’8,53% è la probabilità che ce ne siano di più.
Siccome era stato fissato il limite massimo del
5%, allora dobbiamo suggerire al management di
intervenire… Sebbene non di molto, la sicurezza
sta degradando rispetto ai parametri fissati
(quindi il rischio aumenta)
4
Quanti codici IPI mediamente hanno accessi non conformi? Li contiamo, sono 92, ovvero il 46%.
Già, ma quanto è «vero»?
L’ipotesi nulla in questo caso è: «ci sono più del 20% di codici IPI con almeno un accesso non conforme».
L’ipotesi alternativa «ci sono il 20% o meno di codici IPI con non conformità».
Il test in questo caso è sulla proporzionalità: la proporzione fra non conformi/conformi, il cui valore è da
comparare con la soglia del 20% prefissata con fiducia 95%.
Si usa una particolare statistica, detta statistica test Z per la proporzione.
La cosa interessante è che se i casi favorevoli e i casi contrari sono più di 5 ciascuno, si può usare la
distribuzione normale. Che la calcola excel…
Serve però prima un passaggio: calcolare Z (che è l’omologo della T di prima)
Z = (p – k)/
k(1-k)/n
p è la proporzione campionaria (46%), k è il valore di confronto (20%), n la dimensione del
campione (200)
Z = (0,46 – 0,2)/
0,2(1-0,2)/200 = 0,26/
0,0008
= 0,26/0,0283 = 9,19
4
analogamente a prima (ma con valori diversi e distribuzione diversa):
9,19 è un valore di Z «mostruoso»: Z=4 è
pari al 99,9% di probabilità, mentre z=6 è
oltre il 99,9999 (cioè una probabilità su
un milione di sbagliarmi… è il famoso 6sigma)
Equivale a dire: «caro capo, non c’è alcuna speranza che si sia sotto il 20%
visti i dati del campione»
Conclusioni
L’audit ha rivelato sostanzialmente 2 cose:
1.che c’è un rischio superiore a quanto desiderato di sforare la soglia di non
conformità accettabile (8,53% contro il 5% desiderato) sui diritti di accesso al
singolo applicativo
2.che c’è praticamente la certezza di avere più del 20% di applicativi che
hanno accessi non conformi (oltre soglia prefissata, quindi)
Le valutazioni sono quantitative e dimostrabili, per cui non c’è rischio di
contestazione
Il rischio audit è minimo: 200 applicativi si controllano bene…
Si deve intervenire.
Applicazione al contesto delle misure
minime 12, 13, 14, 27: verifica
dell’andamento dei profili (profili non
correttamente definiti/attribuiti)
Requisiti nella definizione dei profili
Definizione dei profili autorizzativi e dei ruoli
Verifica dell’esistenza di processi formalizzati che consentano di definire:
•
cosa si fa
•
chi lo fa
•
con quali strumenti
•
a quali informazioni e dati si deve accedere per poter svolgere un’attività
•
quali operazioni devono essere svolte sulle informazioni/dati
Verifica dell’esistenza dei ruoli
Verifica dell’esistenza di una mappatura dei dati
Verifica dell’esistenza di una mappatura delle applicazioni
Verifica dell’esistenza di una mappatura delle funzioni
Verifica dell’esistenza di una mappatura dei dati accessibili dalle singole funzioni
Requisiti nell’implementazione dei profili
Implementazione dei profili autorizzativi
Verifica per ogni applicazione/sistema:
•
livello di granularità possibile nella definizione dei profili
•
profili esistenti
•
verifica di congruenza fra profili e ruoli
•
verifica di congruenza fra i profili sui vari sistemi/applicativi
Verifica degli utenti e relativi profili
Verifica utenti/ruoli/profili/lettere di incarico
Verifica dei controlli in essere:
•
mancato utilizzo
…
La criticità principale consiste nel fatto che esaminare
il corretto soddisfacimento dei requisiti richiede
l’esame manuale del profilo (è estremamente difficile
automatizzarlo)
•
•
•
•
tempi
costi
affidabilità
impegno di risorse
Si può fare usando la statistica inferenziale: cambio la
fattibilità con… un po’ di incertezza (misurabile)
Cosa va verificato ex-ante:
•
Processo di gestione delle autorizzazioni
– Adeguata documentazione di ruoli, profili, funzioni
– Revisione periodica delle autorizzazioni
Corrispondenza ruolo/profilo/funzioni
Corrispondenza fra incaricato e ruolo
– Verifica periodica delle implementazioni
Corrispondenza fra teoria e implementazione reale sulle applicazioni
Problematiche connesse:
•
•
Costi: le verifiche non possono essere automatizzate, c’è un forte intervento
manuale
Praticabilità: è impossibile (almeno nelle medio-grandi organizzazioni) controllare
puntualmente tutto, gli ambienti cambiano continuamente
Determinare:
•
•
•
•
Numero profili non correttamente definiti
Numero profili non correttamente attribuiti
Numero di applicazioni non profilabili correttamente
Numero abilitazioni non utilizzate (ad un utente rispetto a quelle a
disposizione)
può essere praticamente impossibile con precisione, quindi è meglio:
• Utilizzare un campionamento e accettare:
- un margine di errore predefinito e ritenuto accettabile
- una probabilità di errore (ovvero che la stima sia completamente errata,
nel bene e nel male)
• «Cambiare» una parte del costo del controllo completo (che comunque
non è assente da errori) con la frequenza di monitoraggio
Stima del numero di profili non correttamente definiti
Supponiamo di avere 1.200 utenti con accesso al sistema informativo e di
poterci «permettere» di monitorare mensilmente 50 profili.
Sarebbe facile se potessimo dire: «abbiamo analizzato 50 profili ed
abbiamo riscontrato che 4 non sono correttamente definiti, quindi siccome
4/50 = 8%, allora possiamo dire che 96 utenti (8% di 1.200) avranno profilo
non correttamente definito».
Purtroppo, non possiamo:
•non diciamo qual è l’errore dell’approssimazione
•non diciamo qual è l’affidabilità della stima (o «confidenza»), ovvero la
probabilità che l’affermazione (+/- l’errore) sia effettivamente esatta.
Come si fa?
Innanzi tutto va scelto BENE il campione, ovvero i 50 elementi devono essere scelti a caso. Per fare ciò ci si
può semplificare la vita usando il campionamento sistematico: è sempre casuale, ma excel è più che sufficiente
allo scopo (e lo è peraltro per gran parte degli scopi…)
CAMPIONAMENTO SISTEMATICO
•Prendo la lista dei 1.200 utenti e la «importo» distribuita a caso (no ordine alfabetico) in un file excel. Posso
usare la funzione «casuale» di excel. Supponiamo venga 963: il 963-esimo utente sarà il primo della lista.
Quindi riapplico alla lista - il 963-esimo e ricacolo e così via (un programmatore con dimestichezza con le
macro lo fa in 2 ore)
•Divido i 1.200 utenti in 1.200/50=24 in cluster di 24 utenti ciascuno (1…24, 25…49, 50…74, ecc.)
•Chiedo a excel di calcolarmi un numero casuale tra 1 e 24 (supponiamo venga 14)
•Scelgo quindi gli elementi: 14, 38 (24+14), 62 (24+24+14), 86 (24+24+24+14), ecc. fino ad avere completato i
50 cluster scegliendo un elemento ciascuno «casualmente»
Il nostro campione è quindi fatto. Successivamente «rimischierò» altrettanto casualmente gli utenti,
Dispongo quindi del campione di 50 utenti… casuali
•Li controllo e verifico quanti non sono correttamente definiti. Supponiamo che 4 sia effettivamente il numero
che determino di profili non correttamente definiti: la proporzione calcolata sul campione è p=0,08, ovvero l’8%.
n, ampiezza del campione, è 50.
•Voglio essere «confidente» al 95%, quindi il valore critico Z (di una distribuzione normale, ho scelto
casualmente…) è pari a circa -1,96:
•p ± Z * √ p(1-p)/n è l’intervallo di confidenza desiderato:
0,08 ± 1,96 * √ 0,08(1-0,08)/50 = 0,08 ±1,96 * 0,0383 = 0,08 ± 0,075 = 0,005; 0,155 = 0,5% ; 15,5%
•Posso attendermi che il numero di accessi non conformi sia tra 6 e 186. Un intervallo ampio, ma ho scelto un
campione «piccolo» e una confidanza abbastanza alta. Se il campione fosse stato di 100 e avessi riscontrato 8
accessi non conformi, avrei avuto:
0,08 ± 1,96 * 0,027 = 0,027 ; 0,132 tra 32 e 158
Considerazioni
• Se il risultato non piace, non è colpa dei numeri. Così è se vi pare (Pirandello non
se ne abbia a male)
• In generale i profili sono molti di più, perché dipendono dalle applicazioni. 1.200 è
un numero di profilature da piccola azienda. Un’azienda medio-grande ne ha 2025.000. Un campione di 200-250 è ragionevole (e consente una precisione
maggiore)
• Se si associa una previsione di impatto:
- economico (sanzione, costi di gestione della risposta a cliente/autorità di
sorveglianza, ecc.)
- reputazionale (pubblicazione, passa-parola, ecc.)
- strategico (perdita di clienti, revoca di licenze, ecc.)
si può anche offrire un quadro del rischio «da… a» nell’accezione
R = P x I, dove P è l’intervallo di confidenza, I gli impatti stimati dalle
risultanze di una stima di impatto sui valori numerici determinati.
• Last but no least… l’audit offre rilievi oggettivi, ma decidere è mestiere del
top management e risolvere è mestiere dei tecnici.
Conclusioni
Il ruolo dell’audit è in evoluzione: da funzione di controllo a (anche)
funzione di «attivatore» dei miglioramenti
Servono metodi e tecniche «più fini»: Alto, Medio, Basso non bastano più.
La complessità richiede governo e questo lo si può ottenere con tecniche
quantitative matematiche.
Qualità e Audit sono due binari paralleli: il primo indica la direzione, il
secondo che la si segua.
Uno dei (e forse «IL») migliori metodi di mitigazione del rischio è un audit
efficiente ed efficace. Non serve mitigare il rischio di incidenti ponendo i
limiti di velocità se poi non installo i tutor.
La tecnologia evolve, l’audit evolve. Se non avviene, l’audit dopo un po’
non serve più.
L’audit è un servizio che tutela tutti, in primis l’auditato. Serve un cambio di
mentalità: l’audit è il «mio certificato di assicurazione», non uno strumento
repressivo.
Non
Nonrimproverare
rimproverareililbeffardo,
beffardo,altrimenti
altrimentititiodierà;
odierà;
rimprovera
rimproveraililsaggio
saggioed
edegli
eglititiamerà.
amerà.
(Proverbi
(Proverbi9,8)
9,8)
Grazie per l’attenzione
Riferimenti
[email protected]
[email protected]
[email protected]

Metodi quantitativi per la valutazione dei rischi

Transcript

Documenti analoghi

Scarica il comunicato

HSPI SPA

CHILD EXPLORER - Intermedia Channel

Seminario Tecnico Internazionale Sulle Opere Paramassi - Flow-Ing

COBIT5

U -, Appuntamento. con la musica classica all`Università degli studi

Corso32_COBIT Framework

Giancarlo Dallera

10141 Torino

Biografia dello chef Fabio Baldassarre