Lezione 4

Lezione 4
Workload Characterization
• Processo che descrive con precisione il workload globale del
sistema in termini delle sue componenti principali
• Ciascun componente a sua volta è decomposto in termini di
componenti basici.
• I componenti basici si caratterizzano in workload intensity e in
parametri di domanda di servizio per ciascuna risorsa
Global workload
workload component 1
es. transazioni C/S
•••
basic component 1.1
(es. transazioni personale)
•••
basic component 1.m
(es. transazioni vendite)
workload component n
(es. accessi Web)
•••
basic component n.1
(es. addestramento aziendale)
basic component n.k
(es. uso motori di ricerca)
Con la raccolta di una elevata quantità di dati è difficile avere
indicazioni significative, ovvero utilizzarli come input per modelli
analitici allo scopo di costruire modelli predittivi, per cui è
necessario sintetizzarli. Workload Model
Es: Applicazione web based - accesso ad un DB centrale si osserva per 1 h e si raccolgono 20000 osservazioni di I/O e
di tempi di CPU
(38,171)
(28,68)
(39,22)
(4.5,19)
Problemi legati alla raccolta dei dati
Caso ideale: performance monitor & accounting si utilizzano per determinare i
valori dei parametri per ciascun componente basico
Casi reali: gli strumenti necessari per raccogliere i dati basici non sempre sono
disponibili, inotre molti strumenti forniscono solo dati aggregati
Allora si ricorre a Benchmark o a ROT
in alcuni casi si può, con un numero limitato di applicazioni,
avere informazioni che consentono di caratterizzare il carico
questi casi si realizzano con la costruzione di un “ambiente
controllato”
Le misure si eseguono in seguito a carichi prodotti da script
opportuni che rappresentano richieste a web services
Si chiamano Load tester
L’obiettivo è ottenere domande di servizio ai processori, ai banchi
di memorie, ai vari web server, così come informazioni sul traffico
di rete, quali volume, distribuzione, etc
A questo scopo si usano specifici riferimenti standard come i valori
dello SPEC (Standard Performance Evaluation Corporation)
ESEMPIO
Domanda di servizio alla CPU 10 msec – il server ha uno SPEC
CINT2000 che vale 431. Che succede se impieghiamo un server con uno
SPEC CINT 2000 pari a 518?
Beh la domanda di servizio sarà 10 /(518/431)= 8.3 msec.
Ovviamente il tipo di applicazione condiziona i risultati. Nel caso
di applicazione cpu intensive quindi fortemente basata su
aritmetica in virgola mobile userà i SPEC CFP2000.
L’ActualSvceDemand= MeasuredSvceDemand x Throughput Ratio
___________________________________________________________
WWW.SPEC.ORG
The Standard Performance Evaluation Corporation (SPEC) is a nonprofit corporation formed to establish, maintain and endorse a standardized
set of relevant benchmarks that can be applied to the newest generation of
high-performance computers. SPEC develops benchmark suites and also
reviews and publishes submitted results from our member organizations
and other benchmark licensees.
Documento interessante
Jack Dongarra http://www.netlib.org/benchmark/performance.ps
Validazione &Calibrazione
Workload sintetico
Margini di errore tra 10 e 30%
Previsione ( forecasting) di Workload
Esempio: se consideriamo le richieste sottoposte negli ultimi 6 mesi di video per
addestramento ad un Web server aziendale e eseguiamo una regressione lineare
possiamo prevedere, partendo dallo stato attuale, se il trend si mantiene, la dimensione
delle richieste che ci saranno in futuro.
le previsioni per il mese successivo (7)
sono di 22557 video
Modelli di Performance
stima di parametri:
tempi di risposta – throughput – utilizzazione – lunghezza delle code.
Categorie:
parametri di sistema:
entità che influenzano la performance: discipline di load
balancing , protocolli di rete, #max connessioni, #max di
thread
parametri di risorsa:
entità legate alle risorse: ritardi causati dagli storage, dalle
CPU e dalla rete
parametri di workload:
intensità: misura del carico a cui è sottoposto il sistema- # di unità di
lavoro che competono per l’uso di risorse.
Es: # rich/gg, # rich/sec al file server, # rich trans, # op di I/O,
# utenti che ... e poi la burstiness
service demand: misura la quantità totale di tempo di servizio
(assegnazione) richiesta ad una risorsa
USO DI MODELLI
- modelli analitici:
In genere reti di code
- modelli simulativi:
rappresentazione delle risorse come serventi ed imitazione del
flusso delle richieste da un nodo (o stazione) ad un’altro.
I dati numeri ottenuti vanno validati e stimati con metodi statistici
in modo da poter associare livelli di confidenza ai risultati
( medie, varianze o distribuzioni)
Problema del livello di dettaglio
Modelli di disponibilità
Rispondere a domande del tipo:
- come costruire un sistema che
disponibilità del 99,99%?
garantisca una
- come scegliere politiche di manutenzione per
garantire livelli di disponibilità fissati?
- E’ possibile combinare disponibilità e prestazioni?
Sviluppo di modelli di costo
La metodologia di capacity planning deve includere la valutazione
del variare del costo in funzione delle scelte di natura
architetturale. Es aumento della popolarità => aumento del traffico
e aumento dei costi di comunicazione.
Costi: startup & Costi operativi
Costi Hw: macchine client e server, incluso i componenti
disk array, routers, bridges, load balancers, switches,
back-up, UPS, cablaggio, manutenzione e venditori
vari;
Costi Sw: Os Client e server, Middleware client e server (Tp
monitors), DBMS, HTTP server, mail server, office
automation, business applications, antivirus, antispam,
IDS, Sw development, manutenzione e venditori vari;
Costi di telecomunicazione: linee di comunicazione, ISP
Servizi forniti da terze parti: Servizi di banner pubblicitari, servizio
di web hosting, CDN, fornitori di application
service, autorizzazioni al pagamento,
pagamenti.
Costi di manutenzione ed assistenza: salari e benefici per i
dipendenti; supporto di help desk; costo di
training; gestione della rete hw e sw; monitoraggio
degli indici di performance software e di servizi
Spesso per certe voci si usano regole più legate alla stima generica
ed all’esperienza che ad analisi puntuali. In particolare è
abbastanza consueto stimare la manutenzione dell’hw tra l’8% e il
10% annuo del valore delle apparecchiature così come per il sw
viene stimato tra il 10 ed 14% del valore del sw. Ovviamente se i
servizi vengono acquisiti da terze parti si instaura un processo di
contrattazione entro questo intervallo.
Analoghe considerazioni vengono fatte riguardo al costo delle
figure professionali.
In Italia un particolare settore è quello della PA per cui esistono
dei costi “tabellati” a cura del CNIPA ( Digita-PA)
Analisi di vantaggi e svantaggi
- - Valutazione del Mirroring
- - Sostituzione di web server
- - Uso di ContentDN
- - Uso di web hosting
Costruzione dei personnel plan, investment plan,
business plan