2.2.1 Strategie di cooperazione

Transcript

Cooperazione di Agenti Informatici
Corso di Laurea Specialistica in “Informatica”
A.A. 2008/09
Prof. Alberto Postiglione
UD 2.2.1: Strategie di cooperazione
Prof Alberto Postiglione
Cooperazione di Agenti Informatici (08/09)
UD 2.1
11/05/2009
Dia 2
Bibliografia

Axelrod, Robert “The evolution of cooperation” (trad. it.
“Giochi di reciprocità”, Feltrinelli, 1985)
• Lavoro precedente di Axelrod. Da consultare

Axelrod, Robert “The Complexity of Cooperation”,
Princeton University Press, 1997
• Prefazione
• Introduzione
• Introduzione ai capitoli da 1 a 7
1
UD 2.1
11/05/2009
Dia 3
“The evolution of cooperation” (1984)

In “The evolution of cooperation”, Axelrod
• adotta il paradigma del “Dilemma del prigioniero iterato”,
•
giocato da due persone
sostiene la tesi che, in un mondo di egoisti, ai fini
• del buon funzionamento generale di un sistema
• degli interessi dei singoli individui
un atteggiamento di cooperazione basata sulla
reciprocità è più conveniente di uno egoista purché ci sia
una sufficiente prospettiva di interazione a lungo termine
• Cioè, a lungo termine, l’atteggiamento cooperativo si evolve
spontaneamente e si auto-sostiene anche in un mondo di egoisti
• Non c’è bisogno di ipotizzare valori culturali o costrizioni sociali che
la favorisco
UD 2.1
11/05/2009
Dia 4
“The Complexity of cooperation” (1997)


Axelrod, in “The complexity of cooperation”, va oltre il
paradigma del dilemma del prigioniero iterato
Vengono infatti
• Analizzate strategie che evolvono automaticamente e non per
•
•
intervento dell’uomo
Analizzate strategie che trattano la possibilità far fronte a
errori di interpretazione tra i giocatori o ad errori di
implementazione di una mossa.
Espanse le basi della cooperazione a più di una scelta con un
costo a breve termine e un possibile guadagno a lungo
termine.
2
UD 2.1
11/05/2009
Dia 5

Nel libro vengono affrontate strategie di collaborazione con
altri attori per
• Costruire e rinforzare norme comportamentali
• Vincere una guerra
• Imporre uno standard industriale
• Costruire una nuova organizzazione che possa agire
•
nell’interesse dei suoi membri
Sviluppare una cultura condivisa basata sulla mutua influenza
UD 2.1
11/05/2009
Dia 6


L’espansione delle forme potenziali di collaborazione,
implica anche l’espansione delle potenziali forme di
competizione.
Nel libro viene perciò considerato di più che il semplice fatto
che due attori cooperino o meno.
• Esso include i conflitti tra colori che violano e coloro che
•
•
•
•
fanno rispettare una norma.
Le minacce e le guerre tra nazioni
Le competizioni tra aziende
Le controversie tra organizzazioni per la proprietà e
l’appartenenza
Le trazioni concorrenziali di influenze sociali per mutazioni
culturali.
3
UD 2.1
11/05/2009
Dia 7

Axelrod si pone un duplice scopo:
• Aggiungere la complessità al modello più comune per lo
•

studio della cooperazione, il “dilemma del prigioniero iterato”
riferito a 2 giocatori
Utilizzare concetti e tecniche della “Teoria della Complessità”
La Teoria della Complessità studia le interazioni tra
popolazioni composte da molti attori.
• Gli attori possono essere atomi, pesci, persone,
•
organizzazioni, nazioni, ecc…
Le interazioni possono consistere in attrazione,
combattimento, accoppiamento, comunicazione, associazione,
concorrenza, ecc…
UD 2.1
11/05/2009
Dia 8
Simulazione come strumento di ricerca e analisi

A causa
• del gran numero di attori coinvolti
• e dei modelli di interazione che possono mutare nel tempo
è molto difficile analizzare queste situazioni con gli strumenti
della matematica

La “Teoria della Complessità” fa uso degli strumenti della
simulazione, come primario strumento di ricerca.
4
UD 2.1
11/05/2009
Dia 9

Questa modalità di ricerca procede così:
• Assegnando specifiche regole agli attori e alle loro
•

interazioni
Si osservano poi le proprietà che vengono fuori al livello
dell’intera società.
Per esempio si osserva se
• gli attori tendono ad aggregarsi in due gruppi contrapposti
• una particolare strategia tende a diventare “dominante”
• si sviluppano in modo chiaro dei modelli di comportamento
UD 2.1
11/05/2009
Dia 10

Si parla, in questo caso, di modellazione basata su agenti
(Agent Based Modeling – ABM)
• Essa è nota anche come “bottom-up modeling” oppure
“sistemi sociali artificiali


Lo scopo dell’ABM è, quindi, la comprensione delle
proprietà di sistemi sociali complessi attraverso l’analisi
delle simulazioni.
Simulazione è un terzo modo di condurre analisi di tipo
scientifico, le altre due sono le più classiche
• Induzione (scoperta di regolarità tramite l’analisi di dati
•
empirici)
Deduzione (dimostrazione di fatti a partire da assiomi)
5
UD 2.1
11/05/2009
Dia 11

La simulazione
• come la deduzione parte da alcuni assiomi espliciti ma, a
•
•

differenza della deduzione, non procede provando teoremi,
ma generando insiemi di dati simulati
come la induzione studia un insieme di dati ma, a
differenza della induzione, questi non provengono da
misurazioni effettuate nel mondo reale
Genera dati, che possono poi essere analizzati in modo
induttivo, a partire da un insieme di regole
rigorosamente specificate.
Con la simulazione si privilegia l’approccio intuitivo.
UD 2.1
11/05/2009
Dia 12
Proprietà emergenti di un sistema

Sebbene
• le regole di comportamento degli agenti sono locali e
•
•

semplici,
le conseguenze della loro interazione possono produrre
effetti su larga scala.
Axelrod fa molti esempi di simili agenti.
Gli effetti su larga scala di agenti che interagiscono
semplicemente e localmente sono le cosiddette “proprietà
emergenti” del sistema.
• Le proprietà emergenti sono spesso sorprendenti perché non
sono facilmente ipotizzabili a priori
6
UD 2.1
11/05/2009
Dia 13
Proprietà emergenti di un sistema



Non sempre la simulazione è necessaria
Esistono modelli, quali i modelli economici neoclassici, nei
quali le proprietà emergenti possono essere dedotte
formalmente
Ma quando gli agenti utilizzano strategie adattative e non di
ottimizzazione, dedurre le conseguenze e individuare le
proprietà emergenti, è spesso impossibile
UD 2.1
11/05/2009
Dia 14
Razionalità

Attualmente, la forma dominante di modellazione nel mondo
delle scienze sociali è basata sul paradigma della “scelta
razionale”:
• Nessun giocatore sceglie un’azione se ne ha a
disposizione un’altra che gli permette di ottenere risultati
migliori, qualunque sia il comportamento dell’avversario



Ciò non è dovuto tanto alla realisticità del paradigma …
… e nemmeno al fatto che tecniche quali quelle della teoria
dei giochi forniscono consigli ai manager, in quanto le
assunzioni poco realistiche spesso indeboliscono i risultati
come basi per prendere decisioni
… quanto piuttosto alla possibilità che esso offre di potere
effettuare deduzioni.
7
UD 2.1
11/05/2009
Dia 15
Adattatività

La principale alternativa al paradigma della razionalità è
quello dell’adattatività
• L’adattatività al livello del singolo individuo corrisponde
•


all’apprendimento
Mentre al livello di una popolazione può corrispondere, ad
esempio, alla evoluzione della specie, alla sopravvivenza del
più adatto e alla riproduzione degli individui che presentano
maggiori possibilità di successo.
Nel paradigma dell’adattatività, le regole comportamentali
degli agenti presentano effetti non lineari
Per cui l’unico modo di studiare popolazioni di agenti su
cui sono definite regole adattative è la simulazione.
UD 2.1
11/05/2009
Dia 16
Principio KISS

Nonostante la modellazione ad agenti impieghi la
simulazione, essa non richiede una rappresentazione accurata
di una particolare applicazione empirica.
• L’obiettivo è quello di arricchire la nostra comprensione
dei processi fondamentali che possono presentarsi in una
varietà di applicazioni.

Per raggiungere quest’obiettivo è necessario aderire al
principio KISS (“Keep It Simple, Stupid”)
• La complessità della modellazione basata su agenti dovrebbe
essere
• nei risultati simulati …
• … non nelle assunzioni del modello
8
UD 2.1
11/05/2009
Dia 17
Principio KISS

In alcuni usi della simulazione, è più importante l’accuratezza
del modello che non la sua semplicità. Ad esempio, se la
simulazione viene utilizzata per
• addestrare l’equipaggio di una superpetroliera
• Sviluppare tattiche per una nuova flotta di aerei da caccia

Ma se il nostro obiettivo è di approfondire la nostra
comprensione dei processi fondamentali,
• la semplicità delle assunzioni è importante …
• … mentre la rappresentazione realistica dei dettagli non lo è
UD 2.1
11/05/2009
Dia 18
Incoraggiamento della cooperazione

I lavori di Axelrod sul Dilemma del prigioniero iterato
furono inizialmente motivati dall’esigenza di apprendere
come la cooperazione potesse essere incoraggiata nella
politica internazionale

Specialmente tra Est e Ovest durante il periodo della guerra
fredda.
9
UD 2.1
11/05/2009
Dia 19
Dilemma del Prigioniero iterato

Axelrod ha studiato il Dilemma del Prigioniero che è un
buon modello per moltissime situazioni della vita reale
• Dipendenza reciproca (gli effetti dei comportamenti di un
•
•
singolo o di un gruppo dipendono anche dai comportamenti
degli altri singoli o gruppi)
Informazione imperfetta (incapacità di prevedere esattamente
le scelte e gli atteggiamenti degli altri)
Assenza naturale di finalità cooperative (ognuno tende prima
di tutto a soddisfare i suoi bisogni e a massimizzare i suoi
obiettivi)
UD 2.1
11/05/2009
Dia 20
Perché il modello è così generale?

La molteplicità delle applicazioni del modello basato sul
dilemma del prigioniero iterato dipende dal fatto che esso
cattura con semplicità una caratteristica fondamentale di
molte interazioni, cioè la tensione tra
• i vantaggi, a breve periodo, di un comportamento
•
completamente egoistico
la necessità di ottenere la cooperazione degli altri agenti per
avere successo nel lungo periodo.
10
UD 2.1
11/05/2009
Dia 21
Tornei di strategie (Axelrod)

Prima di procedere oltre, facciamo un breve resoconto degli
studi di Axelrod che precedono la pubblicazione del volume
“The Complexity of Cooperation”

Axelrod era alla ricerca di una strategia ottimale per la
versione iterata del Dilemma del Prigioniero

Pensò di mettere direttamente e confronto varie strategie,
organizzando due “tornei”, aperti all’intera comunità
scientifica.
UD 2.1
11/05/2009
Dia 22

Ai tornei vennero iscritte strategie implementate al computer.
• Coloro che fornirono le strategie facevano parte di una
•
•
comunità molto variegata
Ogni strategia poteva essere al massimo di “memoria 6”
Le strategie vennero fatte “scontrare” a due alla volta, con un
girone all’italiana
• 1° torneo: 14 programmi;
• 2° torneo: 63 programmi + 1 (che si comportava in maniera
totalmente casuale)
11
UD 2.1
11/05/2009
Dia 23

Per stabilire quali fossero le strategie migliori, Axelrod
assegnò dei valori numerici alle varie situazioni di gioco:

La strategia che risultò vincente in entrambi i tornei, fu
la più semplice tra tutte quelle ricevute: la “Tit-for-Tat”
La strategia TFT ha un comportamento molto semplice:

• come prima mossa, sceglie la cooperazione;
• successivamente, ripropone l’ultima mossa giocata
dell’avversario.
UD 2.1
11/05/2009
Dia 24
Strategia TIT FOR TAT

Quindi, nel caso di 1 iterazione:

Nel caso di n iterazioni (n non noto a priori)

Successivamente la TFT è stata applicata anche in altri
ambiti.
• La strategia più razionale è quella non cooperativa
• La strategia migliore è quella cooperativa
• La strategia migliore è quella cooperativa
• in politica internazionale nel periodo della guerra fredda
• In branchi di pesci per raggiungere la cooperazione
• In cause di divorzio per ottenere equità di comportamento
•…
12
UD 2.1
11/05/2009
Dia 25
Perché il modello è così generale?

La strategia cooperativa è vincente anche in situazioni in cui
la cooperazione, nel breve periodo, non si presenta come la
strategia dominante
• una strategia è detta dominante se viene comunque adottata
•
anche conoscendo la strategia adottata dall’avversario
Quando gli individui si trovano ad interagire in modo
continuativo è probabile che si verifichi l’insorgenza di
comportamenti collaborativi che non dipendono da
valutazioni di tipo morale, ma dalla constatazione che ciò
porta ad un maggior benessere individuale
UD 2.1
11/05/2009
Dia 26
Modelli per analizzare processi fondamentali

Questa è anche una prova del fatto che i modelli che si
pongono come obiettivo quello di esplorare processi
fondamentali
• dovrebbero essere giudicati in base ai loro risultati e non alla
•
loro accuratezza
Per questa tipologia di modelli la rappresentazione realistica di
molti dettagli non è necessaria e, spesso, è controproducente.
13
UD 2.1
11/05/2009
Dia 27
Modelli presentati da Axelrod

Lo scopo degli studi presentati in “The Complexity of
Cooperation” è di esplorare processi sociali fondamentali.
• Sebbene qualche modello presentato viene motivato da
qualche specifica applicazione, l’intenzione è di scoprirne i
principi di base.

Il libro di Axelrod presenta un insieme di studi unificati su
tre linee-guida:
• Tutti trattano con i problemi e le opportunità fornite dalla
•
•
cooperazione in un ambiente più o meno competitivo
Tutti impiegano modelli che usano agenti adattativi invece che
razionali
Tutti utilizzano le simulazioni al computer per studiare le
proprietà emergenti delle interazioni tra gli agenti.
UD 2.1
11/05/2009
Dia 28
Modelli presentati da Axelrod

I modelli presentati da Axelrod nel volume “The Complexity
of Cooperation” sono, in ordine
• Varianti del dilemma del prigioniero iterata (1 e 2)
• Modelli strategici differenti da quello del dilemma del
•
•
prigioniero iterata (3, 4 e 5)
Esame dell’emergenza di nuovi attori politici (6)
Esame dell’emergenza di cultura condivisa (7)
14
UD 2.1
11/05/2009
Dia 29
1) Evoluzione delle strategie

Cap. 1: La strategia cooperativa è la migliore in assoluto
o perché viene modo “imposta” da motivi etici e
sociali?

In entrambi i tornei organizzati da Axelrod, vinse la strategia
cooperativa Tit-For-Tat.
Axelrod si chiese se la vittoria della Tit-For-Tat fosse dovuta

• alla sua qualità
• o, invece, al fatto che i vari esperti avessero fornito strategie in
modo preconcetto, basandosi su ciò che pensavano che gli
altri avrebbero fatto, e che questo poteva avere “favorito” la
Tit-For-Tat
UD 2.1
11/05/2009
Dia 30

Per cui, Axelrod, pensò di adottare una tecnica diversa, che

Egli condusse così il suo studio:
• usando gli algoritmi genetici (introdotti da Holland nel ‘75)
• per generare automaticamente strategie
• permettendo di svincolarsi dai preconcetti umani
• Scelse casualmente alcune strategie da un insieme molto
•
•
grande (senza predisposizione verso la cooperazione e la
reciprocità)
Fece evolvere questa popolazione utilizzando gli algoritmi
genetici
Verificò le strategie “viventi”, al termine del processo di
evoluzione
15
UD 2.1
11/05/2009
Dia 31

Ebbene, dopo poco tempo la popolazione che, in modo
spontaneo, emergevano strategie cooperative del tipo TIT
FOR TAT

Con questo approccio Axelrod ha mostrato che,
• da una popolazione di strategie assolutamente casuali,
• utilizzando la tecnica evolutiva degli algoritmi genetici,
• si generano in modo automatico strategie cooperative

Egli ha sfruttato la capacità degli algoritmi genetici di fornire
risposte altamente adattative, perfino in contesti complicati
UD 2.1
11/05/2009
Dia 32
2) Dilemma del prigioniero in presenza di errori

Cap. 2: Cosa succede in caso di incomprensione o di
errore di implementazione di una mossa?

Tit-For-Tat è molto sensibile agli errori.
Infatti, se due giocatori utilizzano entrambi il TIT FOR TAT

• e uno dei due non coopera (sbaglia la scelta o la sua scelta
•
•

viene recepita con un errore),
la risposta dell’altro sarà di non cooperazione
e, da allora in poi, la non cooperazione si ripeterà all’infinito.
La cosa è grave in caso, ad esempio, di conflitto militare
16
UD 2.1
11/05/2009
Dia 33
2) Dilemma del prigioniero in presenza di errori

Nei tornei, per introdurre l’elemento di casualità Axelrod
introdusse una strategia random (di cui erano a conoscenza
tutti i giocatori)

Supponendo che il primo giocatore defezioni (non cooperi)
per errore, Axelrod suggerì due possibili strategie:
• (Generosità) La risposta del secondo giocatore è sempre
•
inferiore alla provocazione
(Contrizione) Quando tocca nuovamente al primo giocatore
egli non considera un vero attacco la risposta in defezione
del secondo giocatore (risposta naturale della TFT), ma come
una risposta corretta ad una propria defezione errata.
UD 2.1
11/05/2009
Dia 34
3) Dilemma del prigioniero con n attori: regole

Cap. 3: Cosa succede quando il dilemma del prigioniero
viene giocato da n giocatori (n>2)?

La presenza di regole è importante ai fini del raggiungimento
degli obiettivi di cooperazione (Axelrod 2, pag. 40)

Il modello è utile per studiare situazioni che coinvolgono
azioni collettive, quali
• Inquinamento atmosferico
• Uso intensivo di risorse condivise, ad esempio la terra per i
pascoli, il petrolio, l’acqua, …
17
UD 2.1
11/05/2009
Dia 35
3) Dilemma del prigioniero con n attori: norme

L’estensione diretta del dilemma da 2 ad n prigionieri
non incentiva la cooperazione
• Ognuno tende ad essere molto egoista (sperando che gli altri si
•

comportino in modo altruistico)
Ma se tutti si comportassero in modo egoistico, ognuno
andrebbe peggio che non nel caso cooperativistico.
Il problema è che, a differenza del caso di 2 giocatori dove in
corrispondenza di una defezione l’altro giocatore può
infliggere immediatamente una punizione, qui non si sa chi
deve punire gli individui che non cooperano
• Tuttavia, in una società emergono sempre delle regole che
spesso sono abbastanza potenti da spingere gli individui alla
cooperazione.
UD 2.1
11/05/2009
Dia 36

Axelrod ha sviluppato un nuovo modello che fornisce ai
giocatori l’opzione di punire chi non coopera.

Egli ha supposto che
• l’individuazione dell’imbroglione non fosse automatica
• e che punire costi qualcosa anche a chi infligge la punizione

Inoltre, egli ha deciso di non adottare l’assunzione della
razionalità in quanto, nella realtà, quando la gente fa scelte in
scenari complessi, utilizza più frequentemente una tecnica di
tipi trial-and-error.
18
UD 2.1
11/05/2009
Dia 37

Per analizzare questo nuovo modello alla ricerca di come e
quando emergono regole comportamentali, Axelrod ha
utilizzato un approccio con gli algoritmi genetici.

Una prima applicazione del modello ha dimostrato che un
altro giro di vite era necessario affinché ogni cooperatore
non fosse tentato di lasciare agli altri il compito, e il relativo
costo, di infliggere la punizione ai non cooperativi.
• E’ stata introdotta una specie di “metanorma” che riguarda la
prontezza nel punire non solo chi viola le norme ma anche
tutti coloro che non puniscono chi sbaglia.
UD 2.1
11/05/2009
Dia 38

Uno dei fattori della rapida caduta del comunismo nei paesi
dell’est è stata la diminuzione dell’aspettativa della
repressione della protesta.
• Molti individui sono disposti ad agire se (un numero adeguato
di) altri individui lo fanno per primi.

(Axelrod) E’ importante stabilire delle norme planetarie,
quali quelle contro il colonialismo, il razzismo, la tortura.
• Coloro che “vogliono giocare” (cioè partecipare alla vita del
pianeta) devono adeguarsi, altrimenti verranno puniti,
eventualmente con la sospensione dal gioco.
19
UD 2.1
11/05/2009
Dia 39
4)-5) Nascita di Alleanze

Cap. 4 e 5: Un’altra forma di cooperazione si presenta
quando le persone si organizzano in gruppi per
competere gli uni contro gli altri.

Esempio di cooperazione nell’interesse della competizione.
Il modello fornito analizza come le varie parti scelgono le
alleanze guidate più da affinità che da strategie pure.
Esempio:


• alleanze tra nazioni (II guerra mondiale),
• alleanze strategiche tra imprese (Unix),
• coalizioni tra partiti in parlamento
UD 2.1
11/05/2009
Dia 40
6) Creazione di nuovi attori più complessi

Cap. 6: Un altro modello astratto di evoluzione riguarda
le organizzazioni gerarchiche, dove, a partire da un
insieme di agenti più semplici ne viene creato uno più
complesso, a un livello di gerarchia superiore.

Gli agenti elementari accettano di perdere parte della loro
autonomia per dar vita ad un organismo più complesso, che
viene visto come un unico individuo.
I modelli impiegati sono molto complessi. Esempi:

• La nascita degli USA tramite aggregazione successiva di 52
•
stati indipendenti
La creazione di organismi multicellulari a partire da una
singola cellula
20
UD 2.1
11/05/2009
Dia 41
7) La diffusione della cultura

Cap. 7: Nei tempi moderni i governi promuovono la
cultura attraverso l’istruzione e il controllo dei mass
media.
• In quale modo emergono le nazioni?
• Come le comunità si evolvono a partire dal loro luogo di
•
•
origine?
Come la cultura si diffonde indipendentemente dalle attività
governative?
Come fanno le persone a condividere linguaggio, abitudini,
credenze e valori che poi sono la base delle istituzioni
governative?
UD 2.1
11/05/2009
Dia 42
7) La diffusione della cultura

Approccio: si modella l’influenza sociale, cioè il modo con
cui le persone si influenzano reciprocamente nel corso
dell’interazione.

Il modello risultante è semplice, ma ambizioso.
21

2.2.1 Strategie di cooperazione

Transcript

Documenti analoghi

Il dilemma del prigioniero iterato

Recensione di Emma Dovano - Associazione Cascina Archi

Il Gruppo 2003 contro nuove promozioni universitarie ope legis E` in

TITOLO VIII - Agenti fisici D.Lgs. 81/08

pdf 444 KB - Ferrovie dello Stato Italiane

Apparecchiature elettromedicali

Questioni di cuore, di Francesca Archibugi.

Scarica la scheda del film

BELLELI ALBERTO – Sindaco

ANAPA-saluta-il-presidente-e-i-nuovi-vicepresidenti-di-ANIA-con

presentazione corso laptop music copy