Relazione sull`attivit`ae le ricerche svolte Dott

Dottorato di Ricerca in Informatica, II Ciclo Nuova Serie,
Università degli Studi di Salerno
Relazione
sull’attività e le ricerche svolte
Dott. Antonino Staiano
Anno 2000/2003
Corsi
Il sottoscritto ha frequentato i seguenti corsi:
• Corso : IDA Spring School 2001 (European School on Intelligent Data Analysis)
Durata : 60 ore
Periodo : 26 - 30 Marzo 2001
Luogo : Facoltà di Ingegneria, Palermo
Modalità esame : Prova orale
Superamento esame : Superato
• Corso : Teoria della Programmazione Concorrente e Distribuita
Docente : Prof. R. Gorrieri
Durata : 20 ore
Periodo : 18 - 26 Giugno 2001
Luogo : Facoltà di Scienze MM.FF.NN., Baronissi (SA)
Modalità esame : Non prevista
• Corso : 5th Course of the International School on Neural Nets “E. R. Caianiello”: From
Synapes to Rules: Discovering Symbolic Rules from Neural Processed Data
Durata : 60 ore
Periodo : 25 Febbraio - 7 Marzo 2002
Luogo : presso Ettore Majorana Foundation and Centre for Scientific Culture, Erice (TP)
Modalità esame : Prova orale
Superamento esame : Superato
• Corso : 7th Course of the International School on Neural Nets “E. R. Caianiello”: Ensemble Methods for Learning Machines
Durata : 20 ore
Periodo : 22 - 28 Settembre 2002
Luogo : I.I.A.S.S. Vietri sul Mare (Sa)
1
Modalità esame : Prova di Laboratorio
Superamento esame : Superato
• Corso : Support Vector and Kernel Machines
Docente : Prof. N. Cristianini
Durata : 20
Periodo : 23 - 27 Giugno 2003
Luogo : Università di Salerno
Modalità esame : Non previsto
Seminari
Il sottoscritto ha partecipato ai seguenti seminari:
• Neural Networks for Data Modelling
7 Febbraio 2001, Università di Napoli “Federico II”, dott. A. Eleuteri, Università di Napoli
“Federico II”
• From Quantum Structures to MV-Algebras
25 Gennaio 2001, Università degli Studi di Salerno, Prof. A. Dvurecenskij, Università di
Bratislava
• Proactive Password Checking
26 Settembre 2001, Università degli Studi di Salerno, dott. P. D’Arco, Università degli
Studi di Salerno
• Animazione di Algoritmi sulla Rete
3 Ottobre 2001, Università degli Studi di Salerno, dott. U. Ferraro Petrillo, Università
degli Studi di Salerno
• Timed Games
10 Ottobre 2001, Università degli Studi di Salerno, dott. M. Faella, Università degli Studi
di Salerno
• User Privacy Issues Regarding Certificates and the TLS Protocol
24 Ottobre 2001, Università degli Studi di Salerno, dott. I. Visconti, Università degli Studi
di Salerno
• Fractional Path Coloring in Bounded Degree Trees
31 Ottobre 2001, Università degli Studi di Salerno, dott. H. Rivano, Univerità Sophia
Antipolis (Francia)
• Secure Metering on the Web
7 Novembre 2001, Università degli Studi di Salerno, dott.ssa B. Masucci, Università degli
Studi di Salerno
2
• Smart Card
14 Novembre 2001, Università degli Studi di Salerno, dott. L. Catuogno, Università degli
Studi di Salerno
• Logica Fuzzy e Soft Computing: un percorso emblematico, 7 Novembre 2001, Università di
Salerno Prof. Antonio Di Nola, Università di Salerno
• Generation of Key Predistribution Schemes
Using Secret Sharing Schemes
28 Novembre 2001, Università degli Studi di Salerno, dott. G. Saez, Università della
Catalogna (Spagna)
• Metodi di Visualizzazione
9 Gennaio 2002, Università degli Studi di Salerno, dott. R. Marmo, Università degli Studi
di Pavia
• Computer Graphics: Parallelizzazione dell’Algoritmo di Ray Tracing
16 Gennaio 2002, Università degli Studi di Salerno, dott. U. Erra, Università degli Studi
di Salerno
• Alcune riflessioni sul controllo fuzzy
16 Gennaio 2002, Università di Salerno, Prof. Vittorio Cafagna, Università di Salerno
• Evolvable Hardware and Soft Computing
4 Giugno, 2002, Università degli Studi di Salerno, Dr. Adrian Stoica, Jet Propulsion
Laboratory, California Institute of Technology, USA.
• Fuzzy Neural Networks and Data Mining
12 Luglio 2002, Università degli Studi di Salerno, Prof. W. Pedrycz, Università dell’Alberta
(CA)
• An Enhancement of Mamdani-Assilian Controller
17 Settembre, 2002, Università di Salerno, Prof. M. Navara, Czech Technical University.
• Un invito alla probabilità MV- Algebrica
21 Gennaio 2003, Università degli Studi di Salerno, Prof. D. Mundici, Università degli
Studi di Firenze
• Verso una personalizzazione dei modelli utente per un commercio elettronico mirato
28 Gennaio 2003, Università degli Studi di Salerno, Dr. Chiara Morici, Università di
Perugia
• Soft Computing Methodologies for Data Analysis
6 Febbraio 2003, Università degli Studi di Salerno, Dott. A. Ciaramella, Università degli
Studi di Salerno
• Non Commutative Algebras of Logic
27 Maggio 2003, Università degli Studi di Salerno, Prof. P. Flondor, University of Bucarest
3
• Soft Computing as a synergy of continuous and discrete mathematics:ideas and prospectives
17 Giugno 2003, Università degli Studi di Salerno, Prof. Prof. Vladik Krenovich, University of Texas
• Triangular Norms as Fuzzy Conjunctions: which are better?
8 Ottobre 2003, Università degli Studi di Salerno, Prof. M. Navara, Czech Technical
University.
Seminari presentati
• A Brief Survey on Clustering with Objective Function Models for Pattern Recognition
21 Maggio, 2001, Università degli Studi di Salerno
• Neural Networks and Fuzzy Logic in Astronomical Data Mining
5 Dicembre 2001, Università degli Studi di Salerno
• Neural Networks Data Mining Tools for Astronomical Data
15 Gennaio 2002, Università degli Studi di Salerno, corso di “Reti Neurali”, Prof. Roberto
Tagliaferri
• Data Mining and Neural Networks
29 Maggio 2003, Università degli Studi di Salerno,
Convegni
Il sottoscritto ha partecipato ai seguenti convegni:
• VST Day
Osservatorio Astronomico di Capodimonte, 30 - 31 Gennaio, 2001
• Conference on the Role of Natural Languages
in Information Processing and Power System Control
Università degli Studi di Salerno, 3 Aprile, 2001
• WIRN Vietri‘01 XI Italian Workshop on Neural Nets
IIASS “Eduardo R. Caianiello, Vietri sul Mare (SA), 17 - 19 Maggio, 2001
• International Conference IFSA / NAFIPS 2001
Vancouver, Canada 25 - 28 Luglio, 2001
• European Meeting on Independent Component Analysis
IIASS “Eduardo R. Caianiello, Vietri sul Mare (SA), 21 - 23 Febbraio, 2002
• Toward an International Virtual Observatory
ESO/ESA/NASA/NSF Astronomy Conference, Garching, Germania, Giugno 10 - 14,2002
4
• WIRN Vietri ‘02 XII Italian Workshop on Neural Nets
IIASS “Eduardo R. Caianiello, Vietri sul Mare (SA), 30 Maggio - 1 Giugno 2002
• WIRN Vietri ‘03 XII Italian Workshop on Neural Nets
IIASS “Eduardo R. Caianiello, Vietri sul Mare (SA), 5-7 Giugno 2003
• WILF 2003 International Workshop on Fuzzy Logic
Palazzo Serra di Cassano, Napoli , 9-11 Ottobre 2003
Attività di referee
Il sottoscritto ha fatto da referee per diversi articoli presentati ai convegni IJCNN 2000, IJCNN
2002, WIRN‘01, WIRN‘02 e WIRN‘03, SEKE‘03, per la riviste Neural Networks, IEEE Transaction on System, Man and Cybernetics. Part B: Cybernetics, International Journal of Soft
Computing.
Attività di supporto didattico
Antonino Staiano ha avuto attività di collaborazione didattica con i Proff. R. Tagliaferri,
M.I. Sessa e R. Cerulli dell’Università degli Studi di Salerno, per i corsi di Architettura degli
Elaboratori, Programmazione I, Reti Neurali e Ricerca Operativa.
Collaborazioni Scientifiche
Antonino Staiano ha avuto le seguenti collaborazioni scientifiche:
• Prof. Roberto Tagliaferri, Dipartimento di Matematica ed Informatica, Università di
Salerno
• Prof. Giancarlo Raiconi, Dipartimento di Matematica ed Informatica, Università di Salerno
• Prof. Vincenzo Loia, Dipartimento di Matematica ed Informatica, Università di Salerno
• Prof. Bruno D’Argenio, Istituto Geomare Sud, CNR, Napoli
• Prof. Giuseppe Longo, Dipartimento di Scienze Fisiche, Università di Napoli “Federico II
• Prof. A. Di Nola, Dipartimento di Matematica ed Informatica, Università di Salerno
• Prof. S. Sessa, Dipartimento di Costruzioni e Metodi Matematici in Architettura, Università di Napoli
• Prof. W. Pedrycz, Dept. of Electrical and Computer Engineering, University of Edmonton,
Canada
• Prof. Piero Benvenuti, Istituto Nazionale di Astrofisica e Agenzia Spaziale Europea
• Dr. Alberto Micol, European Southern Observatory
5
Collaborazioni scientifiche presso enti-università estere
Il dott. A. Staiano è stato ospite presso i seguenti enti:
• Department of Electrical and Computer Engineering, University of Edmonton, Canada,
dal 10 Luglio al 10 Settembre 2001, per svolgere una collaborazione scientifica con il Prof.
W. Pedrycz.
• Space Telescope European Coordinating Facility, European Southern Observatory, Garching, Germania, dal 6 Ottobre al 20 Dicembre 2002, pre svolgere una collaborazione scientifica con il Prof. Piero Benvenuti.
Attività di ricerca
Gli argomenti approfonditi nell’attività di ricerca dal sottoscritto sono:
• Applicazione di Reti Neurali Non Supervisionate per Data Mining Astronomico
Negli ultimi anni c’è stato un crescente interesse nei confronti delle applicazioni astronomiche delle reti neurali anche se, nonostante la grande varietà di problemi affrontati,
molti applicazioni fanno ancora uso di un ristretto insieme di modelli neurali. Tale situazione è avviata a modificarsi data l’impressionante crescita sia della qualità che della
quantità di dati che sta diventando disponibile alla comunità astronomica. Si prevede
che in meno di cinque anni, molto più di 10TB di dati saranno acquisiti nel mondo ogni
notte e, molti di questi dati saranno disponibili agli astronomi via rete. Questi enormi ed
eterogenei data set apriranno possibilità fino ad oggi impensabili, sebbene sia chiaro che il
loro sfruttamento scientifico richiederà l’implementazione di strumenti automatici capaci
di effettuare una larga parte dei lavori di routine di data reduction, data mining a data
analysis [11]. In questo affascinante contesto la ricerca è stata focalizzata per lo studio di
due differenti tipologie di problemi: (1) studio e visualizzazione di cataloghi astronomici
multiparametrici contenenti informazioni fotometriche e morfologiche di un elevato numero
(tra i 20000 e i 70000) di oggetti astronomici (stelle e galassie); (2) studio e visualizzazione
di dati di telemetria dei telescopi, mirati alla classificazione delle immagini acquisite sulla
base della qualità .
– (1) Cataloghi GOODS. Il Great Observatories Origins Deep Survey (GOODS) è una
survey pubblica, multi lunghezza d’onda che coprirà due campi di 150 arcmin2 . Il
gruppo di ricerca GOODS ha sede presso lo European Southern Observatory, Garching (Germania), il quale ha fornito due cataloghi preliminari. Il primo catalogo contiene oggetti rilevati nelle bande di colore U, B, V, R, I, mentre il secondo è relativo
alle bande di colore U, B, V, R, I, J e K. Qui lo scopo della ricerca è di utilizzare
metodologie basate su reti neurali non supervisionate per lo studio delle relazioni tra
oggetti situati in locazione astronomiche differenti e per l’identificazione di eventuali
oggetti rari o outliers [26],[24],[25].
6
– (2) Telemetria Telescopio Nazionale Galileo (TNG) L’obiettivo dello studio dei dati di
telemetria è di costruire un sistema automatico non supervisionato basato su modelli
neurali che consenta di analizzare i dati dei sensori del telescopio per identificare le
sessioni osservative che portano all’acquisizione di immagini di cattiva qualità, allo
scopo di interrompere il tracking di un oggetto.
Tra le metodologie non supervisionate adottate, possiamo citare:
le Self Organizing Map [6], le quali costituiscono un’architettura di rete neurale per l’apprendimento non supervisionato. I neuroni che formano una rete SOM sono disposti su
di una griglia bi-dimensionale ed ognuno di essi ha un peso associato della dimensione dei
dati di input e denominato reference vector. I neuroni competono tra loro: quando un
dato di input x è presentato alla rete, il neurone ad esso più vicino (in senso topologico)
è attivato secondo un’opportuna metrica (generalmente euclidea). In questo modo il peso
associato al neurone vincitore (denominato anche Best Matching Unit) viene aggiornato in
modo da essere più simile al vettore di input per il quale ha vinto la competizione. Inoltre,
anche i pesi dei neuroni vicini (in senso topologico) al neurone vincitore sono aggiornati.
In questo modo, alla fine della fase di apprendimento la griglia di neuroni si auto-organizza
in aree, ognuna delle quali corrisponde a gruppi di dati di input simili. Questa caratteristica viene sfruttata sia per scopi di clustering che per data visualization [12]. Da quando
sono state proposte [7], esse hanno avuto un considerevole successo in un’ampia gamma di
applicazioni e sono state oggetto di numerosi lavori di ricerca. Tuttavia, esse mancano di
basi teoriche ben fondate e sono generalmente motivate da argomenti euristici. Le SOM
consentono solo un’approssimazione della funzione densità di probabilità dei dati di input.
Inoltre le proprietà di convergenza non sono state provate. Queste sono le motivazioni
alla base dello sviluppo dello Generative Topographic Mapping [5], un modello generativo
(ovvero che costruisce a funzione densità di probabilità nello spazio dei dati) a variabili
latenti (tale modello di densità di probabilità è espresso in termini di un insieme di variabili di dimensione inferiore rispetto alla dimensione originale dello spazio dei dati). La
corrispondenza tra lo spazio latente e lo spazio dei dati è realizzato mediante la costruzione
di un opportuno mapping non lineare (generalmente mediante una rete neurale con funzioni radiali di base). Poichè lo spazio latente ha dimensione 2 o 3 è possibile visualizzare
la distribuzione dei dati di input in termini della distribuzione di probabilità nello spazio
latente.
Il GTM offre diversi vantaggi rispetto alle SOM: 1) modello parametrico superiore 2) numero minore di parametri da impostare 3) la convergenza è garantita. Le PPS [10] sono
una generalizzazione del GTM e rappresentano uno strumento che fornisce prestazioni efficienti anche quando la dimensione dello spazio dei dati è molto grande. Le PPS sferiche
in particolare, sono in grado di modellare i dati di input di dimensione molto elevata, in
quanto catturano il comportamento dei dati che si localizzano nelle aree di confine dello
spazio multi-dimensionale, una situazione questa conseguenza della curse of dimensionality(maledizione delle alte dimensioni) che si manifesta in spazi di dimensione elevata. La
ricerca è stata incentrata nello studio delle prestazioni dei modelli fin ora descritti con dati
complessi come quelli di natura astronomica, precedentemente menzionati. Un ulteriore
studio riguarda l’utilizzo di Gerarchie di GTM [13], ovvero un’architettura ad albero in
7
cui ogni nodo consiste di un singolo modello GTM. La motivazione alla base di queste
strutture è che la visualizzazione dei dati a due dimensioni può non essere adeguata a
comprendere aspetti interessanti di dati scientifici complessi. Una gerarchia di GTM invece consente di focalizzarsi in zone dello spazio di input particolarmente complesse (zone
con molto overlap) visualizzate nei livelli più alti della struttura ad albero, scomponendole
in varie sotto zone (il che corrisponde a scendere nei livelli dell’albero). Attualmente si
sta valutando la possibilità di generalizzare queste strutture costruendo delle gerarchie di
PPS, studio, quest’ultimo non ancora intrapreso in letteratura.
• Ensemble of Learning Machines
L’utilità dei metodi descritti per la tipologia dei problemi e dei dati in esame, ha suggerito
la possibilità di progettare un modello neurale, costituito dalla combinazione di più modelli
neurali diversi, allo scopo di migliorarne la capacità di generalizzazione.
L’idea nasce da una settore di ricerca che si è andato affermando nel corso degli anni novanta, ovvero, gli ensemble of learning machines.
E’ pratica comune, nelle applicazioni delle reti neurali, effettuare il training di diverse reti
neurali candidate per poi selezionare la migliore, sulla base delle prestazioni su un insieme
indipendente di dati di validazione, ed eliminarne le rimanenti.
Un tale approccio soffre di due svantaggi. Primo, tutto lo sforzo comportato nel training
delle rimanenti reti è sprecato. Secondo, le prestazioni di generalizzazione sull’insieme di
validazione ha una componente casuale dovuta al rumore presente nei dati, per cui la rete
che ha avuto le migliori prestazioni sull’insieme di validazione potrebbe non essere quella
dalle migliori prestazioni su un nuovo insieme di test [4].
Questi svantaggi possono essere superati combinando insieme tali reti per costituire un
ensemble [9],[8]. L’importanza di un tale approccio risiede nel fatto che esso può portare
a notevoli miglioramenti nella predizione di nuovi dati, comportando un piccolo sforzo
computazionale aggiuntivo. Infatti le prestazioni di un ensemble può essere migliore delle
prestazioni del miglior modello impiegato singolarmente.
Questo comportamento è giustificato mediante l’analisi teorica della decomposizione dell’errore di generalizzazione, nota come decomposizione bias-variance [4]. Questi studi sono
stati oggetto di ricerca in numerosi lavori, dove i risultati ottenuti sono ormai consolidati,
tuttavia tali analisi sono per lo più relative a metodi di apprendimento supervisionato.
Le stesse analisi nel campo non supervisionato sono limitate e solo negli ultimi anni hanno
visto la luce lavori in tale ambito. Lo studio è stato pertanto incentrato nello sviluppo di
ensemble di metodi non supervisionati, in particolare ensemble di modelli generativi non
supervisionati per la determinazione della funzione densità di probabilità dei dati di input.
Le tecniche adottate ed adattate per gli scopi specifici sono la stacked density estimation
[20],[21], il bagging [3] e la combinazione dei due, mediante le quali si combinano le funzioni
densità di probabilità che si ottengono con il GTM e le PPS.
I nuovi modelli ottenuti sono stati applicati, per scopi di classificazione, ai dati astronomici descritti nella sezione precedente. In particolare, si calcolano le funzioni di densità di
probabilità per ogni classe, dopodichè , sfruttando il teorema di Bayes, si ottengono le
8
probabilità condizionate a posteriori per ciascuna classe. In questo modo si assegna un
oggetto alla classe che ha probabilità a posteriori maggiore.
• Algoritmi di Clustering
Nell’ambito del Pattern Recognition, gli algoritmi di clustering costituiscono un settore
studiato da decenni. Essi trovano applicazione in svariati campi, come Data Mining, Image Processing, Information Retrieval [23]. Un algoritmo di clustering si pone l’obiettivo
di determinare dei sottogruppi (cluster) in una distribuzione di dati (pattern) di input.
L’insieme di cluster determinato, deve essere tale che dati appartenenti ad uno stesso cluster siano quanto più simili possibile e dati appartenenti a cluster differenti siano quanto
più dissimili. La misura di similarità è fornita generalmente dalla metrica euclidea, anche
se è possibile adottare metriche differenti. A seconda se i cluster possono condividere o
meno uno o più pattern si parla, rispettivamente, di fuzzy clustering e hard clustering.
Gli algoritmi di clustering sono utilizzati inoltre per il training delle reti neurali con funzioni
radiali di base (RBFNN) [4]. Queste reti rappresentano un’alternativa alle più comunemente usate reti neurali Multilayer Perceptron (MLP) basate su algoritmo di apprendimento backpropagation. Una RBFNN è una rete neurale a due livelli: un livello hidden,
costituito da un numero fissato di funzioni radiali di base, e da un livello output connesso
allo strato hidden da una matrice di pesi. La caratteristica fondamentale delle RBFNN
è l’algoritmo di apprendimento, il quale costituito da due fasi: in una prima fase, si calcolano i centri delle funzioni radiali di base; nella seconda si ottimizzano i pesi hidden to
output mediante la risoluzione di sistemi di equazioni lineari.
Gli algoritmi di clustering sono inerentemente non supervisionati, in tale contesto, tuttavia, è auspicabile utilizzare anche le informazioni relative allo spazio di output durante il
processo di clustering, per meglio guidare la computazione dei centri delle funzioni radiali
di base. Numerosi lavori sono stati pubblicati in questo ambito [17], [16], [15], ed i relativi
algoritmi di clustering descritti sono denominati input-output clustering.
In questo contesto la ricerca è stata indirizzata nello studio e nello sviluppo di due algoritmi di clustering di tipo input-output e denominati supervisionati. Un primo [26], estende
il funzionale del classico algoritmo fuzzy c-means [22] aggiungendo la variabile di output associata ad ogni pattern di input ed introducendo un meccanismo di ottimizzazione
della funzione obiettivo basato su algoritmi genetici [14]. Il secondo algoritmo[1], [2], si
basa anch’esso sul fuzzy c-means tuttavia, qui l’idea è leggermente differente: si costruisce
sullo spazio di output un modello di regressione lineare [19]. Tale modello è costruito
mediante la combinazione lineare di un numero fissato di modelli di regressione lineare
locali. La funzione obiettivo dell’algoritmo di clustering proposto contiene, pertanto, un
termine aggiuntivo che rappresenta la differenza tra la variabile di output e la variabile
di output predetta dal modello di regressione lineare. In questo modo la determinazione
dei cluster avviene sulla base sia dei dati nello spazio di input che dei dati nello spazio
di output. I risultati ottenuti, utilizzando l’algoritmo descritto, congiuntamente ad una
RBFNN, mostrano l’efficacia del modello proposto, e si dimostrano superiori rispetto ad
altri algoritmi di clustering di tipo input-output.
9
Bibliografia
Di seguito sono elencati alcuni dei lavori più significativi pubblicati o sottomessi:
• Advanced Data Mining Tools for Exploring Large Astronomical Data Bases
G. Longo, R. Tagliaferri, S. Sessa, P. Ortiz, M. Capaccioli, A. Ciaramella, C. Donalek, G.
Raiconi, A. Staiano, A. Volpicelli
Proceedings of SPIE’s 46th Annual Meeting International Symposium on Optical Science
and Technology, 2001, San Diego, CA, USA, vol. 4477, pp. 107-113
In questo articolo sono presentati alcuni metodi di Soft Computing per la classificazione e
la visualizzazione delle caratteristiche di grandi data set.
I metodi usati per l’analisi sono basati sulle Self Organizing Maps (SOM), Generative Topographic Mapping (GTM) e Fuzzy Similarities (FS).
Il metodo SOM viene utilizzato per la clusterizzazione in spazi multi-parametrici, il metodo
GTM per il data mining e la visualizzazione, e il metodo basato sulle FS per Star/Galaxies
classification.
Questa analisi preliminare deriva dalla necessità di elaborare grandi quantità di dati
derivanti dal “VLT Survey Telescope” o VST. Il VST è un telescopio di 2.6m costruito dall’Osservatorio Astronomico di Capodimonte di Napoli in collaborazione con l’ESO
(European Southern Observatory), che sarà installato a metà del 2004 al Cerro Paranal in
Cile.
• Fuzzy Similarities in Stars/Galaxies Classification
S. Sessa , R. Tagliaferri, G. Longo, A. Ciaramella, A. Staiano
Proceedings of the IEEE-SMC02 Conference, 2002, Hammamet, Tunisia.
In questo articolo viene proposta una tecnica basata sulle “Fuzzy Similarity” e sulle “ordinal sums” per la classificazione di Stelle e Galassie (S/G) nell’ambito del data mining
astronomico. Per il calcolo dei prototipi S/G necessari per la classificazione viene usato il
metodo del fuzzy c-Means. Come evidenziato dai risultati sperimentali di classificazione
ottenuti, il modello presenta buone performance di classificazione.
• Supervised Fuzzy Clustering Algorithm for Training Radial Basis Function
Neural Networks for Regression Problems
A. Staiano, R. Tagliaferri e W. Pedrycz
sottomesso a IEEE Transaction on Neural Networks.
In quest articolo introduciamo una nuova tecnica di clustering nell’ambito dell’apprendimento di reti neurali con funzioni radiali di base.
Gli algoritmi di clustering sono spesso usati per determinare i centri delle funzioni di base
delle RBFNN. L’algoritmo proposto opera il processo di clustering sulla base dei dati distribuiti nello spazio di input e sfruttando anche le informazioni associate allo spazio di
output, ivi costruendo un modello di regressione lineare.
Le prestazioni delle RBFNN addestrate con il nostro algoritmo mostrano risultati superiori
rispetto ale stesse reti addestrate con altri algoritmi di clustering input-output proposti in
letteratura.
10
• Neural Networks in Astronomy
R. Tagliaferri R., G. Longo, A. Staiano A. et al.
Neural Networks Special Issue on Neural Network Analysis of Complex Scientific Data:
Astronomy and Geosciences, Vol. 16, N. 3-4, Aprile-Maggio 2003
In questa review rivisitiamo, con una panoramica completa, le applicazioni di reti neurali,
e più in generale di tecniche di soft computing, a problemi astronomici. Dopo una rivisitazione del background metodologico, ci si focalizza su alcuni dei campi di applicazione più
interessanti: estrazione e classificazione di oggetti, analisi di serie temporali, identificazione
del rumore e data mining.
• A Supervised Fuzzy Clustering for Radial Basis Function Neural Networks
Training
A. Staiano, R. Tagliaferri, D. Scala
Proceedings Ifsa-Nafips World Conference, Vancouver, July 2001.
In questo articolo si propone una prima versione di un algoritmo di clustering input-output
basato su algoritmi genetici per la fase di apprendimento delle reti neurali con funzioni
radiali di base, successivamente rivista e modificata in [1].
L’idea consiste nell’estendere il funzionale dell’algoritmo di fuzzy clustering c-means aggiungendo la variabile di output. La componente genetica è stata introdotta per alleviare
sia la tendenza del fuzzy c-means a cadere nei minimi locali nella fase di ottimizzazione
del suo funzionale e sia la dipendenza dall’inizializzazione dei parametri.
• Applications of Neural Networks in Astronomy and Astro- particle Physics
R. Tagliaferri, G. Longo, A. Staiano et al.
invited review su Recent Research Developments in Astronomy and Astrophysics by Research Signpost, sottomesso.
Questa review estende la review precedente presentata su Neural Networks, presentando
gli ultimi risultati ottenuti sia in astronomia con particolare riferimento agli esperimenti
effettuati sui cataloghi GOODS con le Self Organizing Maps, che nella fisica delle astro
particelle.
• An Evolutionary Approach to Spatial Fuzzy Clustering
A. Di Nola, V. Loia, A. Staiano
Fuzzy Optimization and Decision Making Vol. 1, 195-219, 2002
In questo articolo è proposta una metodologia di clustering fuzzy di tipo genetico.
L’algoritmo è di tipo non supervisionato ed basato sul classico fuzzy c-means opportunamente modificato allo scopo di cercate la migliore partizione fuzzy dello spazio dei dati
assumendo che la valutazione di ogni oggetto rispetto ad alcune features sia sconosciuta,
ma sapendo piuttosto, che l’oggetto stesso appartiene ad una regione circolare dello spazio
di input.
Viene, inoltre, presentata un’implementazione Java dell’algoritmo, che fornisce un ambiente grafico completo ed efficiente per l’impostazione dei parametri dell’algoritmo e per
studiarne le sue prestazioni.
11
• Self Organizing Maps for Astronomical Data Mining
A. Staiano
Technical Report European Southern Observatory, Space Telescope European Coordinating Facility, Garching Bei Muenchen, Germania, Dicembre 2002.
In questo technical report, presentato allo European Southern Observatory (Garching,
Germania), sono state studiate le potenzialità delle Self Organizing Maps (SOM) quando applicate a dati reali molto complessi, quali quelli astronomici. Le SOM sono state
applicate a due differenti cataloghi GOODS, rispettivamente nelle bande di colore U, B,
V, R, I ed U, B, V, R, I, J, K. I risultati mostrano l’utilità delle SOM come strumento
di visualizzazione di dati multidimensionali che deve essere integrato in un tool per Data
Mining a più ampio respiro.
Baronissi, 31 Ottobre 2003
Antonino Staiano
12
Riferimenti bibliografici
[1] A. Staiano, R. Tagliaferri, W. Pedrycz, Supervised Fuzzy Clustering for Training RBF
Neural Networks for Regression Problems, sottomesso a IEEE on Neural Networks
[2] A. Staiano, R. Tagliaferri, W. Pedrycz, Linear Regression Model-Guided Clustering for
Training RBF Networks for Regression Problems, Proceeding WILF 2003, October 2003
[3] L. Breiman, Bagging Predictors, University of California, Dept. of Statistics, TR 421, 1994.
[4] C. M. Bishop, Neural Networks for Pattern Recognition, Oxford University Press, 1995.
[5] C. M. Bishop, M. Svensen, C.K.I. Williams, GTM: The Generative Topographic Mapping,
Neural Computation, 10(1), 1998.
[6] T. Kohonen, Self-Organizing Maps, Springer-Verlag, Berlin, 1995.
[7] T. Kohonen, Self-Organized Formation of Topologically Correct feature Maps, Biological
Cybernetics, 1982.
[8] M.P. Perrone, General averaging results for convex optimization, Proceedings 1993
Connectionist Models Summer School, 1994.
[9] M.P. Perrone, L.N. Cooper, When networks disagree: ensemble methods for hybrid neural
networks, Artificial Neural networks for Speech and Vision, London: Chapman and Hall,
1993
[10] K. Chang, J. Ghosh, A unified Model for Probabilistic Principal Surfaces, IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, NO. 1, 2001
[11] R. Tagliaferri, G. Longo, A. Staiano et al., Neural Networks in Astronomy, Neural Networks,
Special Issue on Applications of Neural Networks to Astrophysics and Geosciences, R.
Tagliaferri, G. Longo, D’Argenio B. eds., 2003
[12] Vesanto J., 1997, Ph.D. Thesis, Helsinky University of Technology
[13] P. Tino, I. Nabney, Constructing localized non-linear projection manifolds i a principled
way: hierarchical GTM. Technical Report, 2000.
[14] D.E, Goldberg, Genetic Algorithms in Search, Optimization and Machine Learning,
Addison-Wesley, Reading, MA, 1989.
[15] Gonzales, J., Rojas, I., Pomares, H., Ortega,J., Prieto, A., A New Clustering Technique for
Function Approximation, IEEE Transaction On Neural Networks, 13, NO. 1, 2002.
[16] W. Pedrycz, Conditional Fuzzy Clustering in the Design of Radial Basis Function Neural
Networks, IEEE Transaction on Neural Networks, vol. 9, NO. 4, pp. 601-612, 1998.
[17] W. Pedrycz, Conditional Fuzzy C-Means, Pattern Recognition Letters, vol. 17, pp. 625-632,
1996.
13
[18] R. Tagliaferri, A. Staiano, D. Scala, A Supervised Fuzzy Clustering for Radial Basis
Function Neural Networks Training, Joint 9th IFSA World Conference and 20th Nafips
International Conference Vanco8uver (Canada), vol. 3, pp. 1804-1809, 2001.
[19] T. Hastie, R. Tibshirami, J. Friedman, The Elements of Statistical Learning: Data Mining,
Inference and Prediction, Springer-Verlag, 2001.
[20] D.H. Wolpert, Stacked Generalization, Neural Networks, 5, 1992.
[21] D.H. Wolpert, P. Smyth, Stacked Density Estimation, Advances in Neural Processing
Systems, 1997.
[22] J.C. Bezdek, Pattern Recognition with Fuzzy Objective Function Algorithms, Plenum Press
New York, U.S.A., 1981.
[23] J.C. Bezdek, J. Keller, R. Krisnapuram, N.R. Pal, Fuzzy Models and Algorithms for Pattern
Recognition and Image Processing, Kluwer Academic Publisher, 1999.
[24] G. Longo, R. Tagliaferri, A. Staiano et al., Data Mining of large astronomical databases
with neural tools, Proc. SPIE 2002 Waikoloa Hawai, vol. 4847-49, pp. 265-276, 2002
[25] G. Longo, R. Tagliaferri, A. Staiano et al., Artificial Intelligence tools for data mining in large astronomical databases, ESO/ESA/NASA Conference, Steps Towards an
International Virtual Observatory, Garching, June 2002
[26] G. Longo, R. Tagliaferri, A. Staiano et al., Advanced data mining tools for exploring large
astronomical databases, Proc. SPIE 2001 San Diego USA, vol. 4477, pp. 61-75, 2001
14