LA VALUTAZIONE dei FLUSSI COMUNICATIVI

LA VALUTAZIONE dei FLUSSI
COMUNICATIVI:
Testi in Rete e Reti di Testi
Giuseppe Giordano & Maria Prosperina Vitale
Dip. di Scienze Economiche e Statistiche - Università di Salerno
[email protected]; [email protected]
Sommario
z
z
z
Il problema della valutazione nell’e-learning:
le comunità virtuali di apprendimento;
L’Analisi delle Reti Sociali e l’Analisi dei Dati
Testuali;
La creazione di un ambiente integrato per
monitorare e valutare le performance in un
processo formativo a distanza.
Lo studio dei flussi comunicativi in ambienti di
apprendimento online
Dimensioni fondamentali nella progettazione di un
percorso di apprendimento in rete (Khan, 2004)
z
Dimensione tecnologica
z
Dimensionale istituzionale
z
Dimensione pedagogica
z
Dimensione di progettazione e gestione
z
Dimensione valutativa
Dimensione valutativa
Le caratteristiche dei processi di formazione a distanza chiamano
in causa nuovi indicatori e metodi di rilevazione per l’attività di
monitoraggio e valutazione, la cui complessità dipende dalle
componenti tecnologiche e comunicative
(analisi dei contenuti, grado di interazione, ecc.)
Accanto all’attività di monitoraggio per verificare il numero di accessi,
la durata del collegamento, le pagine più visitate, …
Si rende necessario avviare una fase di valutazione dell’efficacia dei
corsi e dei risultati raggiunti
… considerando nuove dimensioni nel processo di valutazione.
Come Valutare
z
z
z
Monitoraggio messo a disposizione dalla piattaforma;
Valutazione soggettiva da parte del docente relativamente
all’andamento del corso erogato;
Valutazione dell’efficacia dei corsi da parte degli studenti che
hanno partecipato a tale iniziativa:
Schede di valutazione da sottoporre allo studente interessato a
tale iniziativa sia nella fase iniziale di orientamento alla
piattaforma sia al termine del corso seguito.
Valutazione dei processi comunicativi nell’aula virtuale
Indicatori
Fattori nella valutazione dell’apprendimento collaborativo:
- Grado di apprendimento
- Abilità comunicative
- Relazioni sociali
- Autovalutazione
•
•
•
•
•
•
•
•
•
•
•
•
Iniziative di dialogo
Chiedere informazioni
Dare informazione
Chiarimenti
Descrivere i propri sentimenti
Empatia
Incoraggiamento
Mostrare interesse
Gestire i conflitti e le opinioni divergenti
Leadership
Disponibilità ad aiutare
Essere competitivo
Analisi delle interazioni in forum di
discussione asincrona
Classe virtuale
Flussi comunicativi,
scambio di
informazioni
Studente-Studente
Docente-Studente
Apprendimento collaborativo
Interazione sociale
Emergenze cognitive
L‘Analisi delle Reti Sociali:
ambiti applicativi
La SNA trova applicazione in numerosi ambiti nelle scienze sociali,
sociologico, antropologico, psicologico ed economico, …è stata
utilmente impiegata nello studio di diversi fenomeni, come il
commercio internazionale, la diffusione dell'informazione, lo studio
delle istituzioni, il capitale sociale…
…e per l’Analisi delle interazioni e degli scambi
comunicativi in comunità di apprendimento online
(De Luca et al. 2004; Garton L. et al., 1997; Giordano & Vitale, 2006; Mazzoni,
2004, 2005; Temdee et al., 2003; Zhu, 2003)
L’organizzazione dei dati relazionali attraverso matrici
dalla matrice di affiliazione…
n1 n2 n3 . ni . . . ng
n1
n2
n3
.
ni
.
.
.
ng
E1 E2 … Ej … Eh
n1
n2
n3
.
ni
.
.
.
ng
E1 E2 … Ej … Eh
…alle matrici di adiacenza
Matrice quadrata “caso per caso”.
Questa matrice rappresenta le effettive
relazioni o legami tra gli attori; filtrati dalle
comuni relazioni o contatti. Le singole
celle mostrano se coppie di individui sono
legate da una comune affiliazione
E1
E2
…
Ej
…
Eh
Matrice quadrata “affiliazione per
affiliazione”. Le celle di questa matrice
indicano se le coppie di affiliazioni
corrispondenti sono legate per mezzo di attori
comuni.
Dati relazionali e Matrici di riferimento
Messaggistica privata
Matrice di adiacenza
Destinatari
Mittenti
n1 n2 n3 . ni . . . ng
n1
n2
n3
.
ni
.
.
.
ng
0
0
0
0
0
0
0
0
Nella matrice dei dati degli scambi tra
gli studenti di una comunità virtuale
di apprendimento, matrice di
adiacenza (binaria o con valori
numerici), sulle righe sono riportati
gli studenti che inviano messaggi
(mittenti), mentre sulle colonne i
destinatari dei messaggi
Dati relazionali e Matrici di riferimento
Forum di discussione
Matrice di affiliazione
Tematiche discusse
Studenti/Docente
E1 E2 … Ej … Eh
La matrice dei dati racchiude le tematiche
discusse dagli studenti di una comunità
virtuale di apprendimento.
Matrice di affiliazione: sulle righe sono
riportati gli studenti e/o i docenti che
discutono di tematiche, mentre sulle colonne
le diverse tematiche discusse. Nelle celle
interne alla matrice troviamo valori binari: 1
se l’individuo ha partecipato alla discussione,
0 in caso contrario.
n1
n2
n3
.
ni
.
.
.
ng
Analisi multidimensionale dei dati
Matrice dei dati
Matrici di analizzare
Rappresentazione grafiche
individui x variabili
Correlation/Association
Matrix
1……
1
.
.
.
c1
..
..
p
b1
.
bi
1
F Î
.
.
f ij
bq
f .j
cp1
c ji
..
..
..
a1
c pp
1…………….. n
aj ... ap
.
c1 p
Distance Matrix
Contingency Table
a1 …
..
cij
.
.
.
.
.
a2
….. p
f i.
0
..
..
.
.
.
..
d1n
dij
.
.
.
.
.
n
dn1
d ji
.. ..
..
0
2
4
16
15
46
20
44
47
13
35
8
3
32
19
25
37
38
34
17
42
18
28
48
27
14
43
21
40
7
5
51
50
12
36
10
26
MAPPE FATTORIALI
gruppi di individui
interazioni
tra variabili
interazioni
tra righe e
colonne
I METODI FATTORIALI:
•
Analisi in Componenti Principali
•
Analisi delle Corrispondenze
•
Analisi Fattoriale Discriminante
•
Analisi delle Correlazioni Canoniche
Con l’affermarsi e il diffondersi di strumenti informatici adeguati, sia dal lato
hardware che software, è stato possibile sviluppare delle tecniche d’analisi
della lingua sempre più sofisticate
Gli studi sul linguaggio naturale originariamente intrapresi da linguisti, sociologi e
psicologi, sono stati affiancati dal lavoro che informatici e statistici, partendo spesso da
prospettive e problematiche diverse, hanno effettuato sui dati testuali
I due orientamenti della ricerca, qualitativo/quantitativo, si muovono ed evolvono
seguendo linee separate, ma non di rado gli approcci si “confondono” nel tentativo di
analizzare il fenomeno linguistico in tutti i suoi aspetti
Gli approcci di Analisi Testuale che si basano su metodologie statistiche fanno
riferimento a strumenti di tipo quantitativo per trattare le unità linguistiche contenute
in una raccolta di testi. E’ in particolare alla scuola francese di Analyse des Donneés che
va il merito di aver determinato un notevole salto di qualità nell’analisi dei dati testuali e
aver prodotto le prime proposte metodologiche
Volendo adottare per l’analisi dell’informazione testuale una terminologia nota,
risulta necessario individuare correttamente le diverse entità in gioco
Collettivo
Dato Statistico
Distribuzione
Raccolta coerente di materiale testuale,
omogenea rispetto a date caratteristiche
d’interesse (corpus )
Numero di volte (occorrenza ) in cui
ciascuna unità linguistica considerata si
presenta nel corpus in esame
Il vocabolario, costituito da tutte le diverse
unità linguistiche che compongono il
corpus
Il modo in cui l’informazione è rappresentata dipende dalle unità d’analisi e dalle
regole del linguaggio naturale ritenute significative per il loro riconoscimento e
combinazione
Per esprimere l’informazione contenuta nel corpus in modo compatto e in un formato tale da poter
essere trattata statisticamente è opportuno effettuare una serie di operazioni
Criticità
Disambiguazione
Contenuto informativo
Codifica
Organizzazione dei dati
Obiettivo dell’analisi
Tali operazioni, riunite sotto il nome di pre-trattamento del corpus, sono indispensabili perché i testi
scritti in linguaggio naturale non possono essere trattati direttamente per mezzo di algoritmi, essendo
non strutturati e con un basso livello di standardizzazione
Michelangelo Misuraca
Università della Calabria
La visualizzazione di una rete
La teoria dei grafi
Tradizionalmente la posizione degli attori nella rete
nello spazio bidimensionale è irrilevante
[…] the variation in the location of vertices could be used to stress important
structural patterns in the data (Moreno, 1932; Freeman, 2000).
In letteratura sono stati proposti due approcci per posizionare i nodi in una mappa
tenendo conto di criteri di prossimità per identificare il ruolo o le posizioni che
definiscono la struttura dell’attore nella rete, (algoritmico (Multidimensional Scaling, Spring
Embedding, Graph Layout Algorithms); e algebrico (Singular Value Decomposition)
(Freeman, 2005; DeJordy et al, )
Dalla struttura di grafo a misure metriche – distanze fisiche – per
visualizzare dati relazionali
Aggiornamento in tempo reale
Strategia di analisi
Database statistico
Matrice dei
dati testuali
Matrice
delle adiacenze
(vocabolario +
variabili ausiliare)
(Teoria dei grafi)
Network analysis
in uno spazio metrico
(Analisi fattoriale)
Indicatori
Strategia di analisi: Il forum di LIFE
Comunicazione:
• uno-molti
• molti-molti
Temi di discussione
Strategia di analisi: Valutazione dei flussi di comunicazione in
un’aula virtuale
Dinamiche legate all’interazione orizzontale tra pari in un
gruppo di discussione asincrono
Threads
……………
……………
……………
……………
……………
……………
……………
……………
……………
……………
Strategia di analisi:
Dai dati ai metadati
Dai metadati all’analisi
Forum
Corpus del messaggio
Dati grezzi
Informazioni sui messaggi
(es. mittente, oggetto, data invio, ecc.)
Metadati
Trattamento testi
Dati
Vocabolario
Etichettatura dei lemmi
(es. avverbio, verbo, sostantivo, ecc.)
Metadati
Database statistico
Creazione di un insieme di Metadati
Metadati
Dati di partenza: vocabolario
utilizzato nei messaggi degli
studenti e altre informazioni.
Oggetto
Data di invio
Messaggio primo invio
o di risposta
Mittente
Corpo del messaggio
Analisi dei dati testuali
Normalizzazione
Statistiche e Metadati
ƒ tagging semantico (multi-classificazione);
ƒ tagging grammaticale (prefissi, tag,…);
ƒ finestre di import (liste, tabelle) ed export (ricostruzione
corpus);
ƒ output: corpus annotato con CATgramm + CATsem +
funzioni di pulizia del testo; matrice frammenti per forme;
matrice forme per testi.
Costruzione di indicatori della rete
Network Analysis
STATISTICHE della RETE
ANALYSIS DATA OVERVIEW
NETWORK DENSITY
0,5
DISTRIBUTION OF
DEGREE
TITLE
Messages
RELATIONAL
VARIABLE
Message
# OF NODES
39
DIRECTION
Yes
# OF LINKS
230
WEIGHT
Yes
TRANSFORM HISTORY
Messages
VALUE
MEASURES
IN-DEGREE
OUT-DEGREE
SUM
MEAN
STD.DEV.
MIN.
MAX.
741
19
36,501
0
202
741
19
28,322
0
129
# OF ISOLATE
# OF PENDANT
INCLUSIVENESS(%
)
3
10
92,308
1
8
97,436
NUMBER OF NODE TYPE
Isolate
Transmitter
0
Receiver
3
Carrier
1
35
Mappe di posizionamento
Analisi fattoriale dei
dati testuali
Apprendimento collaborativo
Interazioni sociali
Linguaggio tecnico (informtico)
Salvataggio ed Esportazione delle Coordinate
Trattamento statistico dei dati
Integrazione Analisi Fattoriale e
Rappresentazione Teoria dei Grafi
Matrice delle Adiacenze
Mittente
Destinatario
stud1
stud2
stud3 stud4 stud5
stud1
0
4
4
7
stud2
1
0
3
3
0
stud3
2
5
0
8
1
stud4
0
2
6
0
2
stud5
14
1
3
5
0
14
Rappresentazione del GRAFO con
la METRICA dell’ANALISI FATTORIALE
Matrice di Adiacenza Studenti per Studenti che contiene i
messaggi scambiati dagli studenti nel forum di un corso online
un corso online
Matrice di Adiacenza Studenti per Studenti che
contiene i messaggi scambiati dagli studenti nel
forum di un corso online
L’obiettivo che ci si propone è la creazione di un ambiente integrato e di una
strategia di analisi che fornisca strumenti di monitoraggio e di valutazione delle
performance di un processo formativo a distanza con particolare riferimento
alla dimensione dell'interazione comunicativa.
In questo contesto, l'Unità di Salerno, utilizzando le metodologie proprie
dell'Analisi delle Reti Sociali e dell'Analisi dei Dati Testuali, si propone di
lavorare lungo tre direzioni:
1) Costruzione di basi dati di natura eterogenea, individuando i momenti in
cui viene generata l'informazione (ad esempio: interazione con la macchina,
interazione tra soggetti, interazione fra soggetti mediata dalla macchina);
2) Valutazione dell'interazione comunicativa;
3) Determinazione di sintesi e visualizzazione delle relazioni tramite
metodologie di analisi che consentano il trattamento simultaneo di dati di
natura diversa (qualitativi, quantitativi, testuali, relazionali).