Untitled - Agenda INFN

La richiesta di una piattaforma
principalmente dalla necessità di:



dropbox-like
è
motivata
Disporre di un ambiente «sicuro» dove memorizzare i dati degli
utenti (backup e/o conservazione a lungo termine)
Collaborare tra utenti INFN
Disporre di un accesso universale ai propri file (desktop, laptop,
VM, device mobili, etc.)
Da queste esigenze la ricerca di un’infrastruttura in grado di
fornire tale servizio. L’attività è stata focalizzata prevalentemente
su due prodotti:
ownCloud (http://owncloud.org) e AjaXplorer
2/16
(http://ajaxplorer.info)
S. Longo – WS cloud-wg 2013 – CNAF
Environment:
 Web Application (Apache o altro web server)
 PHP5 (≥5,3 + php-gd + php-xml-parser)
 Altri moduli richiesti in funzione dei plug-in installati
Backend Database:
 MySQL
 PostgreSQL
 SQLite
 MariaDB
3/16
S. Longo – WS cloud-wg 2013 – CNAF
Autenticazione:
 Locale
 LDAP(s) o Active Directory
Storage Backends:
 Filesystem locale
 FTP (o FTPS)
 SFTP
 SMB
 WebDAV
4/16




Amazon S3
Dropbox
Google Drive
Openstack Swift
S. Longo – WS cloud-wg 2013 – CNAF
E’ possibile consentire all’utente il «mount» on demand di
aree SMB o IMAP.
Le funzionalità «core» possono essere estese mediante
plug-in.
 Diversi plug-in disponibili out-of-the box (calendario,
contatti, Multimedia/ODF/PDF/Picture viewers, etc.).
 Altri forniti as-is dalla comunità di utenti/sviluppatori
(es.: SAML, dashboards, etc.)
I contenuti possono essere indicizzati e versionati.
5/16
S. Longo – WS cloud-wg 2013 – CNAF
Environment:
 Web Application (Apache o altro web server)
 PHP5 (≥5,1 + php-gd + php-domxml + php-mcrypt)
 Sync clients ottimizzati per uso PHP PECL rsync
 Altri moduli richiesti in funzione dei plugin installati
Backend Database:
 MySQL
 SQLite
 (MariaDB?)
6/16
S. Longo – WS cloud-wg 2013 – CNAF
Autenticazione:
 Locale
 LDAP(s) o Active Directory
 Basic HTTP
 FTP
Storage Backends:
 Filesystem locale
 FTP
 SFTP
 SMB
 WebDAV
7/16







Autenticazione
Remota
(CMS o custom)
AjaXplorer Remoto
SMB
Dropbox
Amazon S3
HP Cloud
MySQL e IMAP
S. Longo – WS cloud-wg 2013 – CNAF
L’applicazione è modulare, le funzionalità vengono fornite
mediante plug-in (anche le funzioni «core»).
Qualora non presenti, ulteriori funzionalità possono essere
implementate estendendo i plug-in (es. Portale GRID).
AjaXplorer permette di definire più «repository» per utenti o
gruppi di utenti, con configurazione personalizzata.
I contenuti possono essere indicizzati e versionati.
AjaXplorer può essere «federato»
8/16
S. Longo – WS cloud-wg 2013 – CNAF
Entrambi i prodotti sono stati testati con il seguente
setup:
 VM con 1 CPU e 2 GB di RAM
 Storage su un volume separato di 1TB
 Database MySQL locale
 Gestione utenza via AAI (LDAP e SAML per ownCloud)
Test effettuati:
 Gestione utenza
 Funzionalità applicazione (viewer/editor, indicizzazione,
etc.)
 Client sincronizzazione
9/16
S. Longo – WS cloud-wg 2013 – CNAF
Gestione utenza:





Utilizzo LDAP AAI: OK
Utilizzo IdP AAI: via SAML, ha
però richiesto una parziale
riscrittura del codice del plugin
Interfaccia di management:
basata
su
lazy-loading.
Inutilizzabile nel contesto INFN
Ricerca utenti: non disponibile
Impostazione parametri utenti:
fattibile solo via DB
10/16





Utilizzo LDAP AAI: OK
Utilizzo
IdP
AAI:
non
disponibile
out-of-the-box.
Possibile via CAS
Interfaccia di management: OK
Ricerca utenti: indicizzazione
solo dopo primo login
Impostazione parametri utenti:
da interfaccia web
S. Longo – WS cloud-wg 2013 – CNAF
Funzionalità applicazione:






Compatibilità browser IE/Firefox
/Chrome: OK
Browsing gerarchico files: solo con
plugin
terze-parti
(piuttosto
pesante)
Viewer/Editor Immagini/PDF: OK
Viewer multimediale: OK
Condivisione file: possibile con
altri utenti di ownCloud (copia o
link). Nessuna gestione permessi
Indicizzazione:
lazy-loading.
Inutilizzabile con molti files






11/16
Compatibilità browser IE/Firefox/
Chrome: OK
Browsing gerarchico files: nativo
Viewer/Editor Immagini/PDF: OK
Viewer multimediale: OK
Condivisione file: diverse modalità
disponibili. File mediante link
pubblico
(con
scadenza
e
password). Le cartelle possono
essere condivise come workspace
o
minisito
(pubblico/privato).
Controllo permessi posix-like.
Indicizzazione: OK.
S. Longo – WS cloud-wg 2013 – CNAF
Sincronizzazione:
Multipiattaforma (C + mirall)
 Disponibile
pacchettizzato per:
Windows, MacOS, Linux, iOS e
Android (a pagamento)
Test sincronizzazione:
 Connessione «stateless»: grosso
carico LDAP. Cache inefficiente
 Versione 1.2.x: memory leak! Con
molti file può non terminare mai.
Possibile corruzione DB!
 Versione
1.4.x: Memory leak
rimosso, migliorate funzionalità.
Continua a non terminare con il
set di file usato per i test.

12/16
Applicazione Java (basata su rsync)
 Disponibile
pacchettizzato per:
Windows, MacOS, iOS e Android.
 Per Linux - non ufficialmente alcuni repository possono fornire il
pacchetto.
 E’ possibile compilare ed eseguire
il codice Java. Come alternativa si
può usare webdav.
 Piuttosto vecchia e mancante di
alcune funzionalità
Test sincronizzazione:
 Qualche errore di esecuzione in
funzione della JRE installata.
 Nessun altro problema rilevante

S. Longo – WS cloud-wg 2013 – CNAF
Il reparto «Servizi Nazionali» del CNAF ha deciso di
implementare un servizio di storage dropbox-like.
In base ai test effettuati si è scelto di utilizzare
AjaXplorer.
Il servizio è attualmente in pre-produzione, disponibile
per gli utenti del CNAF e per alcuni utenti di altre sezioni
che stanno collaborando al progetto.
L’applicazione è disponibile all’indirizzo:
https://pandora.infn.it
13/16
S. Longo – WS cloud-wg 2013 – CNAF
Setup:
 Servizio
implementato in alta affidabilità e alta
disponibilità
 2 VM (2 CPU e 4 GB di RAM l’una) su cluster VMWare + un
Load Balancer con «sticky sessions» (terza VM su Red-Hat
cluster disponibile a breve)
 DBMS MySQL esterno alle VM in HA e replicato (prossima
migrazione su DBMS clusterizzato)
 Storage: 15TB su OCFS2, backend DELL EqualLogic 6110
(prevista possibilità di espansione)
 Assegnati 5GB di default ad ogni utente
 Gestione utenza mediante LDAP AAI
 In fase di studio login mediante CAS (con IdP INFN)
14/16
S. Longo – WS cloud-wg 2013 – CNAF
pandora1.infn.it
(Application Server)
pandora.infn.it
(Load Balancer)
15/16
pandora2.infn.it
(Application Server)
pandora3.infn.it
(Application Server)
DBMS replica
MySQL DBMS
OCFS2 Storage
(DELL EqualLogic)
S. Longo – WS cloud-wg 2013 – CNAF