Rinascita di un museo virtuale con strumenti open source e

Museo virtuale dell'antica Via Flaminia
Behind Livia's Villa
un progetto di ricerca
sulla trasparenza del dato in ambiente 3d Web
S. Pescarin*, E. Demetrescu*, D. Ferdani*, G. Lucci Baldassari*
T. Drevensek**
*CNR ITABC e **FRAUNHOFER
LOW COST 3D: SENSORI, ALGORITMI E APPLICATIONI
Trento, 8-9 Marzo 2012
Museo Virtuale della Via Flaminia Antica:
2008
Dal 2008 - Museo Nazionale Romano (Terme di Diocleziano)
Progetto di realtà virtuale multiutenza (4 utenti)
Esplorazione interattiva di 2 siti (Villa di Livia e Malborghetto) e
filmica di altri
2 (Grottarossa, Ponte Milvio)
sulla Flaminia
www.vhlab.itabc.cnr.it/flaminia
video from min. 3:40
Museo Virtuale della Via Flaminia Antica:
2008
Dati acquisiti con tecniche range based e image based
Modellazione 3d software closed (3d Studio Max)
● modelli ricostruttivi (creazione della villa di I sec d.C.)
● modelli restitutivi (ottimizzazione meshes)
● modellazione characters
-> filmati
software Virtools dev
● licenze runtime (1 server e
4 clients)
Proiettore stereo attivo
Museo Virtuale della Via Flaminia Antica:
2011
> chiusura della sala: giugno 2011
- problemi di manutenzione (personale dei musei non è pronto
a gestire giornalmente in piena autonomia un'installazione
tecnologica)
. spegnimento / accensione
. mancanza di condizionamento > schede grafiche
. licenze run time!! (> 1 mese di chiusura della sala ! Dassault
Systemes)
Il ciclo di vita delle installazioni 3d
● La brevità del ciclo di vita è un problema diffuso
● Crescita esponenziale tra il 1998 e il 2008
● Di 40 casi realizzati solo il 50% è ancora accessibile, il 23%, se si
considerano i casi precedenti il 2009 (c.s. volumi EAC Occasional Papers
Series in corso di stampa).
○ mancanza di accessibilità alla conoscenza
○ mancanza di accessibilità ai dati di studio
○ spreco di risorse quasi esclusivamente pubbliche
● progetti europei come V-MUST.NET (www.v-must.net). Tra le attività di VMUST rientrano alcuni test di ri-utilizzo di asset digitali appartenenti a
progetti non più accessibili e di porting all’interno di nuove piattaforme
aperte.
Museo Virtuale della Via Flaminia Antica:
2012-2014
1. Flaminia Reloaded:
1. porting in Unity 3D
2. focus su creazione di un'esperienza per il visitatore del museo
basata su narrazione e interazione naturale
2. Behind Livia's Villa:
1. Riutilizzo degli asset digitali SOLO DELLA VILLA DI LIVIA (il
sito più importante)
2. Accesso on line dei Dati Multimediali
3. Focus sull'accesso alle informazioni connesse ai dati (metadati)
comprese quelle relative al processo di interpretazione e
ricostruzione (informazioni non accessibili nell'applicazione al
museo)
4. Test di sistema non a plug-in: webGL / X3Dom
Gli assets della Villa di Livia
● Modelli 3d della villa allo stato attuale (.max)
○ meshes ottenute da scanner laser
○ meshes decimate per l'applicazione in realtime
○ textures ottenute da battuta fotografica sul campo
● Modelli 3d della villa ricostruita (.max)
○ modellati direttamente nel software di modellazione a
partire dai dati disponibili e secondo un'ipotesi
ricostruttiva
○ textures preparate a partire da uno studio filologico
Stato dell'arte: la comunicazione fra i
softwares per la modellazione 3D
Problemi nella comunicazione tra i softwares:
● mancanza di uno standard davvero condiviso
● dinamiche commerciali di contenimento del workflow di lavoro
all'interno dei softwares facenti capo alla stessa società
Un virtuoso precedente: Open EXR (http://www.openexr.com)
● E' un formato di immagine HDR per l'utilizzo in applicazioni di
computer imaging.
● Creato da ILM (Industrial Light & Magic, una divisione di
Lucasfilm Ltd)
● Formato Open rilasciato con licenza BSD
● E' ormai uno standard nel settore ed è ampiamente usato.
Come passare da 3DStudio Max a Blender ?
● file originali in formato .max
● esportazione da 3DStudioMax in diversi formati "intermedi"
per cercare la pipeline più agevole:
○ 3DS: Il formato viene letto correttamente da Blender ma non
supporta nomi più lunghi di 8 caratteri
○ dae collada: Il formato non è correttamente interpretato da Blender
(a causa dello scarso supporto fornito dalla comunità di
OpenCollada) che potrebbe rinunciare completamente a questo
formato.
○ Obj: il formato è correttamente interpretato per quanto concerne le
geometrie e, con alcuni accorgimenti, permette di importare
correttamente i modelli in Blender
○ Esiste un tool di passaggio da Max a Blender basato su obj: http:
//wiki.blender.org/index.php/Extensions:2.6/Py/Scripts/ImportExport/3DS_MAX_Scene_Interchange
La comunicazione fra software
ambito closed
● fbx (Autodesk)
ambito open
● obj (Wavefront Technologies)
● collada dae (Khronos Group):
○ Apple MacOS Lion iBooks, Google Earth, Sketchup, Adobe.
● Alembic (Sony Pictures Imageworks and ILM)
collada open letter https://collada.org/mediawiki/index.
php/Open_Letter_March_2012
Da 3DStudio Max a Blender tramite Obj
1. Problemi riscontrati
● i nomi degli oggetti:
○ gli oggetti hanno assunto solo
una numerazione
incrementale.
○ i nomi delle meshes sono
corretti.
○ attraverso uno script è
possibile ripristinare i nomi:
meshes->oggetti
Da 3DStudio Max a Blender tramite Obj
2.Problemi riscontrati
● trasparenze nei materiali
tramite script è possibile modificare tutti i materiali insieme
for ma in bpy.data.materials:
ma.alpha = 1.0
ma.use_transparency = False
Blender e Python:
● E' possibile preparare uno script anche senza particolari competenze nel
linguaggio python:
Gestione dei files in Blender
● Divisione delle stanze (+30) in files diversi
○ stanza = unità minima funzionale
○ agevolare la produzione dei LOD
○ gestione semplificata delle sovrapposizioni con i
corrispondenti modelli ricostruttivi
● Sistema a gruppi istanziati
○ Ogni stanza = un gruppo
○ files di raccordo in cui sono istanziati i modelli
○ sistema semplificato per riproiettare le coordinate
○ team-enabled (svn su hpc-forge sviluppato da
CINECA)
Da Blender a X3D
● Blender esporta nativamente nel formato x3d (http://www.
x3dom.org/?page_id=1101)
L'export da Blender a X3D nel caso preso in esame non ha
dato problemi né di geometrie nè di shaders dimostrando di
essere una soluzione affidabile.
Alcune modifiche all'X3D sono state tuttavia necessarie per
migliorare l'integrazione in X3Dom.
L'annosa questione...
● Come veicolare contenuti 3D complessi su WEB?
> http://www.web3d.org/x3d/wiki/index.php/X3D_and_HTML5
● Plug-in o non plug-in?
○ OpenSceneGraph e OSG4WEB (demo Aquae
Patavinae)
○ WebGL
All'interno di questo progetto abbiamo deciso di testare le
funzionalità del framework X3DOM sviluppato dal Fraunhofer IGD
che è uno dei partner di V-Must, e di vedere quanto poteva
avvicinarsi come flessibilità e prestazioni alla nostra esperienza
sviluppata in-house.
Quello che riportiamo è il risultato in progress di questo
esperimento.
X3Dom
www.x3dom.org
X3dom è un framework javascript in grado di incapsulare dati
espressi in formato x3d, all'interno di pagine HTML5
compliant.
● Framework di più alto livello
rispetto a WebGL
● OpenSource/Free
● Basato su di una struttura della
scena a grafo.
Da X3D a X3Dom
Lo scopo del progetto è portare gli ambienti della Villa di Livia
in un'applicazione online, renderli esplorabili in maniera
interattiva, e consentendo agli utenti di accedere ai metadati
cliccando sugli oggetti, partendo dai 7 ambienti principali.
● Obbiettivo realizzabile con un server LAMP + X3Dom.
Un concept più adatto a X3Dom
L'applicazione attuale (dismessa) è un'installazione museale
che offre:
● un ambiente di navigazione collaborativo 3D realtime
● l'accesso a filmati e dati storici
● una narrazione che coinvolge il visitatore
L'obiettivo è:
● creare un ambiente di navigazione non collaborativo 3d real time
● accedere a informazioni di vario genere
● il focus sono le informazioni, non la narrazione
Abbiamo dovuto riconsiderare il lavoro in base alle potenzialità
del framework X3Dom, trasformandolo in un sistema per la
navigazione guidato, arricchito di metadati consultabili dal
visitatore.
Un obbiettivo ambizioso?
Stato dell'arte - X3Dom
● visualizzatore/manipolatore di oggetti semplici
● alcuni esempi (i.e. animazioni fra cambi di viewpoint... )
Funzionalità richieste:
● gestione di dati di dimensioni abbastanza importanti
● interazione con oggetti
● sistema di navigazione ad hoc
● funzionalità di gestione di trasparenze in tempo reale, etc etc...
Problematiche
I problemi incontrati fin'ora riguardano:
● le funzionalità del framework
● le caratteristiche degli assets originali (sistema di nomi,
dimensioni di modelli e textures pensate per funzionare in
un contesto locale).
Soluzioni:
● collaborazione fra sviluppatori (Fraunhofer IGD) e utenti
finali (noi) :)
● alcuni script python per automatizzare le conversioni di
assets composti da numerosi elementi
A che punto siamo...
Si è deciso di affrontare per primo il
problema più spinoso: quello della
visualizzazione.
Reorganizzazione della scena,
suddividendola in ambienti più
piccoli, risolvendo problematiche di
caricamento e gestione di differenti
livelli di dettaglio, in modo da
minimizzare quanto più possibile
sia la complessità della scena per il
client, quanto l'utilizzo di banda.
Creazione di alcuni parti di
codice jscript ad-hoc che
interagiscono col framework, per
animazioni e debugging.
Conclusioni, questioni aperte
● La conversione (senza perdere informazioni) da formati
chiusi a formati aperti è una questione aperta e necessita' di linee
guide ed esempi disponibili per la comunità:
○ necessita comunque un'installazione del software proprietario
di partenza
● L'ottimizzazione dei modelli 3d (già realizzati) fra applicazioni
on-site e applicazioni on-line comporta delle scelte ed un aggravio
di lavoro per la produzione dei livelli di dettaglio
● Lo storage dei modelli e dei metadati ed il loro riutilizzo
finalizzato alla visualizzazione interattiva on line comporta delle
scelte di infrastruttura del lavoro ancora in discussione
● questioni relative alla scelta del “Propriety Right” nel settore
Beni Culturali nel caso di applicazioni 3d on line connesse a
repository e sistemi di storage accessibili all’utente
Aspettative
Il progetto della Villa di Livia è on going e sarà concluso presumibilmente ad
Aprile/Maggio 2012.
La parte di accesso ai metadati essendo connessa con lo sviluppo della piattaforma v-must
sarà disponibile in versione beta solo alla fine dell'anno.
Qual'è il risultato aspettato?
A conclusione del lavoro dovrebbe essere possibile:
- rendere nuovamente disponibili on line, per una fruzione anche domestica da parte del
pubblico, gli assets 3d, connessi ai metadati, mantenendo qualità e contenuto
informativo, senza introdurre particolari oneri economici, aprendo la strada ad ulteriori
sperimentazioni future.
- mettere a disposizione anche la documentazione relativa alle conversioni dei dati e alla
costruzione dell'applicazione on line step-by-step (al momento stiamo utilizzando Trac
(in HPC-FORGE))