rich: research and innovation for cultural heritage

Transcript

R
ICH: RESEARCH AND INNOVATION FOR CULTURAL
HERITAGE
Vincenzo Barone●,1Daniele Licari, Franco Maria Nardini
In-silico Developments for Emerging Applications (IDEA) Laboratory
Scuola Normale Superiore, Pisa, Italy
Keywords: cultural heritage, computational spectroscopy, virtual museum, 3D
modeling, virtualization.
1. Introduction
●
CONSERVATION SCIENCE IN CULTURAL HERITAGE
Cultural heritage is a hot research topic from many different points of view.
While important efforts have been spent in studying, preserving and conserving
artworks from a historic/artistic point of view, others concentrate on developing
tools to facilitate the work researchers carry out on them directly. Moreover, the
“other side of the coin” in preserving and conserving artworks consists of promoting artworks. While preserving and conserving artworks involve all the activities
aimed at preventing the aging effects that could affect a particular artwork and
restoring it after it has been affected by aging, promoting artworks mainly focuses
on maximizing the visibility of a particular artwork to the public. Cultural heritage is
thus a cross-cutting field in which many different issues remain open. In particular,
cultural heritage expresses at different times the need for i) a unified framework
integrating all the different aspects, ii) a platform able to channel the many different workflows that exist in the field, iii) storing/collecting meta-data related to
artworks, managing results from scientific analysis and graphically visualizing the
whole set of information.
Some interesting experiences have previously been reported by researchers
all around the world1. One in particular, the Google Art Project aims at digitalizing
paintings from the most important museums in the world. It presents a web-based
user-friendly interface for browsing artworks. Images have been digitalized in a full
HD format. Another interesting approach connected to our proposal is the “virtual
museum”, where users are projected into a virtual reality so as to interact with the
artworks. Here, the contribution is strictly related to the promotion of cultural heritage content enabling users to see artworks without physically being in the place
where they actually are. Some interesting initiatives in this context include the
“Virtual Museum of Canada”2 and the “Virtual Museum of Japanese Arts”3.
Remarkable scientific efforts have been also spent in recent years. In [1], Wojciechowski et al. propose a system that allows museums to build and manage virtual and augmented reality exhibitions based on 3D models of artworks. Dynamic
Corresponding Author: [email protected]
109
V. Barone, D. Licari, F. M. Nardini - RICH: research and innovation for cultural heritage
content creation based on pre-designed visualization templates allows content
designers to create virtual exhibitions very efficiently. Virtual reality exhibitions
can be presented both inside museums, e.g. on touch-screen displays installed
inside galleries and, at the same time, on the Internet. Mourkoussis et al. discuss
a novel set of metadata for describing cultural heritage objects and their digital
representations, which is particularly useful for building virtual exhibitions [2]. The
element set is based on several international standards and current best practice
in museums.
Some prototypal systems have been developed in the past for collecting data
coming from the cultural heritage scenario. Meyer et al. present the development
of a virtual research environment dedicated to the exploitation of intra-site cultural
heritage data [3]. The information system presented is based on open-source software. The system provides the opportunity to carry out exploratory analyses of the
data, especially at spatial and temporal levels. It is also compatible with every kind
of cultural heritage site and allows the management of diverse types of data. Authors propose some experimentation conducted on sites managed by the Service
of the National Sites and Monuments of Luxembourg. Tsirliganis et al. develop a
database for archaeological ceramic and glass artifacts [4], where in addition to
digitized two-dimensional and three-dimensional images, typological characteristics and historical information, for each artifact it is possible to handle point-wise
surface data, forming a GIS-like environment for cultural heritage objects.
In this paper, we describe RICH. Unlike the approaches described above, it is a
first step toward the building of a unified framework for modeling the whole workflow of
operations needed in studying, preserving and conserving artworks. In particular, we
present an integrated platform for cultural heritage which aims to: i) resolve the current needs of cultural heritage researchers by providing interactive and friendly tools
for managing data and ii) propose a new strategy of promoting cultural heritage thus
finding new ways to benefit its users.
As far as we know, this is the first step toward unifying the study, the preservation and the promotion of artworks by means of the same framework. We shaill
present the ongoing efforts made at the Scuola Normale Superiore in realizing
such a platform for: i) acquiring artworks and relevant metadata, ii) acquiring analysis, conservation and preservation techniques regarding artworks and materials, iii) storing them in a collaborative and shared platform, and iv) visualizing all
the information in a new and friendly way. The architecture enables new ways of
interacting with cultural heritage data by using state-of-the-art technologies such
as 3D vision (3D cave – cave automatic virtual environment, home 3D, etc.), 3D
printers and virtualization.
The platform we are going to describe is composed of several building blocks, allowing high-definition acquisition, high-throughput and virtualized storage, user-friendly management of data, and new visualization paradigms of data coming from different
fields of cultural heritage.
The paper is organized as follows: Section 2 introduces the scenario we take
as our reference while Section 3 outlines the architecture of the framework we are
introducing. Section 4 then describes some initial experiences we have had with
RICH. Finally, in Section 5 we present some conclusions and outline some future
projects.
110
2. Cultural Heritage Scenario
The reference scenario we want to introduce is a description of the main actors
who play a role in the cultural heritage scene. It is composed of three different actors:
owners, final users, researchers. Whereas the cultural heritage owner physically owns
a single artwork or a group of them (i.e., a museum, an art gallery, etc.) and is responsible for its maintenance and/or restoration, the final user clearly refers to people interested in enjoying a single artwork or a group of them. Finally, a researcher is someone
who works on studying and preserving a particular artwork.
A first important consideration is that the reference scenario we introduce lacks
interactions between the actors who work in it. It is potentially full of connections between different teams of researchers (studying a given artwork), the owner of the artwork and final users who may be interested in understanding what has been done
on an artwork and how it looks like after a particular restoration. All these actors are
apparently unrelated to the single operations performed within the scenario. The question is: “Is this really the case? Should we really consider all these actors separately
or are they all part of the same scene?”. In our view, these actors are part of the same
scene and we are convinced that, if they are empowered to interact with each other,
they will all benefit in some way from this interaction. Our aim is thus to extend the
reference scenario by introducing a new actor: the content manager. This is an entity
whose main goal is to seek out and manage cultural heritage content and enable new
ways of interacting to take place between the three principal actors. RICH is designed
to be a content manager.
3. Architecture
This section gives a picture of the key building blocks composing RICH (see Figure
1), namely: i) acquisition, ii) storage and management, iii) sharing and virtualization,
iv) visualization and reproduction. We describe the single boxes by following the “canonical” flow for the acquisition of an artwork (acquisition, processing and storage,
output). In the following, the color of each arrow in the figure underlines a particular
characteristic of the transition. Red arrows connect operations that can be “collaborative”. This means that both RICH and the user can contribute to it. Here, users are able
to contribute to this particular phase with their own material (e.g., by uploading it). Blue
arrows indicate that only RICH is in charge of the operation and the user can only see
the result of the operation carried on by the infrastructure without contributing any additional material. Furthermore, green arrows indicate that the transition is virtualized,
i.e., it can be used by interacting with RICH from Internet.
3.1 Acquisition
The Acquisition step relates to the acquisition of each single artwork. Here, we aim
at building a high-fidelity model of the artwork that can be easily handled by any other
block of the infrastructure. Different pipelines of acquisition can be interrogated. They
range from metadata, multimedia content (including pictures, audio and video files),
3D modeling (i.e., output coming from a high resolution 3D scanner) to scientific data
deriving from analyses carried out using different types of instrumentation (mass spectrometer, Raman spectrometer, computational modeling, etc.).
111
The single pipeline is always composed of three different steps: i) preprocessing, ii)
acquisition, iii) postprocessing. Each of the three steps composing the pipeline is different w.r.t. the type of pipeline that has been interrogated (e.g., a 3D scanning process
needs an artwork preprocessing that is different from the one requested in a scientific
analysis employing a mass spectrometer). As Figure 3 shows, all the pipelines in the
acquisition phase are defined by default to be “collaborative”. This means that the
user is able to contribute to the acquisition with whatever material of his own that he
considers important for storage in the infrastructure. Furthermore, pipelines could be
customized to better suit users’ needs.
3D Modeling. Let us introduce an example to explain the acquisition process in
detail. As mentioned above, the 3D modeling involves three steps. The preprocessing
step, depending on how the artwork is composed (material, shapes, dimensions), consists of adding a anti-reflective material (i.e., in most cases a powder) on the artwork
to prepare dark, highly-reflective, shiny or transparent materials. The process aims at
increasing the quality of the scanning process. Furthermore, this step of the pipeline
is responsible for enhancing the final acquisition by removing possible noise that may
appear during the acquisition process.
The second step of the pipeline consists of building the 3D model of the artwork that
has been preprocessed. By means of a 3D scanner, several acquisitions were performed, each one producing a “slice” of the artwork. The number of slices generated
in this step strictly depends on two different factors: i) the complexity of the artwork
under acquisition, ii) the resolution desired for the model. This acquisition phase has
been modeled to be flexible, as it produces a set of 3D meshes that are saved and
postprocessed in different formats.
The postprocessing step is done manually and is a crucial part, as it consists mainly
in aligning the 3D meshes together in a single model. Furthermore, the result of the ac112
quisition could be an “open” mesh, where “open” means that some triangles are missing in parts of the model. In the postprocessing step, the whole 3D model obtained is
made closed, i.e., triangles are added to obtain a closed solid. Furthermore, a second
refinement of the model, aimed at simplifying it, is performed. The user in charge of
this operation selects the parts of the model he wants to simplify by removing triangles.
Like the previous ones, this operation is also crucial since it determines the overall
quality of the final model and the lowest number of triangles [5].
Spectroscopic Data. Spectroscopic approaches play a central role among the
many physical-chemical techniques currently applied to cultural heritage; this is due
to their ability to provide extremely detailed information in a non-invasive fashion [6],
making them particularly suitable for the study of unique artworks or archeological
samples. In fact, optical, vibrational, and magnetic spectroscopic techniques allow the
investigation of complex systems, as for example pigments embedded in complex
molecular environments constituting support surfaces (e.g. paper, canvas, glass) and
possibly incorporating other materials (e.g. sand, clay, gold leaf). However, analysis of
the rich information from experimental studies is typically far from straightforward due
to the complexity of the materials studied together, and more often than not, without
knowing the exact composition of the sample. Thus, computational modeling plays
an increasingly important role also in the field of cultural heritage, with the main goal
of fostering integrated computational approaches which allow direct comparisons to
be made between computed results and experimental spectroscopic findings [7, 8].
In this respect, both experimental spectroscopic data and results from computational
spectroscopy simulations are provided in numerical format, easily stored within the
RICH environment, providing scientists with integrated visual tools for handling such
data (e.g. allowing a direct vis-à-vis comparison between them). This feature gives the
interesting opportunity of analyzing particular effects, e.g. environmental influences
to which the artwork has been exposed. For example, a UV-visible spectrum could
be acquired experimentally by analyzing the artwork. This could then be compared
with data from simulated spectra, e.g. for many different pigments, thus facilitating
the analysis of pigment composition and possible interactions with external agents
(pollutant, light irradiation). The highly advanced scientific tools included in RICH are
also user-friendly, making computational spectroscopy studies [8] easily accessible
to non-specialists. The methodology allows various phenomena which have occurred
over the years to be detected, thus providing a deeper understanding of degradation
processes in complex organic-inorganic pigments, and their rationalization in terms of
molecular structure and interaction. The final aim of such an analysis is directly related
to establishing effective and efficient protocols to preserve and/or restore artworks.
Optical properties of alizarin metal complexes represent a suitable test case. These
well-known madder-lake pigments were widely used until the last century in paint and
textile tincture and its synthetic lake pigment can be still found in contemporary works
of art. Alizarin was well-known to artists as a fugitive color, whose final optical properties were strongly dependent on environmental conditions (e.g. solvation). This real
life observation of color modifications caused by aging and exposure to pollutants
have been confirmed by UV-Vis experimental analysis and computational studies to
be largely related to pH changes (see Figure 2). Such preliminary studies underline
the feasibility of an in-silico approach to analyze the factors responsible for color modifications, allowing us to better understand the changes that have affected both the
113
composition of the materials and their chromatic properties over the years. Bearing
this in mind, the application of computational approaches can limit invasive interventions on the sample objects of cultural heritage interest, as well as providing detailed
knowledge of the structural and electronic properties with a description of the degradation mechanisms. In addition, such studies can be seen as a first step towards a more
rational employment of new dyes as well as a suitable tool for more powerful, stable
and durable restoration works on historical art objects [9-11].
Such preliminary studies underline feasibility of in silico approach to analyze the
factors responsible for the color modifications, allowing to understand changes that
occurred over the years affecting both material
RICH is designed to be flexible and user-oriented. Each pipeline can be easily defined by following an abstract scheme reecting how the main blocks of this Acquisition
step communicate. A user interested in defining a new pipeline of acquisition is in
charge of highlighting the data formats coming from the pipeline and how they need to
be stored in the architecture. We have developed a graphical tool to help users in defining the single blocks of a pipeline. In particular, by accessing this tool a user is able
to request a new pipeline, to describe it, to define the interactions of the three steps
composing it, and to explain which output of the pipeline has been made available for
the next block of RICH.
114
3.2 Storage and Management
This block of the architecture is in charge of storing and managing the information
that has been acquired. The design of this block is central to the effectiveness and reliability of the entire architecture.
First, high-speed access with fail-safe capabilities on top of the data stack is necessary. This was achieved by using an enterprise NAS providing high-speed storage
capacity on our system. To do so, an HITACHI enterprise storage server was used to
store all the data from the Acquisition block. Our HITACHI enterprise NAS is able to
store up to 256 TB of data with a throughput of 700MB/sec (see Figure 10). Then, a
set of tools was designed, aimed at managing and enriching what was produced in the
first step. This crucial part is done by SIA4.
115
Figure 4. Main blocks of RICH comprising the Storage and Management phase.
SIA: Sistema Informativo per l’Arte SIA is a collaborative Web 2.0 system enabling the management, the enrichment and the sharing of data stored in the infrastructure. Users that have been registered with the system are able to access a user-friendly
environment for storing and sharing the information they have about different artworks.
The system has been designed so it can be accessed by a wide audience and
different types of devices. In particular, the system is able to personalize itself on the
basis of the user’s browser information. For example, the language of the portal is
automatically chosen by following the preferences previously expressed by the user
within its browser. The tool has also been modeled to different categories of users: i)
normal users, ii) art experts, iii) scientists. In general, whereas the normal user asks
to view content stored in the platform and to interact with it, an art expert usually asks
to edit contents, adding his studies and creating “semantic” links between different artworks. Finally, there is the scientist, who deals with the scientific contents related to the
artworks: analysis, restoration, conservation, etc. SIA uses the user profile to build a
personalized view of the data it stores. If a user is registered as a normal user, SIA will
116
provide him with a set of tools enabling an easy fruition of the contents in his browser.
On the other hand, if the user is an art expert, the system will provide him with tools
which will enable him to enrich a given artwork with textual contents (in terms of different metadata), high resolution images, historical documents related to the artwork, the
history of the movements of the artwork, and publications and other material covering
its historical and artistic aspects. The scientific aspects are covered by scientists and
in this regard the platform “actively” enables the association of analysis, restoration,
and conservation data in an “active” way. The term “active” here means that after the
data insertion phase, scientists are able to actively manipulate scientific data (e.g.,
spectra from different colour samples of a painting) with different available operations
(comparisons, rescaling, etc.).
Figure 5. A screenshot of SIA.
3.3 Sharing and Virtualization
The huge amount of data that is collected by means of the two above steps represents an important source of data that needs to be enabled for many different applications. The Sharing and Virtualization block aims at doing that by means of VRM
(Virtual Reality Module). VRM enables the output side of the overall architecture of
RICH. The fruition and dissemination of the data is made available and collected and
stored in the architecture. The first important way to enable the sharing of data is by
means of virtualization. VRM converts the heterogeneous data that have been stored
through different sources, into a single virtual view of information to be used by front
end solutions such as applications, smartphone, 3D devices and portals. VRM enables
117
a “virtual layer” on the data. In particular, the “virtual layer” is a functionality that aims to
use data stored in RICH without needing to be part of it. This is achieved by means of
“cloud computing” technologies. Users that are registered as virtual members of RICH
are able to connect to the architecture and read the data stored there. VMR provides
this functionality (enabled by default) for all data stored in RICH.
The question we would like to answer now is: “Why does RICH need a virtual layer
on data?”. RICH is a first step toward large-scale integration in the cultural heritage
field. We have already claimed that such an architecture should be able to store data
from artworks made available by its owners. An interesting observation is that, while
artworks need to be physically moved from one place to another if an exhibition is
organized for display to the public, this is no longer true for its digital model. RICH is
thus developed to envision the concept of virtual museum by allowing the data to be
visualized in different ways in a fully-distributed manner. By interacting with RICH, from
the comfort of their homes, users will be able to request a virtual museum and the platform will take care of all the operations needed to export the content to their personal
device (tablet, PC, home 3D). Moreover, RICH increases stronger co-operation among
museums, since it enables them to share data, by exchanging them and making them
available in different locations by means of 3D TVs or multimedia totems.
Figure 6. Main blocks of RICH comprising the Sharing and Virtualization phase.
The “cloud” in the picture shows the virtualization layer that exposes data on the Internet.
118
3.4 Visualization and Reproduction
RICH has been also designed to answer several needs in terms of visualization and artwork reproduction. The visualization capabilities of RICH is one of
the strongest points in the entire architecture. The whole process of acquisition
and manipulation makes wide use of 3D modeling. The visualization part of RICH
thus makes use of a full and user-friendly 3D virtual reality by means of a immersive 3D cave. By interacting with SIA, a user can enable the visualization of the
artwork he is of the artwork he is manipulating in the 3D cave. In addition to the
3D cave, RICH makes use of a wide range of visualization technologies, such as
stereo projection systems, web3D content management, 3D model software built
for smartphones, trackers and wand interaction. Through these technologies, a
user can manipulate the content offered by the RICH platform via smartphone
or comfortably from home by means of an Internet browser or a 3D television. In
particular, the VRM module supports a broad variety of virtual reality and stereoscopic display devices: i) 3D visualization on home 3D systems, ii) high-definition
visualization on HD systems, iii) different output formats for 3D projectors. This
means that the VRM module will process the request and produce the output of
the 3D model by means of several 3D devices. RICH thus enables a completely
functional 3D environment for dealing with artworks. The visualization of the artwork achieves “direct” interaction with it by the user. A user is thus able to virtually
touch, move and play with it without need of the “real” artwork.
RICH is also able to perform a “reproduction” of the artworks. It is addressed by
means of a complete automatic layer for building, from the 3D model of the artwork, a
printable version of it that can be handled by a 3D printer. The process needs the user
to ask SIA to print a 3D model of the artwork they are interacting with. After a preliminary check of the model available, SIA puts VRM in charge of the operation asking to
print it. VRM will subsequently produce a printable version of the model that is then
transferred to a 3D printer in charge of realizing it.
Note that not all the artworks on the RICH platform have a 3D model. In this case,
by following a simple wizard on SIA, the user can get a flyer with pictures of the artwork
of interest which also contains also metadata (e.g. title, description, etc.) about them.
Then, the flyer can be exported from SIA as a PDF ready for printing.
4. Some Preliminary Experiences
Members of the IDEA laboratory5 have devoted great efforts to developing a first
prototype of RICH which will be systematically updated following the classical “stepby-step” refinement scheme.
In its current implementation, all RICH blocks are available and talk to each other.
Each of the different blocks are constantly refined to build a system within each block
that is completely independent/autonomous and does not need human intervention.
We tested the proposed system on several contemporary works of art. In particular,
in particular, various data was acquired (in terms of scientific spectra, multimedia, HD
images) from three different artworks by three contemporary artists. Where possible, a
full 3D modeling of the artwork was produced. All the metadata related to the artworks
was thus stored and managed (using SIA) and were made available “virtually” (see
Figure 8) for a partner (University of Pisa) interacting with RICH remotely.
119
Figure 7. Main blocks of RICH comprising the Visualization and Reproduction phase.
Figure 8. An example of the preliminary experimentation conducted with SIA, showing a detail of
the artwork with some metadata collected by art experts
120
We are currently testing the “Sharing and Virtualization” block developed in collaboration with the University of Pisa. Furthermore, the “Visualization and Reproduction”
part has been deeply tested both for printing 3D models and for visualizing immersive
virtual realities in the cave 3D.
We are currently testing the “Sharing and Virtualization” block developed in collaboration with the University of Pisa. Furthermore, the “Visualization and Reproduction”
part has been amply tested both for printing 3D models and for visualizing immersive
virtual realities in the 3D cave.
Small and medium companies in the province of Pisa (Art-test owned by Luciano Marras, Marwan Technology, Tertium Technology, etc.) are actively working with us on testing RICH by sharing their competencies regarding digital acquisition, diagnostic analysis,
preventive monitoring and maintenance. A number of art experts from the Scuola Normale
Superiore and scientists from the University of Pisa are involved in the project and are
actively contributing to the historical/artistic part and to the acquisition of experimental data.
The National Museum of San Matteo6 in Pisa led by its Director, Dr. Dario Matteoni, is part of the RICH project. This museum is a unique entity in Italy, representing
sacred art from 1200 to 1400. The virtual museum here gives tourists the opportunity
to experience the medieval art of a city in a virtually reconstructed medieval context.
The experimentation with RICH on such an important reality like the Museum of San
Matteo, is a pilot project for all other museums in the province of Pisa, ranging from
archeological to contemporary art. Efforts are being made with a view to promoting a
fully integrated system of museums where tourists can be actively and virtually guided
from ancient realities to contemporary ones.
Figure 9. Some preliminary experiences of the IDEA team with RICH.
121
Figure 9 shows some preliminary experiences of the IDEA team with RICH. We
propose four possible forms of interaction made available by the architecture. In particular, Figure 9(a) shows the 3D acquisition of an artwork. Details in the pictures show
the lasers used by the scanner to build the 3D model of the artwork. Figure 9(b) shows
the 3D cave and user interaction. We build a virtual reality environment dedicated to
cultural heritage for guiding the development of the whole system. Figure 9(c) shows
an output of RICH for a home 3D PC. Here, the user is wearing 3D glasses and the
system produces a stereo output to enable its visualization on 3D monitors. Finally,
Figure 9(d) shows the 3D printer for printing the models stored and managed by RICH.
Moreover, Figure 10 shows some hardware resources used in the RICH infrastructure.
The figure shows the computational power available in RICH (represented by the three
clusters Pople, Zewail, Lehn). We also show a detail of the HITACHI storage server
used for storing all the information made available in SIA. All these systems are replicated and protected by means of a UPS server.
Figure 10: Hardware resources used in the RICH infrastructure.
5. Conclusions and Future Development
In this paper we have presented RICH, a new architecture conceived and developed at the Scuola Normale Superiore for collecting, promoting and sharing cultural
heritage data. After defining a reference scenario, we observed that cultural heritage is
a cross-cutting field with needs that have neither been developed to their full potential
nor well integrated with each other. RICH is our first response towards full integration,
as it addresses many different needs in the field by applying state-of-the-art technologies such as 3D vision and virtualization. We have outlined the main parts of the ar122
chitecture by designing and explaining each building block in terms of functionalities.
We have also presented several preliminary experiences aimed at showing how the
entire system works. For the future, we shall be investing significant efforts in extending RICH by adding new features and functionalities (e.g., storytelling functions guiding users in their virtual visits). Furthermore, we intend to invest time in optimizing the
overall architecture in terms of response time.
Acknowledgements
We thank Prof. Perla Colombini (University of Pisa), Dr. Stefano Legnaioli (CNRICCOM, Pisa), and Prof. Maria Rosaria Tiné (University of Pisa) for useful comments
and ongoing collaboration.
Notes
http://www.googleartproject.com/
http://www.museevirtuel-virtualmuseum.ca/index-eng.jsp
http://web-japan.org/museum/menu.html
4
http://sia.sns.it
5
http://idea.sns.it/home
6
http://www.sbappsae-pi.beniculturali.it/index.php?it/146/pisa-museo-nazionale-di-san-matteo
1
2
3
References
[1] WOJCIECHOWSKI R., WALCZAK K., WHITE M., AND CELLARY W.. Building
virtual and augmented reality museum exhibitions. In Proceedings of the ninth
international conference on 3D Web technology, Web3D ‘04, pages 135–144,
New York, NY, USA, 2004. ACM.
[2] MOURKOUSSIS N., WHITE M., PATEL M., CHMIELEWSKI J., AND WALCZAK
K.. Ams: metadata for cultural exhibitions using virtual reality. In Proceedings of
the 2003 international conference on Dublin Core and metadata applications:
supporting communities of discourse and practice–metadata research & applications, DCMI ‘03, pages 20:1–20:10. Dublin Core Metadata Initiative, 2003.
[3] MEYER L., GRUSSENMEYER P., PERRIN J. P., DURAND A., AND DRAP P.. A
web information system for the management and the dissemination of cultural
heritage data. Journal of Cultural Heritage, 8(4):396–411, 2007.
[4] TSIRLIGANIS N., PAVLIDIS G., KOUTSOUDIS A., PAPADOPOULOU D., TSOMPANOPOULOS A., STAVROGLOU K., LOUKOU Z., AND CHAMZAS C.. Archiving cultural objects in the 21st century. Journal of Cultural Heritage, 5(4):379–384,
2004
[5] COLIZZI L., 2003, Projecting databases and information systems, Conservation
Science in Culturale Heritage, 3, pp. 85-92
[6] BRUNETTO G. BRUNETTI, SGAMELLOTTI A., AND CLARK A. J.. Advanced
techniques in art conservation. Acc. Chem. Res., 43(6):693–694, 2010.
[7] PEDONE A., BICZYSKO M., AND BARONE V.. Environmental effects in computational spectroscopy: Accuracy and interpretation. ChemPhysChem, 11:1812–
1832, 2010.
[8] BARONE V., BAIARDI A., BICZYSKO M., BLOINO J., CAPPELLI C., AND LIPPARINI F.. Implementation and validation of a multi-purpose virtual spectrometer
for large systems in complex environments. Phys. Chem. Chem. Phys., 2012.
123
[9] COLIZZI L., ANDREA MARTINI A., CHIONNA F., 2010, Augmented Reality Applied to the Diagnostics and Fruition of Cultural Heritage, Conservation Science
in Culturale Heritage, 10, pp. 195-208
[10] LORUSSO S., MATTEUCCI C., NATALI A., CHINNI T., SOLLA L., 2011, The
Shroud of Turin between History and Science: an ongoing debate, Conservation
Science in Culturale Heritage, 11, pp.113-152
[11] LORUSSO S., COMBA V., 2006, E-learning in University: a case of study on cultural heritage, Quaderni di Scienza della Conservazione, 6, pp. 39-57
RICH: ricerca e innovazione per il patrimonio culturale
Parole chiave: beni culturali, spettroscopia computazionale, museo virtual,
modellazione 3D, virtualizzazione
1. Introduzione
Il patrimonio di beni culturali è un tema di ricerca molto affermato da diversi punti
di vista. Mentre importanti sforzi sono stati spesi nello studio, nella prevenzione
e nella conservazione di opere d’arte da un punto di vista storico/artistico, altri si
concentrano sullo sviluppo di strumenti per facilitare il compito dei ricercatori che
lavorano direttamente su queste ultime. Inoltre, l’altro lato “della medaglia” del
restauro e della conservazione di opere d’arte consiste nel promuovere il bene
stesso. Mentre la prevenzione e la conservazione delle opere d’arte coinvolgono
tutte le attività mirando ad evitare e ripristinare gli effetti del tempo che colpisce una
particolare opera d’arte, la promozione di opere d’arte si concentra principalmente sul
massimizzare la visibilità al pubblico di una particolare opera.
Il patrimonio dei beni culturali è dunque un campo trasversale con molte questioni
ancora aperte.
In particolare, i beni culturali esprimono, in tempi diversi, la necessità di 1)
un quadro unitario di integrazione di tutti i differenti aspetti, 2) una piattaforma
in grado di convogliare i flussi di lavoro che possono essere messi in campo, 3)
una conservazione e/o raccolta dei metadati relativa ad opere d’arte, i risultati di
gestione dall’analisi scientifica ed una visualizzazione grafica dell’intero insieme
di informazioni. Alcune esperienze interessanti sono state fatte in precedenza da
ricercatori di tutto il mondo. In particolare, l’Art Project1 di Google mira a digitalizzare
dipinti dei più importanti musei del mondo. Esso è costituito da un’interfaccia di
navigazione interattiva per le opere d’arte. Le immagini sono state digitalizzate
in un formato full-HD. Un altro approccio interessante è il “museo virtuale”. Qui
gli utenti sono proiettati in una realtà virtuale per interagire con le opere d’arte. In
questo caso, il contributo è strettamente relativo alla promozione dei contenuti del
patrimonio culturale che consente agli utenti di vedere opere d’arte senza fisicamente
essere nel posto dove queste ultime in realtà si trovano. Iniziative interessanti di
questo genere sono il “Virtual Museum of Canada”2 e il “Museo Virtuale delle Arti
Giapponesi”3. Importanti sforzi scientifici sono stati anche spesi negli ultimi anni. In
[2], Wojciechowski et al. si propone un sistema che permette di costruire e gestire
musei virtuali e mostre di realtà aumentata sulla base di modelli 3D. La creazione di
contenuti dinamici sulla base di modelli di visualizzazione predefiniti permette ad un
designatore di contenuti di creare mostre virtuali in modo molto efficiente. Le mostre
di realtà virtuale possono essere presentate in modi diversi: direttamente all’interno
di musei, ad esempio, tramite display touch-screen e, al tempo stesso, su Internet.
Mourkoussis et al. discutono un set di metadati per la descrizione di oggetti del
patrimonio culturale e le loro rappresentazioni digitali, il che è particolarmente utile
per la costruzione di mostre virtuali [1]. Il set di elementi si basa su diversi standard
internazionali e sullo stato dell’arte esistente nei musei.
In questo contributo descriviamo RICH. Si tratta di un primo passo verso la
costruzione di un framework unificato per la modellazione del flusso di lavoro di tutte
le operazioni necessarie per lo studio, conservazione e tutela del patrimonio di beni
culturali. In particolare, presentiamo una piattaforma integrata per i beni culturali
allo scopo di: 1) risolvere le attuali esigenze dei ricercatori del patrimonio di beni
culturali , fornendo strumenti interattivi e facilmente fruibili per la gestione dei dati
124
e 2) proporre una nuova strategia di promozione del patrimonio di beni culturali
permettendone nuovi modi di fruizione. A ciò che sappiamo, questo è il primo passo
verso l’unificazione dello studio, la conservazione e la promozione di opere d’arte per
mezzo dello stesso mezzo.
Verranno brevemente analizzati i passi che la Scuola Normale Superiore sta
compiendo nella realizzazione di una tale piattaforma per: i) l’acquisizione di opere
d’arte e dei relativi metadati, ii) l’acquisizione di analisi, tecniche di conservazione
e preservazione sulle opere d’arte e materiali, iii) la loro memorizzazione in una
piattaforma collaborativa e condivisa, e iv), la visualizzazione di tutte le informazioni
tramite una presentazione nuova e amichevole. L’architettura consente nuove forme
di interazione con i dati del patrimonio di beni culturali utilizzando tecnologie allo
stato dell’arte, per esempio, di visione 3D (cave 3D, home 3D, ecc), di stampa 3D e
di virtualizzazione.
La piattaforma che andiamo a descrivere è composta di vari elementi
costitutivi, permettendo acquisizione ad alta definizione, memorizzazione ad elevate
prestazioni, facile gestione dei dati, e nuovi paradigmi di visualizzazione di dati
provenienti da diversi settori del patrimonio culturale.
Il resto del seguente articolo è organizzato come segue: la Sezione 2 introduce
lo scenario che prendiamo a riferimento, mentre la Sezione 3 descrive l’architettura
dell’architettura che stiamo introducendo. Inoltre, la Sezione 4 descrive alcune
esperienze iniziali che abbiamo fatto con RICH. Infine, nella sezione 5 presentiamo
alcune conclusioni e delineiamo alcune direzioni di lavoro future e promettenti.
2. Lo Scenario di Riferimento per i Beni Culturali
Lo scenario di riferimento che vogliamo introdurre consiste in una descrizione
dei principali attori che interagiscono nell’ambito dei beni culturali. Esso è composto
da tre diversi soggetti interessati: proprietari, utenti finali, ricercatori. Mentre il
proprietario del bene culturale è chi fisicamente possiede un singolo gruppo o una
opera d’arte (ad esempio, un museo, una galleria d’arte, ecc.) ed è responsabile della
relativa manutenzione e/o restauro, l’utente finale si riferisce ad una persona che è
interessata a fruire di singole o gruppi di opere d’arte. Infine, un ricercatore è la figura
che lavora allo studio e alla conservazione di una particolare opera d’arte.
Una prima considerazione importante da discutere è proprio relativa allo scenario.
Nello specifico, lo scenario di riferimento è carente di interazioni tra gli attori coinvolti.
In particolare, lo scenario è potenzialmente ricco di connessioni tra diversi gruppi
di ricercatori (interessati allo studio di certe opere d’arte), il proprietario delle opere
d’arte e gli utenti finali che potrebbero essere interessati alla comprensione di ciò
che è stato fatto su un’opera d’arte e come appare dopo un particolare restauro.
Tutti questi attori sono apparentemente scollegati dalle singole operazioni che si son
portate avanti nello scenario.
La domanda ora è: “Dobbiamo considerare tutti questi attori veramente sconnessi
o sono tutti parte della stessa scena?”. Nella nostra visione, tutti questi soggetti
fanno parte della stessa scena e siamo convinti che, se essi sono messi in grado
di interagire tra di loro, essi stessi riceveranno tutti i benefici di questa interazione. Il
nostro approccio mira dunque ad estendere lo scenario di riferimento con un nuovo
attore: il content manager. Si tratta di un ente con il principale obiettivo di chiedere e
gestire i contenuti provenienti dall’ambito “beni culturali” e di consentire nuovi modi di
interazione tra i tre attori principali. RICH mira a essere un content manager.
3. Architettura
In questa sezione verranno delineati i blocchi principali che compongono RICH
(vedi Figura 1). Le parti principali dell’architettura che stiamo per introdurre sono: 1)
acquisizione, 2) memorizzazione e gestione, 3) condivisione e virtualizzazione, 4)
visualizzazione e riproduzione.
Descriviamo ora le singole caselle seguendo il flusso “canonico” di acquisizione
di un’opera d’arte (acquisizione, elaborazione e memorizzazione, visualizzazione). I
colori di ciascuna freccia nella Figura sopra rappresentano una caratteristica
particolare della transizione. Le frecce rosse indicano che il modello della transizione
è “collaborativo”. Ciò significa che sia RICH che l’utente possono contribuire ad esso.
Nello specifico, gli utenti sono in grado di contribuire all’operazione con il proprio
materiale (ad esempio, caricandolo nella piattaforma e rendendolo pubblico). Le
frecce blu indicano che solo RICH è responsabile del funzionamento e l’utente può
solo vedere il risultato dell’operazione esercitata dalla piattaforma, senza contribuire
125
con il suo materiale. Inoltre, le frecce azzurre indicano che la transizione è virtualizzata
cioè, la funzionalità può essere utilizzata interagendo con RICH da Internet.
3.1. Acquisizione
La fase di acquisizione si riferisce all’acquisizione di ogni singola opera. Qui,
puntiamo a costruire un modello ad alta fedeltà delle opere d’arte, che può essere
facilmente gestito da qualsiasi altro blocco delle infrastrutture. In RICH, possono
essere richieste differenti pipeline di acquisizione. Nello specifico, possono essere
acquisiti metadati, contenuti multimediali (comprese immagini, file audio e video),
modelli 3D (cioè, provenienti da uno scanner 3D ad alta risoluzione), fino ai dati
scientifici dall’analisi provenienti da diversi tipi di strumentazione (spettrometro
di massa, Raman, modellazione computazionale, ecc.). In particolare, i dati
spettroscopici, ottenuti sia dallo studio sperimentale dell’opera d’arte che della
simulazione dello spettro corrispondente usando i metodi della modellistica
computazionale vengono forniti in formato numerico, che viene trasformato in
formato grafico tramite gli strumenti computazionali integrati in RICH. Inoltre i due
tipi di spettri possono essere confrontati dando la possibilità di analizzare relazioni
proprietà-struttura o gli effetti dell’ambiente in cui si trova l’opera d’arte. Per esempio,
lo spettro UV-visibile acquisito sperimentalmente analizzando un’opera pittorica può
essere confrontato con dati computazionali di spettri simulati per diversi pigmenti,
facilitando l’analisi della composizione del colorante impiegato.
La singola pipeline è sempre composta da tre diverse fasi: i) pre-elaborazione,
ii) acquisizione, iii) post-elaborazione. Ciascuna delle tre fasi che compongono la
pipeline sono dipendenti dalla pipeline stessa (ad esempio, una scansione 3D di
processo richiede una pre-elaborazione grafica che è diversa da quella richiesta in
una analisi scientifica impiegando uno spettrometro di massa).
Modellazione 3D. La fase di modellazione 3D si compone, come accennato in
precedenza, di tre passi. La fase di pre-elaborazione, che dipende da come l’opera
d’arte è composta (materiali, forme, dimensioni), consiste nell’aggiunta di un materiale
anti-riflettente (ad esempio, nella maggior parte dei casi, una polvere) per le opere
d’arte di materiale scuro ed assorbente, altamente riflettente, lucido o trasparente. Il
processo mira ad aumentare la qualità del processo di scansione. Questo stadio
della pipeline è inoltre responsabile di migliorare l’acquisizione finale eliminando
possibili disturbi che possono comparire durante il processo di acquisizione.
La seconda fase del percorso, è costituita dalla costruzione del modello 3D
delle opere d’arte precedentemente pre-elaborate. Per mezzo di uno scanner 3D, si
eseguono diverse acquisizioni, ognuna delle quali produce una sezione del disegno. Il
numero di sezioni acquisite in questa fase dipende strettamente da due fattori: i) la
complessità delle opere d’arte sotto acquisizione, ii) la risoluzione desiderata per il
modello. Questa fase di acquisizione è stata modellata per essere flessibile in quanto
produce un insieme di mesh 3D che vengono salvate e post-elaborate in diversi formati.
La fase di post-elaborazione viene effettuata manualmente ed è una parte
essenziale del processo di acquisizione in quanto consiste principalmente
nell’allineare le mesh 3D tutte insieme in un unico modello. Inoltre, il risultato
dell’acquisizione potrebbe consistere in una cosiddetta mesh “aperta”. Con il termine
“aperta”, si indicano mesh 3D presentanti mancanze in parti del modello (sotto forma
di insiemi di triangoli). Nello stadio di post-elaborazione, il modello 3D ottenuto è
chiuso, cioè, i triangoli vengono aggiunti ad ottenere un solido chiuso. Inoltre, vi è una
seconda fase di perfezionamento che mira alla semplificazione del modello. L’utente
responsabile di questa operazione seleziona le parti del modello che vuole
semplificare rimuovendo triangoli. Anche questa operazione, come le precedenti, è
cruciale dal momento che determina la qualità complessiva del modello finale ed un
minor numero di triangoli [5].
Dati Spettroscopici. Gli approcci spettroscopici giocano un ruolo chiave tra
le molteplici tecniche chimico-fisiche applicate al contesto dei beni culturali. Ciò è
dovuto alla loro abilità di fornire informazioni molto dettagliate senza esser invasivi
[6]. Questo li rende particolarmente adatti per lo studio di oggetti “unici” come
opere d’arte e campioni archeologici. Nello specifico, tecniche spettroscopiche
ottiche, vibrazionali e magnetiche consentono l’investigazione di sistemi come, ad
esempio, pigmenti contenuti in ambienti molecolari complessi costituenti il materiale
di supporto (ad esempio, carta, tela, vetro) e, al caso, che contengono altri materiali
quali, ad esempio, sabbia, cenere e foglie d’oro. L’analisi della grande quantità di
informazioni provenienti da studi sperimentali è tipicamente lontana dall’essere
126
semplice a causa della complessità dei materiali studiati e, considerando che la
composizione del campione è il più delle volte sconosciuta. Perciò, la modellizzazione
computazionale gioca un ruolo sempre più importante anche nel contesto dei beni
culturali con l’obiettivo principale di promuovere approcci computazionali integrati
che consentono comparazioni dirette tra risultati computati e evidenze sperimentali
di spettroscopia [7,8]. Da questo punto di vista, sia la spettroscopia sperimentale
che i risultati delle simulazioni di spettroscopia computazionale sono forniti in
formato numerico, facilmente memorizzabile in RICH. RICH fornisce agli scienziati
strumenti visuali integrati per la manipolazione di tali dati (ad esempio, consentendo
una comparazione vis-à-vis diretta tra di essi). Questa ultima caratteristica di RICH
fornisce l’opportunità di analizzare effetti particolari quali, ad esempio, le influenze
ambientali a cui l’opera d’arte è stata esposta. Uno spettro UV-visibile può esser
acquisito sperimentalmente con un’analisi dell’opera d’arte e poi comparato con
dati di spettri simulati per vari pigmenti quindi facilitando l’analisi della composizione
dei pigmenti e interazioni possibili con agenti esterni (agenti inquinanti, radiazione
luminosa, ecc.). Gli strumenti avanzati forniti da RICH sono inoltre facili da usare,
rendendo accessibili gli studi di spettroscopia computazionale [8] a non-esperti. La
metodologia consente perciò di rivelare tutti i vari fenomeni che sono occorsi via via
negli anni, la comprensione profonda dei fenomeni degradanti in pigmenti organici/
inorganici complessi e la loro razionalizzazione in termini di struttura molecolare e
interazioni. L’obiettivo finale di questa analisi è direttamente correlato alla definizione
di protocolli efficaci ed efficienti sul restauro e la preservazione di beni culturali.
Le proprietà ottiche dei complessi metallici con alizarina rappresentano un caso
di studio appropriato. Questi pigmenti ben conosciuti erano, infatti, molto usati fino
allo scorso secolo in dipinti e tinture di tessuto. La versione sintetica può tuttora
esser trovata in opere contemporanee. L’alizarina era ben conosciuta tra gli artisti
come colore con proprietà ottiche finali strettamente dipendenti dalle condizioni
ambientali (solvatazione). Queste osservazioni di modifica del colore causate da
invecchiamento ed esposizione ad agenti inquinanti sono state confermate da analisi
sperimentali UV-Vis e studi computazionali strettamente legati a cambiamenti del pH
(vedi Figura 2). Questi studi preliminari sottintendono la fattibilità dell’approccio “insilico” per analizzare i fattori responsabili delle modifiche del colore consentendo la
comprensione dei cambiamenti che occorrono anno dopo anno sulla composizione
dei materiali e le loro proprietà cromatiche. In quest’ottica, l’applicazione di approcci
computazionali permette di limitare l’invasività dell’intervento sull’oggetto campione
pur consentendo una conoscenza diretta delle proprietà strutturali ed elettroniche
con una descrizione dei meccanismi di degradazione. Questi studi sono inoltre la
prima opportunità verso un impiego più razionale dei colori e per l’ottenimento di
lavori di restauro più duraturi e stabili su oggetti d’arte storici [9-11].
RICH è stato progettato per essere flessibile e orientato all’utente. Una nuova
pipeline può essere facilmente definita seguendo uno schema astratto che riflette
come i blocchi principali della fase di acquisizione comunicano tra loro. Un utente
interessato a definire una nuova pipeline di acquisizione è chiamato ad evidenziare
i formati di dati provenienti dalla pipeline ed a specificare come essi devono essere
memorizzati nell’architettura RICH. Per far ciò, abbiamo sviluppato uno strumento
grafico per aiutare gli utenti nella definizione dei singoli blocchi di una pipeline. In
particolare, accedendo a questo strumento un utente è in grado di creare un’istanza
di una nuova pipeline, descriverla, e definirne le interazioni delle tre fasi che la
compongono, per poi spiegare qual è l’uscita della pipeline che viene resa disponibile
per il prossimo blocco di RICH.
3.2. Memorizzazione e Gestione dei Dati
Questo blocco di architettura si occupa di immagazzinare e gestire le informazioni
che sono state acquisite. La progettazione di questo blocco è fondamentale sia per
l’efficacia che per l’affidabilità dell’intera architettura.
In primo luogo, abbiamo la necessità di un accesso ad alta velocità robusto ai
guasti per i dati memorizzati. Ciò si è ottenuto utilizzando un enterprise NAS che
consente la memorizzazione ad alta velocità sul nostro sistema. Noi usiamo uno
storage HITACHI enterprise server che memorizza tutti i dati provenienti dal blocco di
acquisizione. In particolare, il nostro NAS HITACHI è in grado di memorizzare fino a
256 TB di dati con un throughput di 700MB/sec (vedi Figura 10). In secondo luogo, si
sono progettati e realizzati numerosi strumenti al fine di gestire e arricchire quanto è
stato prodotto nel primo passaggio. Questa parte cruciale è svolta da SIA4.
127
SIA: Sistema Informativo per l’Arte
SIA4 è un sistema collaborativo Web 2.0 che consente la gestione, l’arricchimento
e la condivisione dei dati memorizzati nell’infrastruttura. Gli utenti che sono registrati
nel sistema sono in grado di accedere ad un ambiente “user-friendly” per archiviare
e condividere le loro informazioni sulle opere d’arte del patrimonio dei beni culturali.
Il sistema è stato progettato per essere accessibile da un pubblico ampio e da
diversi tipi di dispositivi. In particolare, il sistema è in grado di rimodularsi sulla base
delle informazioni del browser dell’utente. Come esempio, il linguaggio del portale è
automaticamente scelto seguendo le preferenze che l’utente ha già espresso nel suo
browser. Lo strumento è stato modellato per essere utilizzato da diverse categorie di
utenti: 1) gli utenti normali, 2) gli esperti d’arte, 3) gli scienziati. In particolare, mentre
l’utente normale ha esigenze legate principalmente alla visualizzazione di contenuto
memorizzato nella piattaforma e per interagire con essa, un esperto d’arte chiede di
poter modificare il contenuto memorizzato, aggiungendo i suoi studi e la creazione
di legami “semantici” tra diverse opere. Infine, lo scienziato si occupa di aggiungere
i contenuti scientifici relativi alle opere d’arte: analisi, restauro, conservazione, ecc.
SIA utilizza il profilo dell’utente per creare una vista personalizzata dei
dati salvati. Se un utente è registrato come utente normale, SIA, gli fornirà un
insieme di strumenti che consentono una facile fruizione dei contenuti nel proprio
browser. Diversamente, se l’utente è un esperto d’arte, il sistema sarà responsabile
della fornitura di strumenti necessari ad arricchire un’opera d’arte con contenuti
testuali (in termini di diversi tipi di metadati), immagini ad alta risoluzione,
documenti storici in relazione con l’opera d’arte, la storia dei movimenti di opere
d’arte, pubblicazioni e altri materiali relativi agli aspetti storici e artistici delle opere
d’arte. Inoltre, per gli aspetti specifici gestiti da scienziati, la piattaforma consente
l’associazione di dati di analisi, dati di restauro e conservazione in modalità “attivo”.
Il termine “attivo” significa che dopo la fase di inserimento, gli scienziati sono in
grado di manipolare attivamente i dati scientifici (ad esempio, da diversi spettri
campioni di colori di un dipinto) con diverse operazioni disponibili offerte proprio dal
sistema RICH (comparazioni, rescaling, ecc.).
3.3. Condivisione e Virtualizzazione
La quantità enorme di dati che sono raccolti mediante le due fasi di cui sopra
costituisce una fonte importante di informazione che deve essere abilitata per
molte applicazioni. Il blocco di “condivisione e virtualizzazione” si propone di farlo
attraverso VRM. VRM realizza il blocco d’uscita della architettura RICH. Esso
mette a disposizione la fruizione e la diffusione dei dati raccolti e memorizzati
nell’architettura. Un primo modo che abilita la condivisione dei dati è attraverso
mezzi di virtualizzazione. VRM converte i dati eterogenei, che sono stati archiviati da
fonti diverse, in una unica visione virtuale di informazioni che possa esser utilizzata
da soluzioni front-end, quali applicazioni smartphone, dispositivi 3D e portali. VRM
crea uno “strato virtuale” (basato su cloud computing) sui dati. In particolare, questo
“strato virtuale” è una funzionalità che intende utilizzare i dati memorizzati di RICH
senza necessità di fare o essere parte di essa. Gli utenti che sono registrati come
membri virtuali di RICH sono in grado di collegarsi all’architettura e leggere i dati
memorizzati sfruttandoli nei modi e con la visibilità consentita. VRM espone questa
funzionalità (attivata per default) su tutti i dati che sono stati memorizzati in RICH.
La domanda cui vorremmo rispondere adesso è: “Perché RICH ha bisogno di un
strato virtuale sui dati?”. RICH è un primo passo verso una profonda integrazione
nel campo dei beni culturali. Abbiamo già sottolineato che tale architettura deve
essere in grado di memorizzare dati da opere d’arte messe a disposizione dai suoi
proprietari. Un’ interessante osservazione da fare è che, mentre le opere devono
essere fisicamente spostate da una parte all’altra per essere mostrate al pubblico
durante una esibizione, questo non è vero per il modello digitale di esse. RICH
è quindi sviluppato per prevedere il concetto di “museo virtuale”. Esso, infatti,
consente diversi modi di visualizzazione dei dati in un contesto completamente
distribuito. Interagendo con RICH, un utente standosene comodamente seduto a casa
sarà in grado di istanziare un museo virtuale e la piattaforma avrà la cura di eseguire
tutte le operazioni necessarie per esportare il contenuto verso il dispositivo utilizzato
(tablet, PC di casa e TV 3D). Questa funzionalità, su scala più ampia permette una
forte cooperazione tra i musei consentendo di condividere i dati e quindi rendendoli
disponibili in diversi luoghi per mezzo di TV 3D e/o totem multimediali.
128
3.4. Visualizzazione e Riproduzione
RICH è stato progettato anche per rispondere ad esigenze importanti in termini
di visualizzazione e riproduzione grafica. Le funzionalità di visualizzazione dei RICH
sono uno dei punti di forza di tutta l’architettura. L’intero processo di acquisizione e la
manipolazione utilizza profondamente la modellazione 3D. La parte di visualizzazione
di RICH usufruisce quindi della realtà virtuale offerta del teatro virtuale immersivo 3D
(cave 3D) in corso di ultimazione presso la Scuola Normale Superiore. Interagendo
con SIA, ad un utente è consentita la visualizzazione delle opere d’arte che sta
manipolando nel cave 3D. Oltre al cave 3D, RICH fa uso di una vasta gamma di
tecnologie di visualizzazione, come ad esempio, sistemi di proiezione stereo,
gestione dei contenuti Web3D, software per la visualizzazione di modelli 3D per
smartphone, trackers e interazione WAND.
Attraverso queste tecnologie, un utente può manipolare il contenuto offerto dalla
piattaforma RICH via smartphone o comodamente a casa per mezzo di un browser
Web o di una TV 3D. In particolare, il modulo VRM supporta una varietà di dispositivi
di realtà virtuale e di visualizzazione stereoscopica: 1) visualizzazione 3D su sistemi
home 3D, 2) visualizzazione su sistemi ad alta definizione full-HD, 3) diversi formati
per proiettori 3D. Ciò significa che il modulo VRM elabora le richieste e produce
in uscita la visualizzazione di un modello 3D mediante vari dispositivi 3D. RICH
consente un ambiente completamente 3D funzionale per trattare con le opere d’arte.
La visualizzazione di un’opera d’arte implica l’interazione “diretta” degli utenti con
essa. Un utente è così in grado di toccare virtualmente, muoversi e giocare con
l’opera senza la necessità di disporre dell’opera d’arte “reale” ma soltanto attraverso
il modello 3D offerto dal sistema.
Tutto questo rispecchia le caratteristiche di un museo interattivo: non uno spazio
classicamente dedicato alla conservazione di opere d’arte, ma un luogo attivo
che offre informazioni, coinvolgimento emotivo e valore aggiunto all’esperienza di
visita. In questo contesto, RICH si configura come una realtà volta a promuovere e
“delocalizzare” i beni culturali sparsi nel territorio attraverso l’attivazione di un network
tra enti museali utilizzando un’infrastruttura di rete e storage virtualizzati.
Attraverso questa nuova architettura si intraprende, quindi, un percorso di
conoscenza e apprendimento basato non solo sull’esposizione passiva delle
opere, ma su dispositivi tecnologici capaci di coniugare contenuto scientifico e
coinvolgimento emotivo. Ciò al fine di fornire un’approfondita conoscenza dell’opera
d’arte ed una fruizione fino ad oggi non pensabile. Il cave 3D, ad esempio, garantisce
il pieno coinvolgimento dei sensi, e, tramite le più moderne tecnologie interattive che
consentono l’immersione completa nella realtà 3D, diventa così possibile arricchire
l’esperienza sensoriale della visita al museo, riducendone l’impatto antropico
attraverso la virtualizzazione delle visite all’interno del CAVE 3D.
RICH è anche in grado di eseguire una “riproduzione” delle opere d’arte. Questo
avviene mediante uno strato completamente automatizzato per la ricostruzione, a
partire dal modello 3D dell’opera d’arte, di una versione stampabile di esso che può
essere gestita da una stampante 3D. Il processo inizia con l’utente che chiede a SIA
di stampare un modello 3D di un’opera o più opere selezionate. Dopo una verifica
preliminare del modello disponibile, SIA rende VRM responsabile della stampa
chiedendogli di stampare il modello rielaborato. VRM quindi produrrà una versione
stampabile del modello che è in seguito trasferito a una stampante 3D incaricata di
realizzarlo.
Si noti che non tutte le opere memorizzate in RICH hanno un modello 3D
associato. In questo caso, seguendo una semplice procedura guidata, tramite SIA
l’utente può ottenere un volantino con alcune immagini delle opere di interesse
contenente anche i relativi metadati (ad esempio titolo, descrizione, ecc.). Il volantino
ottenuto può essere poi esportato da SIA come PDF pronto ad essere stampato a
colori tramite normale processo di stampa.
4. Alcune Esperienze Preliminari
I componenti del laboratorio IDEA5 hanno fatto grandi sforzi per realizzare un
primo prototipo di RICH, il quale è stato sistematicamente aggiornato seguendo il
classico schema di raffinamento step-by-step. Nell’implementazione corrente, tutti
i blocchi di RICH sono disponibili e dialogano tra loro. Ciascuno dei diversi blocchi
viene continuamente raffinato per costruire un sistema che, all’interno di ciascun
blocco, è completamente indipendente dall’intervento umano.
Abbiamo testato la proposta di sistema nel caso specifico di alcune opere di
129
arte contemporanea. In particolare, si sono acquisiti dati diversi (in termini di dati
spettroscopici, multimediali, immagini HD) provenienti da opere d’arte di tre artisti
internazionali. Quando è stato possibile farlo, abbiamo prodotto una modellazione 3D
completa dell’opera d’arte. Abbiamo così memorizzato e gestito (mediante SIA) tutti
i metadati relativi alle opere d’arte e li abbiamo resi disponibili “virtualmente” (vedi
Figura 8) per la fruizione esterna da parte di un partner progettuale (Università di Pisa).
Al momento è sotto test intensivo il blocco di “condivisione e virtualizzazione”.
Inoltre, è già cominciata la sperimentazione della parte di “visualizzazione e
riproduzione” sia per la stampa di modelli 3D che per la visualizzazione immersiva di
realtà virtuale all’interno di cave 3D.
Le piccole e medie imprese del territorio pisano (Art-test di Luciano Marras,
Marwan Technology, Tertium Technology, ecc.) con le loro competenze nel
campo dei rilievi digitali, delle analisi diagnostiche e del monitoraggio preventivo
collaborano attivamente alla sperimentazione preliminare del sistema RICH. Fanno
parte del progetto alcuni esperti d’arte della Scuola Normale Superiore e scienziati
dell’Università di Pisa. Entrambi stanno attivamente contribuendo alla parte storico/
artistica e all’acquisizione dei dati sperimentali.
Il Museo Nazionale di San Matteo di Pisa6 con il suo Direttore Dott. Dario Matteoni,
aderisce al progetto RICH. Questo museo rappresenta un’unica testimonianza
italiana dell’arte sacra del periodo dal ‘200 al ‘400. Il Museo Virtuale crea l’opportunità
per il turista di rivivere l’arte medioevale in una città che ha ancora un contesto
urbano medioevale ampiamente conservato. La sperimentazione di RICH applicata
alla grande realtà del Museo di San Matteo si propone come progetto pilota per tutti
gli altri musei del territorio pisano da quelli archeologici fino all’arte contemporanea
nell’ottica della promozione di un sistema museale integrato nel quale il turista viene
preso per mano e virtualmente guidato dalla realtà etrusca fino a quella moderna.
La Figura 9 mostra alcune esperienze preliminari effettuate dal gruppo IDEA con
RICH. Proponiamo quattro possibili interazioni messe a disposizione dall’architettura.
In particolare, la Figura 9 (a) mostra una acquisizione 3D di un’opera d’arte. Nel
dettaglio le immagini mostrano i laser utilizzati dallo scanner per costruire il modello
3D del disegno. Figura 9 (b) mostra un utente che interagisce con il CAVE 3D dove
costruiamo un ambiente di realtà virtuale dedicata al patrimonio dei beni culturale
come guida per lo sviluppo dell’intero sistema. Figura 9 (c) mostra l’applicazione di
RICH per sistemi home 3D. Qui, l’utente indossa gli occhiali 3D e il sistema produce
un’uscita stereo per consentire la visualizzazione su un monitor 3D. Infine, la Figura
9 (d) mostra la stampante 3D per riprodurre i modelli memorizzati e gestiti da RICH.
Inoltre, la Figura 10 mostra alcune risorse hardware utilizzate nell’infrastruttura
RICH. La figura mostra la potenza di calcolo disponibile in RICH (rappresentata da
tre cluster Pople, Zewail, Lehn).
Abbiamo anche un dettaglio del server di archiviazione HITACHI utilizzato per
memorizzare tutte le informazioni rese disponibili in SIA. Tutti questi sistemi sono
replicati e protetti per mezzo di un server UPS.
5. Conclusioni e Sviluppi Futuri
Abbiamo proposto RICH, una nuova architettura concepita e sviluppata dalla
Scuola Normale Superiore per la raccolta, la promozione e la condivisione dei dati di
beni culturali. Dopo aver definito uno scenario di riferimento, abbiamo ricordato che
quello dei beni culturali è un campo trasversale con molte esigenze che sono poco
integrate e sviluppate tra di loro. RICH è la nostra prima risposta verso una piena
integrazione perché affronta molte esigenze differenti applicando tecnologie allo
stato dell’arte come la modellazione e visione 3D e la virtualizzazione. In particolare,
RICH rappresenta un sistema che abilita un nuovo modo di fruire dei beni culturali
attraverso il concetto di “museo virtuale”.
Abbiamo schematizzato le parti principali dell’architettura, progettando e
descrivendo ogni blocco del sistema in termini di funzionalità. Abbiamo anche
presentato alcune esperienze preliminari volte a mostrare il funzionamento dell’intero
sistema.
Come sviluppi futuri, investiremo sforzi importanti per estendere RICH con le
nuove caratteristiche e funzionalità (ad esempio, la guida auto-narrante che coinvolga
e spieghi le opere agli utenti nelle loro visite virtuali). Inoltre, abbiamo intenzione
di ottimizzare l’architettura complessiva in termini di efficienza (tempi di risposta,
processing, ecc.).
130
Ringraziamenti
Ringraziamo la Prof.ssa Perla Colombini (Università di Pisa), il Dott. Stefano
Legnaioli (ICCOM-CNR, Pisa), e la Prof.ssa Maria Rosaria Tinè (Università di Pisa)
per gli utili commenti e la collaborazione in corso.
Notes
1
http://www.googleartproject.com/
2
http://www.museevirtuel-virtualmuseum.ca/index-eng.jsp
3
http://web-japan.org/museum/menu.html
4
http://sia.sns.it
5
http://idea.sns.it/home
6
http://www.sbappsae-pi.beniculturali.it/index.php?it/146/pisa-museo-nazionaledi-san-matteo
Summary
This paper describes RICH: a new architecture conceived and developed at the
Scuola Normale Superiore, for collecting, promoting and sharing cultural heritage data.
Starting with the observation that cultural heritage is a cross-cutting field of research
where needs are often poorly integrated with each other, a new architecture is required, aimed at solving this integration issue. RICH provides a first step in this direction by addressing several needs in this field through state-of-the-art technologies
such as 3D vision and virtualization. The paper outlines the principal building blocks of
the architecture by planning and explaining each step in terms of functionality. We also
report some preliminary experiences that are being carried out using this architecture.
Riassunto
In questo articolo descriviamo RICH: una nuova architettura concepita e sviluppata
dalla Scuola Normale Superiore per la raccolta, la promozione e la condivisione di dati
relativi ai beni culturali. Iniziamo con l’osservazione che i beni culturali rappresentano un campo di ricerca trasversale con tante necessità poco integrate tra di loro. Ne
deriva la necessità a di una nuova architettura volta a risolvere questo problema di
integrazione. RICH risolve molteplici bisogni differenti mediante l’utilizzo delle più moderne tecnologie allo stato dell’arte come la visione 3D e la virtualizzazione. Si tratta di
una prima risposta verso questa nuova direzione. Abbiamo tracciato le parti principali
dell’architettura, progettando e spiegando ogni singolo blocco in termini di funzionalità. Riportiamo inoltre alcune esperienze preliminari che stiamo portando avanti con
questa architettura.
Résumé
Dans cet article nous décrivons le RICH : une nouvelle architecture conçue et développée par la Scuola Normale Superiore pour la récolte, la promotion et le partage
de données relatives aux biens culturels. Nous commençons par l’observation que
les biens culturels représentent un domaine de recherche transversale avec de nombreuses nécessités peu intégrées entre elles. Il en dérive la nécessité d’une nouvelle
architecture qui se tourne vers la résolution de ce problème d’intégration. RICH résout
de multiples besoins différents moyennant l’utilisation des plus modernes technologies à l’état de l’art comme la vision en 3D et la virtualisation. Il s’agit d’une première
réponse vers cette nouvelle direction. Nous avons tracé les parties principales de
131
l’architecture, projetant et expliquant chaque bloc en termes de fonctionnalité. Nous
reportons en outre quelques expériences préliminaires que nous continuons avec
cette architecture.
Zusammenfassung
In diesem Artikel beschreiben wir RICH: eine neue, von der “Universität Scuola
Normale Superiore für die Sammlung, Förderung und Teilung von an Kulturgüter gebundenen Daten” konzipierte und entwickelte Architektur.
Wir beginnen mit der Beobachtung, das Kulturgüter ein transversales Forschungsfeld mit vielen, untereinander wenig integrierten Erfordernissen repräsentieren. Hieraus ergibt sich die Notwendigkeit, einer neuen, auf dieses Integrationsproblem abzielenden Architektur.
RICH löst von unterschiedlichen Seiten (nota della traduttrice: qui manca il sostantivo. Ho inserito il termine Seiten che secondo me rende cmq il senso) auftretende vielfache Bedürfnisse durch die Anwendung modernster und fachgerechter Technologien
wie die 3D-Darstellung und Virtualisierung. Dies ist eine erste, in diese neue Richtung
gehende Antwort. Wir haben die wichtigsten Teile der Architektur skizziert und hierbei
jeden einzelnen Block hinsichtlich seiner Funktionalität entworfen und erklärt.
Darüber hinaus möchten wir einige Voraberfahrungen anführen, die auf der Grundlage dieser Architektur weiter verfolgt werden.
Resumen
En este artículo se describe RICH: una nueva arquitectura concebida y desarrollada
por la Scuola Normale Superiore para recoger, promover y compartir datos relativos
a los bienes culturales. Empezamos observando que los bienes culturales representan un campo de investigación transversal con muchas necesidades poco integradas
entre sí. Por tanto hace falta nueva arquitectura dirigida a solucionar este problema
de integración. RICH satisface múltiples exigencias diferentes mediante el uso de
las más modernas tecnologías como la visión 3D y la virtualización. Se trata de una
primera respuesta hacia esta nueva dirección. Hemos definido las partes principales
de la arquitectura, diseñando y explicando cada bloque desde el punto de vista de
la funcionalidad. Se ilustran además algunas experiencias preliminares que estamos
realizando con esta arquitectura.
Резюме
В данной статье описывается новая архитектура, рожденная и разработанная
в “Скуола Нормале Супериоре” для сбора, продвижения и обмена данных относительно культурного наследия. Начинаем с наблюдения о том, что культурное
наследие представляет собой поле межпредметного поиска с многочисленными
потребностями слабо интегрированными между собой. Отсюда вытекает необходимость новой архитектуры, призванной разрешить проблему этой интеграции.
RICH отвечает многочисленным и разнообразным нуждам благодаря использованию современейших технологий, таких как 3D и виртуализация. Речь идет о
первом предложении в области этого нового направления. Нами намечены главные части архитектуры, спроектирован и объяснен каждый отдельный блок в
132
плане его функциональности. Мы приводим также некоторый предварительный
опыт, который продолжаем разрабатывать в этой архитектуре.
Ամփոփում
Այս հոդվածում մենք նկարագրում ենք RICH-ը, մի նոր ճարտարապետություն
մտածված և մշակված Բարձրագույն Նորմալ Դպրոցի կողմից (Scuola Normale Superiore, Pisa) այն տվյալների հավաքման համար, որոնք նպաստում են մշակութային
ժառանգության արդյունքների փոխանակման, աջակցության: Մենք սկսում ենք
քննարկելով, որ մշակութային ժառանգությունը ներկայացնում է բազմաթիվ
կարիքների մի ընդմիջական հետազոտության գիծ որոնք վատ ինտեգրված են
միմյանց հետ: Հետ և աբար անհրաժեշտ է մի նոր ճարտարապետություն այս
խնդիրը լուծելու և ինտեգրման համար: ՌԻՉը (RICH) լուծում է բազմաթիվ տարբեր
կարիքները, օգտագործելով արվեստի տեխնոլոգիաների վերջին նորությունները,
ինչպիսիք են 3D տեսիլքը եւ վիրտուալիզացիոն. Սա առաջին արձագանքն է այս
նոր ուղղությամբ: Մենք ուղեգծեցինք ճարտարապետության հիմնական մասերը,
պլանավորելով և բացատրելով ամեն մի առանձին կտորի գործունեությունը: Բերում
ենք նաև որոշ նախնական փորձարկումների օրինակներ օգտագործելով այդ
ճարտարապետությունը:
133

rich: research and innovation for cultural heritage

Transcript

Documenti analoghi

Il patrimonio culturale: tema trasversale ad Horizon 2020

“Un pensiero italiano per la formazione delle

DiCultHer - Istituto Luigi Sturzo

Heritage - StartupInnovative

Pagina Trovo Casa Agenzia Agenzia di Prova S.r.l.

Elegy written in a Country Churchyard