Assessing Spatial Data Infrastructures
Lucasz Grus
Publications on Geodesy 76
Delft, 2010. 171 pages. ISBN: 978 90 6132 320 4. € 7.00
Summary
Over the last two decades many countries throughout the world have
taken steps to establish national Spatial Data Infrastructures (SDls).
These actions have sought to provide an infrastructure for accessing and
sharing spatial data to reduce the duplication of spatial data
collection by both users and producers, and enable better utilization of
spatial data and associated services. When developing SDI initiatives it
is increasingly important to assess their outcomes in order to justify
the resources spent on those infrastructures. Many researchers
throughout the world have been struggling with the issue of assessing
SDls. The task is difficult due to complex, dynamic and constantly
evolving nature of SDI.
The main objective of this thesis is to develop a framework for
assessing Spatial Data Infrastructures. This main objective is divided
into four sub-objectives: 1. to analyse SDI complexity; 2. to develop a
SDI assessment framework; 3. to evaluate the developed SDI assessment
framework; 4. to expand the developed SDI Assessment Framework by adding
an assessment view for a goal-oriented SDI assessment. Each of these
sub-objectives are analyzed in chapters 2 -5.
Chapter 2 analyses SDI complexity by determining whether SDls can be
viewed as Complex Adaptive Systems (CAS). This was done by analyzing
three NSDI case studies and conducting a survey among SDI experts.
First, it was determined if CAS features and behaviours could be found
in the three analyzed NSDls. The author searched for the following CAS
features and behaviours: 1) features: components, complexity,
sensitivity to initial conditions, openness, unpredictability and scale
independence; 2) behaviours: adaptability, selforganization, non-linear
behaviour, feedback loop mechanism. Second, a survey among SDI experts
was conducted by asking them to express their strength of support
regarding the presence of CAS features and behaviours in general SDI
concept. The results reveal that SDls can be viewed as CAS.
Chapter 3 develops a SDI assessment framework. First, the key SDI
characteristics that underlie the problems affecting SDI assessment were
identified and analyzed. In order to deal with these problems the
principles of assessing Complex Adaptive Systems were identified and
discussed. The principles of evaluating Complex Adaptive Systems and
norms of general evaluation theory were the basis for developing an
assessment framework. The principles of assessing CAS, among others,
require that the assessment framework is flexible, contains multiple
assessment approaches and uses various methods to determine the
indicators' values. The result is the Multi-view SDI assessment
framework.
Chapter 4 evaluates the Multi-view SDI assessment framework. The
evaluation was based on the pilot application of the framework in 21
National SDIs. The evaluation focused on the process of framework
application and framework's applicability to assess SDIs. The process of
framework application was evaluated against two criteria: 1) NSDI
coordinator response time; 2) Completeness of data. The applicability of
the framework to assess SDIs was evaluated by sending a questionnaire to
21 NSDI coordinators. The coordinators were asked for the opinion about
the applicability of Multi-view SDI assessment framework application
results to assess SDIs. The questionnaire was based on meta-evaluation
standard criteria for conducting evaluations (Stufflebeam, 1974; The
Joint Committee, 1994). The results showed that the framework could be
applied to assess 21 NSDIs. The evaluation of the application process
revealed that the completeness of assessment data and time needed to
measure indicators depends strongly on the assessment methods used. In
addition, the results showed that significant part of the measurements
contained missing values. Finally it was demonstrated that the users
tend to agree with the general applicability of the Multi-view SDI
assessment framework to assess SDIs.
Chapter 5 expands the developed SDI Assessment Framework by adding an
assessment view for a goal-oriented SDI assessment. The conceptual
foundation of the developed assessment view was a goal-attainment
assessment model presented by Hansen (2005). The model seeks to answer
the question: to what degree has the goals been realized? The model
derives the assessment criteria from goals. To develop a goal-oriented
assessment view the author used the Multi-view SDI assessment framework.
The developed assessment view was tested by applying it to measure the
goals' realization of the Dutch SDI. In addition, the potential users of
the goal-oriented assessment view evaluated it. The main result of this
chapter is the view for assessing the extent to which SDIs realize their
goals. The implementation of the proposed view in the Dutch SDI case
demonstrates its potential application. In addition, the evaluation of
the proposed view conducted among the potential users confirms its
usability and generic character. It is also argued that the precision of
definition of SDI goals determines how easy the correct assessment
indicators can be found.
Chapter 6 discusses the results of the thesis, presents author's
reflections on the main results, and suggests recommendations for the
future research. In order to better assess SDIs researchers should look
for theories, which could explain and help to understand SDI mechanisms
and laws. The results show that viewing SDI as CAS is beneficial for
better understanding of SDI assessment principles. As a result, the
Multi-view SDI assessment framework is proposed. However, due to the
practical reasons it is hypothesized that a fully comprehensive SDI
assessment might never be achieved. The reflections on the thesis
results lead to several conclusions. Firstly, viewing SDI as CAS, apart
from helping to assess SDIs, has also a potential to significantly
improve the conceptualization of SDI. Secondly, the proposed Multi-view
SDI assessment framework demonstrates the potential value for SDI
assessment users acting on all SDI organizational levels. Thirdly, the
experience of developing an assessment framework for SDI may also be
used in evaluation discipline to further analyze and propose solutions
for assessing complex phenomena. Fourthly, the proposed framework has
also potential to contribute to an emerging trend of the inter- and
transdisciplinary approaches to researching and assessing SDIs. The
following recommendations for the future research are made: 1) Analyze
the roles that CAS features and behaviours play in SDIs; 2) Focus on
developing operational SDI assessment approaches suited to specific
user's needs; 3) Analyze the users and their requirements of SDI
assessment; 4) Analyze the use of SDI assessment results.
Contents
1. General Introduction 13
2. Spatial Data Infrastructures as Complex Adaptive Systems 23
3. Multi-view SDI Assessment Framework 55
4. Evaluation of the Multi-view SDI Assessment Framework 77
5. An assessment view to evaluate whether Spatial Data Infrastructures meet
their goals 99
6. General Discussion 123 References 132
Appendices 143
Summary 155
Samenvatting 159
Streszczenie 162
Curriculum Vitae 166
Publications list 167
PE&RC PhD Education Certificate 169
Samenvatting
In de afgelopen twee decennia hebben landen over de gehele wereld
stappen ondernomen om een nationale Geo-informatie infrastructuur (SDI)
te ontwikkelen. Het doel hiervan is om ruimtelijke gegevens toegankelijk
en uitwisselbaar te maken, duplicatie van ruimtelijke gegevens door
gebruikers en producenten te verminderen en de ruimtelijke
gegevensverzamelingen en bijbehorende diensten beter bruikbaar te maken.
Bij het ontwikkelen van SDI initiatieven wordt het steeds belangrijker
hun prestaties en resultaten te beoordelen om de investeringen in deze
infrastructuren te rechtvaardigen. De afgelopen jaren hebben diverse
onderzoekers zich gebogen over de vraag: op welke wijze kunnen we SDI's
evalueren? Het blijkt dat deze vraag lastig eenduidig te beantwoorden is
als gevolg van complexe, dynamische en constant veranderende karakter
van SDI.
De hoofddoelstelling van dit onderzoek is de ontwikkeling van raamwerk
ter beoordeling van Geo-Informatie Infrastructuren. Om dit
hoofddoelstelling te bereiken zijn de vier deeldoelstellingen
geformuleerd: 1. Het analyseren van SDI complexiteit; 2. Het ontwikkelen
van een SDI beoordelingsraamwerk; 3. Het evalueren van de ontwikkelde
SDI beoordelingsraamwerk; 4. Het uitbreiden van de ontwikkelde SDI
beoordelingsraamwerk door toevoeging van een doelgerichte SDI
beoordeling methodiek.
Deze vier deeldoelstellingen worden in de hoofdstukken 2-5 verder
uitgewerkt.
Hoofdstuk 2 analyseert SDI complexiteit door te onderzoeken of SDI
gezien kan worden als een complex adaptief systeem (CAS).Het onderzoek
werd uitgevoerd door het analyseren van drie Nationale SDI (NSDI) en het
uitvoeren van een enquête onder SDI deskundigen. Eerst werd vastgesteld
of CAS kenmerken en gedragingen kunnen worden gevonden in de drie
geanalyseerd NSDIs. De auteur zocht naar de volgende CAS kenmerken en
gedragingen: 1) kenmerken: componenten, complexiteit, gevoeligheid voor
beginvoorwaarden, openheid, onvoorspelbaarheid, en schaal
onafhankelijkheid; 2) gedragingen: aanpassingsvermogen, zelforganisatie,
niet-lineaire gedrag, feedback loop mechanisme. Ten tweede werd een
enquête onder SDI deskundigen uitgevoerd. Zij werden gevraagd naar
mening over de aan- en afwezigheid van CAS kenmerken en gedragingen in
het algemeen SDI-concept. De resultaten tonen aan dat SDI kan worden
gezien als CAS.
In hoofdstuk 3 wordt de ontwikkeling van een SDI beoordelingraamwerk
beschreven. Allereerst worden de huidige problemen met SDI beoordelingen
geïdentificeerd en geanalyseerd. Voor de oplossing voor de
geconstateerde problemen is gebruik gemaakt van de algemene principes
voor het evalueren van complex adaptieve systemen. Deze CAS evaluatie
principes gecombineerd met algemene evaluatie theorie vormden de basis
voor het ontwikkelen van een SDI beoordelingsraamwerk. De CAS evaluatie
principes houden in dat het beoordelingsraamwerk flexibel dient te zijn
en uit meerdere beoordelingsbenaderingen dient te bestaan. Op basis van
deze principes is het Multi-view beoordelingsraamwerk voor SDI's
ontwikkeld.
In hoofdstuk 4 wordt het ontwikkelde Multi-view SDI beoordelingsraamwerk
geëvalueerd. De evaluatie is gebaseerd op de toepassing van het raamwerk
in 21 Nationale SDI's. De evaluatie richt zich op het proces van
toepassing en de algemeen toepasbaarheid van het raamwerk om SDI's te
beoordelen. Het toepassingsproces is geëvalueerd op basis van twee
criteria: 1) NSDI coördinator reactie tijd en 2) volledigheid van de
beoordelingsgegevens. De toepasbaarheid van het raamwerk is geëvalueerd
door het sturen van een vragenlijst naar 21 NSDI coördinatoren. De
vragenlijst is gebaseerd op metaevaluatie standaard criteria voor het
uitvoeren van evaluaties (Stufflebeam, 1974; The Joint Committee, 1994).
De resultaten tonen aan dat het raamwerk toegepast kan worden in 21
NSDIs. Uit de beoordeling is gebleken dat de volledigheid van de
beoordelingsgegevens en de tijd die nodig is om de indicatoren te meten
sterk afhankelijk is van de gebruikte evaluatiemethoden. Tenslotte bleek
dat de geënquêteerde NSDI coördinatoren het Multi-view SDI
beoordelingsraamwerk toepasbaar achten.
Hoofdstuk 5 beschrijft de uitbreiding van het ontwikkelde Multi-view SDI
beoordelingsraamwerk door toevoeging van een doelgerichte SDI
beoordelingsmethode. De conceptuele basis voor deze nieuwe methode is
het "goal-attaintment model" ontwikkeld door Hansen (2005). De
ontwikkelde beoordelingsmethode is bedoeld om de vraag: "in welke mate
zijn de doelstellingen gerealiseerd?" te antwoorden. De
beoordelingscriteria van de methode zijn afgeleid van de doelen. Voor
het ontwikkelen van de doelgerichte beoordelingsmethode heeft de auteur
gebruik gemaakt van onderdelen van het Multi-view SDI
beoordelingsraamwerk. De ontwikkelde methode is getest door meting van
de mate van doelrealisatie van de Nederlandse Geo-informatie
infrastructuur (GIDEON). Bovendien hebben de potentiële gebruikers de
ontwikkelde methode beoordeeld. Uit de toepassing van de ontwikkelde
methode bleek dat het mogelijk is om de mate van doelrealisatie van
SDI's te meten. De bruikbaarheid en het generieke karakter van de
methode is ook bevestigd door de potentiële gebruikers. Uit de
toepassing bleek tevens dat de mate van concreetheid van de SDI doelen
sterk bepaald is voor het formuleren van de beoordelingsindicatoren.
In hoofdstuk 6 wordt gereflecteerd op de resultaten van het onderzoek en
worden aanbevelingen geformuleerd voor vervolgonderzoek. De resultaten
laten zien dat belangrijk is om naar een onderliggende theorie of
theorieën voor SDI te streven. In dit proefschrift is bijvoorbeeld de
analogie tussen SDI en CAS gebruikt om de evaluatie van SDI's beter te
begrijpen. Op basis van deze analogie is het Multi-view SDI
beoordelingsraamwerk ontwikkeld. Op basis van het uitgevoerde onderzoek
zijn de volgende algemene conclusies te trekken. Ten eerste, is het een
verrijking om SDI als een Complex Adaptief Systeem (CAS) te beschouwen.
Dit leidt tot een beter begrip van het SDI fenomeen. Ten tweede, is het
voorgestelde Multi-view SDI beoordelingsraamwerk generiek van aard en
kan het worden toegepast bij het evalueren van uiteenlopende SDI's. Ten
derde, blijkt het beoordelingsraamwerk flexibel en kan het worden
uitgebreid met nieuwe beoordelingsmethoden. Het onderzoek naar de
evaluatie van SDI's is met dit proefschrift zeker niet af. Als mogelijke
lijnen voor vervolgonderzoek wordt voorgesteld om: 1) de CAS aspecten
binnen SDI nader te bestuderen; 2) specifieke gebruikersbehoeften voor
SDI evaluatie nader te analyseren en 3) het gebruik van uitgevoerde SDI
evaluaties te onderzoeken.