Least-Squares Variance Component Estimation. Theory and GPS Applications
Ali Reza Amiri-Simkooei
Publications on Geodesy 64
Delft, 2007. 220 pages. ISBN: 978 90 6132 301 3. € 9.00
Abstract
Data processing in geodetic applications often relies on the
least-squares method, for which one needs a proper stochastic model of
the observables. Such a realistic covariance matrix allows one first to
obtain the best (minimum variance) linear unbiased estimator of the
unknown parameters; second, to determine a realistic precision
description of the unknowns; and, third, along with the distribution of
the data, to correctly perform hypothesis testing and assess quality
control measures such as reliability. In many practical applications the
covariance matrix is only partly known. The covariance matrix is then
usually written as an unknown linear combination of known cofactor
matrices. The estimation of the unknown (co)variance components is
generally referred to as variance component estimation (VCE).
In this thesis we study the method of least-squares variance component
estimation (LSVCE) and elaborate on theoretical and practical aspects of the
method. We show that LS-VCE is a simple, flexible, and attractive VCE-method.
The LS-VCE method is simple because it is based on the well-known principle
of least-squares. With this method the estimation of the (co)variance
components is based on a linear model of observation equations. The method
is flexible since it works with a user-defined weight matrix. Different
weight matrix classes can be defined which all automatically lead to
unbiased estimators of (co)variance components. LS-VCE is attractive since
it allows one to apply the existing body of knowledge of least-squares
theory to the problem of (co)variance component estimation. With this
method, one can 1) obtain measures of discrepancies in the stochastic model,
2) determine the covariance matrix of the (co)variance components, 3) obtain
the minimum variance estimator of (co)variance components by choosing the
weight matrix as the inverse of the covariance matrix, 4) take the a-priori
information on the (co)variance component into account, 5) solve for a
nonlinear (co)variance component model, 6) apply the idea of robust
estimation to (co)variance components, 7) evaluate the estimability of the (co)variance
components, and 8) avoid the problem of obtaining negative variance
components.
LS-VCE is capable of unifying many of the existing VCE-methods such as
MINQUE, BIQUE, and REML, which can be recovered by making appropriate
choices for the weight matrix. An important feature of the LS-VCE method is
the capability of applying hypothesis testing to the stochastic model, for
which we rely on the w-test, v-test, and overall model test. We aim to find
an appropriate structure for the stochastic model which includes the
relevant noise components into the covariance matrix. The w-test statistic
is introduced to see whether or not a certain noise component is likely to
be present in the observations, which consequently can be included in the
stochastic model. Based on the normal distribution of the original
observables we determine the mean and the variance of the w-test statistic,
which are zero and one, respectively. The distribution is a linear
combination of mutually independent central chi-square distributions each
with one degree of freedom. This distribution can be approximated by the
standard normal distribution for some special cases. An equivalent
expression for the w-test is given by introducing the v-test statistic. The
goal is to decrease the number of (co)variance components of the stochastic
model by testing the significance of the components. The overall model test
is introduced to generally test the appropriateness of a proposed stochastic
model.
We also apply LS-VCE to real data of two GPS applications. LS-VCE is applied
to the GPS geometry-free model. We present the functional and stochastic
model of the GPS observables. The variance components of different
observation types, satellite elevation dependence of GPS observables’
precision, and correlation between different observation types are estimated
by LS-VCE. We show that the precision of the GPS observables clearly depends
on the elevation angle of satellites. Also, significant correlation between
observation types is found. For the second application we assess the noise
characteristics of time series of daily coordinates for permanent GPS
stations. We apply LS-VCE to estimate white noise and power-law noise
(flicker noise and random walk noise) amplitudes in these time series. The
results confirm that the time series are highly time correlated. We also use
the w-test statistic to find an appropriate stochastic model of GPS time
series. A combination of white noise, autoregressive noise, and flicker
noise in general best characterizes the noise in all three position
components. Unmodelled periodic effects in the data are then captured by a
set of harmonic functions, for which we rely on least-squares harmonic
estimation (LS-HE) developed in the same framework as LS-VCE. The results
confirm the presence of annual and semiannual signals, as well as other
significant periodic patterns in the series. To avoid the biased estimation
of the variance components, such sinusoidal signals should be included in
the functional part of the model before applying LS-VCE.
Contents
Abstract i
1. Introduction 1
2. Least-Squares Estimation and Validation 5
3. Variance Component Estimation: A Review 21
4. Least-Squares Variance Component Estimation 33
5. Detection and Validation in Stochastic Model 69
6. Multivariate Variance-Covariance Analysis 99
7. GPS Geometry-Free Model 113
8. GPS Coordinate Time Series 131
9. Conclusions and Recommendations 159
A. Mathematical Background 165
B. Derivation of Equations 167
C. Moments of Normally Distributed Data 173
D. Mixed model with hard constraints 181
Bibliography 185
Index 195
Notation and Symbols 199
Abstract (in Dutch) 203
Curriculum Vitae 205
Samenvatting
Gegevensverwerking in geodetische toepassingen vindt doorgaans plaats op
basis van de kleinste kwadraten methode. Hiervoor is een goed stochastisch
model van de waarnemingsgrootheden nodig. Met een dergelijke realistische
covariantie-matrix wordt ten eerste de beste (minimum variantie) lineaire
zuivere schatter voor de onbekende parameters verkregen, en kan ten tweede
een realistische precisiebeschrijving van de parameters gegeven worden, en
kan ten derde, op basis van de verdeling van de waarnemingsgrootheden,
hypothese toetsing correct uitgevoerd worden, en kunnen maten voor
kwaliteitscontrole bepaald worden, zoals voor betrouwbaarheid. In veel
praktische toepassingen is de covariantie-matrix slechts gedeeltelijk
bekend. De covariantie-matrix wordt gewoonlijk uitgedrukt als een onbekende
lineaire combinatie van een aantal bekende cofactor matrices. Het schatten
van de onbekende (co)variantie componenten wordt in het algemeen
variantiecomponentenschatting (VCS) genoemd, en ook wel kansmodelschatting.
In dit proefschrift bestuderen we de methode van kleinste kwadraten
variantiecomponenten-schatting (KK-VCS) en werken we theoretische en
praktische aspecten uit. We laten zien dat de KK-VCS methode een eenvoudige,
flexibele en aantrekkelijke methode is voor VCS. De KK-VCS is eenvoudig,
daar ze gebaseerd is op het bekende kleinste kwadraten principe. Met deze
methode is de schatting van de (co)variantiecomponenten gebaseerd op een
lineair model van waarnemingsvergelijkingen. De methode is flexibel omdat ze
werkt met een door de gebruiker gedefinieerde gewichtsmatrix. Verschillende
klassen van gewichtsmatrices kunnen gedefinieerd worden, die allemaal
automatisch tot zuivere schatters voor de (co)variantie componenten leiden.
KKVCS is aantrekkelijk omdat men de bestaande kleinste kwadraten theorie kan
toepassen op het probleem van variantie-componenten-schatting. Met deze
methode kan men 1) maten voor discrepantie in het stochastisch model
verkrijgen, 2) de covariantie-matrix bepalen van de (co)variantie
componenten, 3) de minimum variantie schatter verkrijgen voor de (co)variantie
componenten door de inverse van de covariantie-matrix als gewichtsmatrix te
nemen, 4) a-priori informatie over de (co)variantie componenten in rekening
brengen, 5) een niet-lineair (co)variantie componenten model oplossen, 6)
robuuste schatting toepassen op variantie componenten, 7) de schatbaarheid
van (co)variantie componenten evalueren, en 8) het probleem van negatieve
variantie componenten voorkomen.
Met KK-VCS kunnen vele bestaande VCS methoden, zoals MINQUE, BIQUE, en REML
in één raamwerk geplaatst worden. Deze methoden worden verkregen door
speciale keuzes voor de gewichtsmatrix te maken. Een belangrijke eigenschap
van de KK-VCS methode is de mogelijkheid om hypothese toetsing toe te passen
op het stochastisch model. We gebruiken hiervoor de w-toets, de v-toets, en
de globale toets. Ons doel is om een geschikte structuur te vinden voor het
stochastisch model, dat alle relevante ruiscomponenten in de
covariantie-matrix herbergt. De w-toets wordt geïntroduceerd om te kunnen
vaststellen of een bepaalde ruiscomponent met waarschijnlijkheid aanwezig is
in de waarnemingen, en dientengevolge opgenomen moet worden in het
stochastisch model. Gebaseerd op de normale verdeling voor oorspronkelijke
waarnemingsgrootheden leiden we de verwachting en de variantie van de w-toetsgrootheid
af, welke nul en één zijn, respectievelijk. De verdeling is een lineaire
combinatie van onderling onafhankelijke centrale chi-kwadraat verdelingen,
elk met één vrijheidsgraad. In een aantal speciale gevallen kan deze
verdeling benaderd worden door een standaard normale verdeling. Als een
equivalente uitdrukking voor de w-toets wordt de v-toetsgrootheid gegeven.
Het doel is om het aantal (co)variantie componenten in het stochastisch
model te reduceren, door de significantie van de componenten te toetsen. De
globale toets functioneert als een algemene toets op de geschiktheid van het
aangenomen stochastisch model.
KK-VCS is toegepast op meetgegevens uit twee GPS toepassingen. Als eerste is
de methode toegepast op het GPS geometrievrije model. Daartoe worden het
functiemodel en het stochastisch model opgesteld. De variantiecomponenten
van verschillende waarnemingstypen, de satelliet-elevatie afhankelijkheid
van de precisie van GPS waarnemingsgrootheden, en de correlatie tussen
verschillende waarnemingstypen worden geschat met KK-VCS. We laten zien dat
de precisie van GPS waarnemingsgrootheden duidelijk afhangt van de elevatie
van de satelliet. Ook is er een significante correlatie tussen de
waarnemingstypen. Als tweede toepassing worden de ruiskarakteristieken in
tijdreeksen van dagelijkse coördinaten van permanente GPS stations bepaald.
De KK-VCS is toegepast om de amplitudes van witte ruis en power-law ruis
(flicker ruis en random walk ruis) in deze tijdreeksen te schatten. De
resultaten bevestigen dat de tijdreeksen behoorlijk gecorreleerd in de tijd
zijn. We hebben ook de w-toetsgrootheid gebruikt om een geschikt
stochastisch model voor de GPS tijdreeksen te vinden. Een combinatie van
witte ruis, autoregressieve ruis, en flicker ruis karakteriseert in het
algemeen de ruis in alle drie positie componenten het beste. Ongemodelleerde
periodieke effecten in de metingen worden beschreven door een stel
harmonische functies. Deze worden geschat met behulp van de kleinste
kwadraten methode, in hetzelfde raamwerk als KK-VCS. De resultaten
bevestigen de aanwezigheid van jaarlijkse en halfjaarlijkse signalen in de
reeksen, als ook andere significante periodieke patronen. Om onzuivere
schatting van de variantiecomponenten te voorkomen, dienen dergelijke
sinusvormige signalen in het functiemodel opgenomen te worden, alvorens
KKVCS toe te passen.