Home Dutch Print Contact Sitemap

News NCG Subcommissions Publications Research Links

• + Summary
• + Contents
• + Samenvatting (Dutch)
• + Download pdf (2.395 kb)
  
• 
  
• Does the pdf not work well on your screen: click with your right mouse button on the link and save the pdf with 'Save Target as ....'
• 
  

• + General
• + Publications on Geodesy
• + Green Series
• 
  + Order information

Reconstruction of 3D Building Models from Aerial Images and Maps

ldikó Süveg

Publications on Geodesy 53, Delft, 2003. 155 pages.
ISBN-13: 978 90 6132 280 1. ISBN-10:90 6123 280 4. € 8.00

Summary

The 3D reconstruction of buildings has numerous applications in areas that include urban planning, construction, environment, construction, transportation, energy and property management, tourism, and virtual tours of cities. In this thesis, the reconstruction of 3D building models from aerial images is addressed. The approach presented in this thesis integrates the aerial images analysis with information from a GIS database and domain knowledge. The problem of automatic 3D building reconstruction has been a central research topic in computer vision and image understanding communities as well as in digital photogrammetry for many years.

A variety of approaches has been suggested for the reconstruction of buildings from aerial images. Despite considerable research effort, there is no complete system that can reliably perform autonomous 3D building reconstruction in a wide variety of scene domains. This is particularly true in complex urban areas containing buildings with different shapes and roof types as well as in complicated underlying terrain. Of course, some progress has been made, but there is room for improvement. This improvement can be achieved by fusing multiple data sources and some a priori information. In this project, large-scale 2D GIS databases were used as additional information source. Combination of image data and map data turned out to improve the reliability of the reconstruction. Generic knowledge about the shape of the buildings is also incorporated in the system. Since most buildings can be described as an aggregation of simple building types, the knowledge about the problem domain can be represented in a building library containing simple building models. Therefore, a building library was defined containing the most common building primitives, such as flat roof, and different types of gable roofs.

The building reconstruction process was formulated as a multi-level hypothesis generation and verification scheme and it was implemented as a search tree. A method that can localize the buildings in images using map information has been developed. Also, a method for generating building hypotheses corresponding to the primitives defined in the building library has been developed. This implies stereo matching of image features (corners, lines) which correspond to map primitives and fitting of the building hypotheses to images.

A further contribution is the definition of a metric for evaluating the generated building hypotheses in order to select the one which best describes the image. The metric is based on the formulation of the mutual information between the building model and the images. Methods for the estimation of the mutual information from training samples were analyzed. This metric has been rigorously derived from information theory and does not require a priori information about the surface properties of the object and is robust with respect to variations of illumination. Also, no assumption about the shape of the objects are made. As result the method is quite general and may be used in a wide variety of applications.

The produced approach is able to meet most of the requirements of an automatic 3D building reconstruction system. The developed system has been used in urban and suburban areas to reconstruct buildings and showed good results. Experiments were carried out on two data sets with different characteristics. The system was able to reconstruct more than 80% of the buildings and the accuracy of the reconstruction is good enough for mapping purposes.

Contents

1. Introduction
2. Knowledge Based Preprocessing
3. Generation of Building Hypotheses
4. Evaluation of Building Models
5. Experimental Results
6. Conclusions

Bibliography
A. Imaging Geometry
B. Geometric Constraints

Samenvatting

3D gebouwmodellen kennen talrijke toepassingen, o.a. op het gebied van stedenbouw, bouw, milieu, communicatie, transport, energie, bouwmanagement, toerisme, en virtuele rondleidingen door steden. Dit proefschrift behandelt de reconstructie van 3D gebouwmodellen op basis van luchtfoto's. De methode die in dit proefschrift wordt voorgelegd integreert de analyse van luchtfoto's, informatie uit een GIS database en generieke kennis over gebouwen.

Het komen tot automatische 3D reconstructies is jarenlang een belangrijk onderwerp van onderzoek geweest binnen het vakgebied van computer vision en image understanding als ook binnen de digitale fotogrammetrie. Er zijn verschillende methoden voorgesteld voor reconstructies op basis van luchtfoto's. Ondanks het vele onderzoek is er nog geen volledig systeem dat met voldoende betrouwbaarheid zelfstandig 3D reconstructies kan uitvoeren. Dit geldt met name voor complexe stedelijke gebieden waar zich gebouwen bevinden met een diversiteit aan verschijningsvormen. Uiteraard is er sprake van vooruitgang, maar er is nog veel vooruitgang te boeken. Deze vooruitgang kan bereikt worden door het combineren van meerdere databronnen en enige a priori informatie.

In dit project zijn grootschalige 2D GIS databases gebruikt als extra bron van informatie. Het combineren van luchtfoto's en kaartmateriaal bleek de betrouwbaarheid van de reconstructies te verhogen. Algemene kennis over de vorm van gebouwen is ook in het systeem g6integreerd. Omdat de meeste gebouwen als een samenstel van eenvoudige gebouwentypes kunnen worden omschreven, kan de kennis omtrent het probleemgebied worden weergegeven in een bibliotheek die simpele modellen van gebouwen bevat. Daarom is een gebouwenbibliotheek samengesteld uit de meest voorkomende oervormen, zoals een plat dak en verschillende vormen van zadeldaken.

Het reconstructieproces voor gebouwen is geformuleerd als een hiërarchisch schema voor het genereren en verificeren van hypotheses. Dit is geïmplementeerd als een zoekboom. Er is een methode ontwikkeld die gebouwen lokaliseert in luchtfoto's met behulp van kaartmateriaal. Daarnaast is een methode ontwikkeld voor het genereren van gebouwhypotheses die overeenkomen met de oervormen. Dit veronderstelt stereo matching van beeldkenmerken (hoeken, lijnen) die overeenkomen met kaartgegevens en het in overeenstemming brengen van gebouwhypotheses en beelden.

Een verdere bijdrage is het definiëren van een maat om de gemaakte gebouwhypothese te evalueren om zo de hypothese te selecteren die het beeld het beste beschrijft. De maat is gebaseerd op het formuleren van wederzijdse informatie tussen het model van het gebouw en de beelden. Er is een analyse gemaakt van de methoden voor schatten van wederzijdse informatie uit oefen beelden. De maat is ontleend aan de informatie theorie en behoeft geen a priori informatie over de eigenschappen van het terrein of het object. De maat is robuust met betrekking tot schommelingen in de belichting.

Ook worden er geen veronderstellingen gedaan ten aanzien van de vorm van objecten. Dit betekent dat de methode vrij algemeen is en toegepast kan worden in een verscheidenheid aan applicaties. De geformuleerde aanpak voldoet aan de meeste voorwaarden voor een automatisch systeem voor 3D reconstructies. Het ontwikkelde systeem is toegepast in stedelijke en suburbane gebieden om gebouwen te reconstrueren en heeft daarbij goede resultaten geboekt. De experimenten zijn uitgevoerd met twee data sets met verschillende karakteristieken. Het systeem was in staat om meer dan 80% van de gebouwen te reconstrueren. De precisie van de reconstructies bleek voldoende te zijn voor het maken van kaarten.