geointel/docs/DATA_SOURCES.md

Data Sources

Dit document verzamelt concrete databronnen voor GeoIntel Kempen.

GRB — Basiskaart Vlaanderen

• Naam: Basiskaart Vlaanderen / GRB
• Beheerder: Digitaal Vlaanderen
• Type: vector
• Gebruik: referentiegebouwen, wegen, terreinobjecten, QA/QC
• Toegang: WFS of download
• Cache: PostGIS per analysegebied
• Prioriteit: V1
• Opmerking: belangrijkste officiële referentiebron voor QA/QC.

Volledige gemeente Mol

De operationele Mol-workspace gebruikt twee expliciete Digitaal Vlaanderen OGC API-bronnen:

• VRBG/Refgem, gefilterd op NAAM='Mol' en gecontroleerd op NIS-code 13025, als officiële gemeentegrens.
• GRB/GBG, volledig gepagineerd en exact tegen die grens gesneden, als gemeentebrede gebouwreferentie.

Deze bronnen worden uitsluitend via het expliciete operatorcommando scripts/provision_mol_municipality_workspace.py opgehaald. De applicatie start geen verborgen providerfetch. De resulterende GeoJSON-artefacten, checksums en bron-URL's worden onder persistent operator storage bewaard en via de bestaande DatasetService/vectorfeature-flow geïmporteerd.

Operationele regio Kempen

Voor regionale analyse gebruikt GeoIntel de officiële Vervoerregio Kempen van de Vlaamse overheid. Deze beleidsregio bestaat uit 28 gemeenten. Ze is expliciet gekozen omdat ze actueel, reproduceerbaar en bestuurlijk gedocumenteerd is. GeoIntel beweert niet dat deze grens samenvalt met de ruimere culturele, landschappelijke of historische Kempen.

scripts/geographic_scopes.py registreert de 28 actuele namen en NIS-codes. scripts/provision_geographic_scope.py controleert die tegen VRBG/Refgem, maakt de regionale union en bewaart zowel de union als alle afzonderlijke gemeentegrenzen met bron-URL, checksum, autoriteit en beperking. De gemeten operationele grens omvat circa 1.399,25 km².

Bronnen:

• https://www.vlaanderen.be/mobiliteitsprofessionals/personenvervoer/basisbereikbaarheid/mobiliteitsuitdagingen-regionaal-aanpakken/vervoerregios/over-de-vervoerregio-kempen
• https://geo.api.vlaanderen.be/VRBG/ogc/features/v1/collections/Refgem/items

De scope-operator haalt geen thematische gegevens op. GRB, bevolking en landgebruik volgen als afzonderlijke begrensde imports; ontbrekende regionale thema's blijven zichtbaar onbeschikbaar.

De actuele regionale gebouwlaag wordt afzonderlijk opgehaald door scripts/provision_regional_grb_buildings.py. De operator bevraagt GRB/GBG per officiële gemeentegrens, volgt alle pagina's en weigert elk veiligheidslimiet als truncatie te verbergen. Grensoverschrijdende objecten worden aan één gemeentepartitie toegewezen op basis van de grootste overlap; de uiteindelijke geometrie wordt uitsluitend tegen de volledige regiogrens gesneden. Daardoor bevat het regionale dataset elke GRB-bronidentiteit exact één keer.

De 28 bronpartities, paginabronnen, aantallen en checksums blijven als operatorbewijs bewaard. GeoIntel indexeert ze batchgewijs als één regionaal referentiedataset via DatasetService en VectorFeatureService. De publieke GRB provider blijft not_configured: dit is een bewuste operatorrun en geen live download vanuit een browseractie of applicatiestart.

De overige actuele GRB-contextlagen volgen dezelfde begrensde aanpak via scripts/provision_regional_grb_context.py:

• roads: collectie Wegsegment (lijngeometrie). Dit zijn wegsegmenten uit de basiskaart, geen verkeersmetingen en geen routeringsnetwerk.
• water: collecties WTZ (vlakken), WLAS en WGR (lijnen). De gemengde objecttelling is geen maat voor wateroppervlakte, debiet of volume.
• parcels: collectie ADP (vlakken). Dit is de grafische ligging van het vermoedelijke kadastrale perceel en geen juridisch landmeetkundig bewijs.

Lijnobjecten worden bij gemeentegrenzen toegewezen op basis van de grootste intersectielengte, vlakobjecten op basis van de grootste intersectieoppervlakte en exacte ties op de laagste NIS-code. De brongeometrie wordt alleen tegen de volledige regiogrens gesneden. Bron-ID's worden met hun collectienaam gekwalificeerd zodat de drie watercollecties nooit stilzwijgend botsen.

Collectiecatalogus en contract:

• https://geo.api.vlaanderen.be/GRB/ogc/features/v1/collections?f=text%2Fhtml
• https://geo.api.vlaanderen.be/GRB/ogc/features/v1/openapi?f=text%2Fhtml

Mol population history

scripts/provision_mol_population_history.py imports official Statbel population-by-statistical-sector tables and matching sector geometries for 2021 through 2025. It keeps the published sector total as population_total, clips the official geometry to Mol NIS 13025 and uploads each year as a separate dataset in statbel:population-statistical-sector:mol.

Complete sectors use their published population total. A rectangle that cuts through a sector uses an explicitly labelled area-weighted estimate; the source does not justify a more precise intra-sector distribution.

Statistical-sector codes and boundaries can change between editions. GeoIntel therefore compares population metrics but does not present sector additions, removals or boundary changes as population-object lineage.

Mol historical land use

scripts/provision_mol_historical_landuse.py uses the official Digitaal Vlaanderen Historical Land Use WFS for the 1778, 1873 and 1969 collections. Buildings, forest, water and roads are filtered server-side, clipped to the official Mol boundary and uploaded through the existing dataset service. Source classes, request URLs, observation year, simplification tolerance and methodological limitations remain in provenance.

These historical map editions support exploratory area evolution, not cadastral object lineage. Their feature identities are declared unstable and GeoIntel does not fabricate added/removed object counts.

The operator uses standards-compliant WFS 2.0 XML POST requests. This keeps the spatial/class filters server-side without exposing a long XML filter in a GET query, which the public gateway rejects.

Mol modern land use

scripts/provision_official_landuse_timeseries.py uses the public Departement Omgeving/MercatorNet WCS to retrieve the harmonized version 3 land-use maps for 2013, 2016, 2019, 2022 and 2025. The source is a categorical 10 m GeoTIFF in Belgian Lambert 72 (EPSG:31370) with 19 documented classes. GeoIntel currently derives only class 12 (Bos) as the operational forest theme.

Every source raster is clipped against the explicit official boundary, validated for integer classes, CRS and resolution, checksummed and retained in persistent operator storage. Forest cells are polygonized and clipped in EPSG:31370, then transformed to canonical EPSG:4326 and uploaded through DatasetService/VectorFeatureService. The raw raster remains the provenance artifact; the persisted polygons provide rectangle selection, PostGIS area aggregation and temporal comparison without a parallel query path. All cells touching the requested boundary are considered before the exact metric geometry clip; NoData cells are excluded and counted in the manifest.

The modern series key is department-omgeving:land-use:forest:mol. It remains separate from digitaal-vlaanderen:historical-landuse:forest:mol: the 1778-1969 cartographic editions and the harmonized 2013-2025 10 m land-use maps are not presented as one continuous measurement method. Raster-derived polygon identities are unstable, so GeoIntel compares hectares and never invents added/removed forest objects.

Regional official time series

scripts/provision_regional_timeseries.py applies the same population and modern forest operators to the approved 28-municipality kempen-transport-region scope. It resolves the checksummed VRBG union boundary and writes to Kempen Regional Workbench through the normal dataset API. Regional keys are statbel:population-statistical-sector:kempen-transport-region and department-omgeving:land-use:forest:kempen-transport-region, so Mol datasets remain independent observations rather than aliases.

The command is explicit and operator-triggered. No source fetch happens during startup or map interaction. Partial statistical sectors remain area-weighted population estimates; forest hectares remain measurements in the harmonized 10 m source representation and are not cadastral forest boundaries. The WCS source limits large responses, so regional forest retrieval is partitioned by the same 28 official municipality boundaries. GeoIntel retains those source rasters, merges them on their native 10 m grid and applies the exact regional union clip before polygon persistence.

Official catalogues:

• https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2013
• https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2016
• https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2019
• https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2022
• https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2025
• https://www.vlaanderen.be/statistiek-vlaanderen/ruimtegebruik/landgebruik/metadata-landgebruik

OSM

• Naam: OpenStreetMap
• Type: vector
• Gebruik: fallback referentie, wegen, POI's, landuse
• Toegang: Overpass API of lokale extracten
• Cache: PostGIS per analysegebied
• Prioriteit: V1 fallback

Sentinel-2

• Naam: Copernicus Sentinel-2
• Type: multispectraal raster
• Gebruik: NDVI, NDWI, NDBI, remote sensing change detection
• Toegang: Copernicus/STAC later te bepalen
• Cache: raster storage + metadata in PostGIS
• Prioriteit: V2

DHMV

• Naam: Digitaal Hoogtemodel Vlaanderen
• Type: raster/hoogte
• Gebruik: DEM, DSM, helling, laagste punten
• Toegang: Vlaamse open data, download/WCS nader te bepalen
• Cache: raster storage
• Prioriteit: V3

Gebouwenregister

• Naam: Gebouwenregister Vlaanderen
• Type: vector/API/metadata
• Gebruik: gebouwmetadata en statusinformatie
• Toegang: nader te bepalen
• Cache: PostGIS/metadata tabellen
• Prioriteit: V2

Lokale demo datasets

De repo moet ruimte voorzien voor kleine samplebestanden in tests/fixtures/ of datasets/raw/demo/. Grote datasets mogen niet standaard in git.

Sprint 7B provider registry

Sprint 7B exposes provider metadata only. It does not perform GRB WFS calls, OSM Overpass calls, downloads, or fake data generation.

provider	authority_level	configured	layers	dataset mapping
grb	authoritative	false	buildings, roads, parcels	dataset_role=reference, source_name=grb
osm	contextual	false	buildings, roads, water, landuse	default dataset_role=source, explicit reference dataset_role=reference, source_name=osm
manual	manual	true	uploaded user layers	dataset_role=reference, source_name=manual
fixture	fixture	true	demo/test fixture layers	dataset_role=reference, source_name=fixture

Future provider output must flow through DatasetService and VectorFeatureService; providers must not write directly to vector_features.