232 lines
11 KiB
Markdown
232 lines
11 KiB
Markdown
# Data Sources
|
|
|
|
Dit document verzamelt concrete databronnen voor GeoIntel Kempen.
|
|
|
|
## GRB — Basiskaart Vlaanderen
|
|
|
|
- Naam: Basiskaart Vlaanderen / GRB
|
|
- Beheerder: Digitaal Vlaanderen
|
|
- Type: vector
|
|
- Gebruik: referentiegebouwen, wegen, terreinobjecten, QA/QC
|
|
- Toegang: WFS of download
|
|
- Cache: PostGIS per analysegebied
|
|
- Prioriteit: V1
|
|
- Opmerking: belangrijkste officiële referentiebron voor QA/QC.
|
|
|
|
### Volledige gemeente Mol
|
|
|
|
De operationele Mol-workspace gebruikt twee expliciete Digitaal Vlaanderen
|
|
OGC API-bronnen:
|
|
|
|
- `VRBG/Refgem`, gefilterd op `NAAM='Mol'` en gecontroleerd op NIS-code
|
|
`13025`, als officiële gemeentegrens.
|
|
- `GRB/GBG`, volledig gepagineerd en exact tegen die grens gesneden, als
|
|
gemeentebrede gebouwreferentie.
|
|
|
|
Deze bronnen worden uitsluitend via het expliciete operatorcommando
|
|
`scripts/provision_mol_municipality_workspace.py` opgehaald. De applicatie
|
|
start geen verborgen providerfetch. De resulterende GeoJSON-artefacten,
|
|
checksums en bron-URL's worden onder persistent operator storage bewaard en
|
|
via de bestaande DatasetService/vectorfeature-flow geïmporteerd.
|
|
|
|
### Operationele regio Kempen
|
|
|
|
Voor regionale analyse gebruikt GeoIntel de officiële `Vervoerregio Kempen`
|
|
van de Vlaamse overheid. Deze beleidsregio bestaat uit 28 gemeenten. Ze is
|
|
expliciet gekozen omdat ze actueel, reproduceerbaar en bestuurlijk
|
|
gedocumenteerd is. GeoIntel beweert niet dat deze grens samenvalt met de
|
|
ruimere culturele, landschappelijke of historische Kempen.
|
|
|
|
`scripts/geographic_scopes.py` registreert de 28 actuele namen en NIS-codes.
|
|
`scripts/provision_geographic_scope.py` controleert die tegen `VRBG/Refgem`,
|
|
maakt de regionale union en bewaart zowel de union als alle afzonderlijke
|
|
gemeentegrenzen met bron-URL, checksum, autoriteit en beperking. De gemeten
|
|
operationele grens omvat circa `1.399,25 km²`.
|
|
|
|
Bronnen:
|
|
|
|
- https://www.vlaanderen.be/mobiliteitsprofessionals/personenvervoer/basisbereikbaarheid/mobiliteitsuitdagingen-regionaal-aanpakken/vervoerregios/over-de-vervoerregio-kempen
|
|
- https://geo.api.vlaanderen.be/VRBG/ogc/features/v1/collections/Refgem/items
|
|
|
|
De scope-operator haalt geen thematische gegevens op. GRB, bevolking en
|
|
landgebruik volgen als afzonderlijke begrensde imports; ontbrekende regionale
|
|
thema's blijven zichtbaar onbeschikbaar.
|
|
|
|
De actuele regionale gebouwlaag wordt afzonderlijk opgehaald door
|
|
`scripts/provision_regional_grb_buildings.py`. De operator bevraagt
|
|
`GRB/GBG` per officiële gemeentegrens, volgt alle pagina's en weigert elk
|
|
veiligheidslimiet als truncatie te verbergen. Grensoverschrijdende objecten
|
|
worden aan één gemeentepartitie toegewezen op basis van de grootste overlap;
|
|
de uiteindelijke geometrie wordt uitsluitend tegen de volledige regiogrens
|
|
gesneden. Daardoor bevat het regionale dataset elke GRB-bronidentiteit exact
|
|
één keer.
|
|
|
|
De 28 bronpartities, paginabronnen, aantallen en checksums blijven als
|
|
operatorbewijs bewaard. GeoIntel indexeert ze batchgewijs als één regionaal
|
|
referentiedataset via DatasetService en VectorFeatureService. De publieke GRB
|
|
provider blijft `not_configured`: dit is een bewuste operatorrun en geen live
|
|
download vanuit een browseractie of applicatiestart.
|
|
|
|
De overige actuele GRB-contextlagen volgen dezelfde begrensde aanpak via
|
|
`scripts/provision_regional_grb_context.py`:
|
|
|
|
- `roads`: collectie `Wegsegment` (lijngeometrie). Dit zijn wegsegmenten uit
|
|
de basiskaart, geen verkeersmetingen en geen routeringsnetwerk.
|
|
- `water`: collecties `WTZ` (vlakken), `WLAS` en `WGR` (lijnen). De gemengde
|
|
objecttelling is geen maat voor wateroppervlakte, debiet of volume.
|
|
- `parcels`: collectie `ADP` (vlakken). Dit is de grafische ligging van het
|
|
vermoedelijke kadastrale perceel en geen juridisch landmeetkundig bewijs.
|
|
|
|
Lijnobjecten worden bij gemeentegrenzen toegewezen op basis van de grootste
|
|
intersectielengte, vlakobjecten op basis van de grootste intersectieoppervlakte
|
|
en exacte ties op de laagste NIS-code. De brongeometrie wordt alleen tegen de
|
|
volledige regiogrens gesneden. Bron-ID's worden met hun collectienaam
|
|
gekwalificeerd zodat de drie watercollecties nooit stilzwijgend botsen.
|
|
|
|
Collectiecatalogus en contract:
|
|
|
|
- https://geo.api.vlaanderen.be/GRB/ogc/features/v1/collections?f=text%2Fhtml
|
|
- https://geo.api.vlaanderen.be/GRB/ogc/features/v1/openapi?f=text%2Fhtml
|
|
|
|
### Mol population history
|
|
|
|
`scripts/provision_mol_population_history.py` imports official Statbel
|
|
population-by-statistical-sector tables and matching sector geometries for
|
|
2021 through 2025. It keeps the published sector total as
|
|
`population_total`, clips the official geometry to Mol NIS `13025` and uploads
|
|
each year as a separate dataset in
|
|
`statbel:population-statistical-sector:mol`.
|
|
|
|
Complete sectors use their published population total. A rectangle that cuts
|
|
through a sector uses an explicitly labelled area-weighted estimate; the
|
|
source does not justify a more precise intra-sector distribution.
|
|
|
|
Statistical-sector codes and boundaries can change between editions. GeoIntel
|
|
therefore compares population metrics but does not present sector additions,
|
|
removals or boundary changes as population-object lineage.
|
|
|
|
### Mol historical land use
|
|
|
|
`scripts/provision_mol_historical_landuse.py` uses the official Digitaal
|
|
Vlaanderen Historical Land Use WFS for the 1778, 1873 and 1969 collections.
|
|
Buildings, forest, water and roads are filtered server-side, clipped to the
|
|
official Mol boundary and uploaded through the existing dataset service.
|
|
Source classes, request URLs, observation year, simplification tolerance and
|
|
methodological limitations remain in provenance.
|
|
|
|
These historical map editions support exploratory area evolution, not
|
|
cadastral object lineage. Their feature identities are declared unstable and
|
|
GeoIntel does not fabricate added/removed object counts.
|
|
|
|
The operator uses standards-compliant WFS 2.0 XML POST requests. This keeps
|
|
the spatial/class filters server-side without exposing a long XML filter in a
|
|
GET query, which the public gateway rejects.
|
|
|
|
### Mol modern land use
|
|
|
|
`scripts/provision_official_landuse_timeseries.py` uses the public Departement
|
|
Omgeving/MercatorNet WCS to retrieve the harmonized version 3 land-use maps for
|
|
2013, 2016, 2019, 2022 and 2025. The source is a categorical 10 m GeoTIFF in
|
|
Belgian Lambert 72 (`EPSG:31370`) with 19 documented classes. GeoIntel currently
|
|
derives only class `12` (`Bos`) as the operational forest theme.
|
|
|
|
Every source raster is clipped against the explicit official boundary,
|
|
validated for integer classes, CRS and resolution, checksummed and retained in
|
|
persistent operator storage. Forest cells are polygonized and clipped in
|
|
`EPSG:31370`, then transformed to canonical `EPSG:4326` and uploaded through
|
|
DatasetService/VectorFeatureService. The raw raster remains the provenance
|
|
artifact; the persisted polygons provide rectangle selection, PostGIS area
|
|
aggregation and temporal comparison without a parallel query path.
|
|
All cells touching the requested boundary are considered before the exact
|
|
metric geometry clip; NoData cells are excluded and counted in the manifest.
|
|
|
|
The modern series key is
|
|
`department-omgeving:land-use:forest:mol`. It remains separate from
|
|
`digitaal-vlaanderen:historical-landuse:forest:mol`: the 1778-1969
|
|
cartographic editions and the harmonized 2013-2025 10 m land-use maps are not
|
|
presented as one continuous measurement method. Raster-derived polygon
|
|
identities are unstable, so GeoIntel compares hectares and never invents
|
|
added/removed forest objects.
|
|
|
|
### Regional official time series
|
|
|
|
`scripts/provision_regional_timeseries.py` applies the same population and
|
|
modern forest operators to the approved 28-municipality
|
|
`kempen-transport-region` scope. It resolves the checksummed VRBG union
|
|
boundary and writes to `Kempen Regional Workbench` through the normal dataset
|
|
API. Regional keys are
|
|
`statbel:population-statistical-sector:kempen-transport-region` and
|
|
`department-omgeving:land-use:forest:kempen-transport-region`, so Mol datasets
|
|
remain independent observations rather than aliases.
|
|
|
|
The command is explicit and operator-triggered. No source fetch happens during
|
|
startup or map interaction. Partial statistical sectors remain area-weighted
|
|
population estimates; forest hectares remain measurements in the harmonized
|
|
10 m source representation and are not cadastral forest boundaries.
|
|
The WCS source limits large responses, so regional forest retrieval is
|
|
partitioned by the same 28 official municipality boundaries. GeoIntel retains
|
|
those source rasters, merges them on their native 10 m grid and applies the
|
|
exact regional union clip before polygon persistence.
|
|
|
|
Official catalogues:
|
|
|
|
- https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2013
|
|
- https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2016
|
|
- https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2019
|
|
- https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2022
|
|
- https://www.vlaanderen.be/datavindplaats/catalogus/landgebruik-vlaanderen-toestand-2025
|
|
- https://www.vlaanderen.be/statistiek-vlaanderen/ruimtegebruik/landgebruik/metadata-landgebruik
|
|
|
|
## OSM
|
|
|
|
- Naam: OpenStreetMap
|
|
- Type: vector
|
|
- Gebruik: fallback referentie, wegen, POI's, landuse
|
|
- Toegang: Overpass API of lokale extracten
|
|
- Cache: PostGIS per analysegebied
|
|
- Prioriteit: V1 fallback
|
|
|
|
## Sentinel-2
|
|
|
|
- Naam: Copernicus Sentinel-2
|
|
- Type: multispectraal raster
|
|
- Gebruik: NDVI, NDWI, NDBI, remote sensing change detection
|
|
- Toegang: Copernicus/STAC later te bepalen
|
|
- Cache: raster storage + metadata in PostGIS
|
|
- Prioriteit: V2
|
|
|
|
## DHMV
|
|
|
|
- Naam: Digitaal Hoogtemodel Vlaanderen
|
|
- Type: raster/hoogte
|
|
- Gebruik: DEM, DSM, helling, laagste punten
|
|
- Toegang: Vlaamse open data, download/WCS nader te bepalen
|
|
- Cache: raster storage
|
|
- Prioriteit: V3
|
|
|
|
## Gebouwenregister
|
|
|
|
- Naam: Gebouwenregister Vlaanderen
|
|
- Type: vector/API/metadata
|
|
- Gebruik: gebouwmetadata en statusinformatie
|
|
- Toegang: nader te bepalen
|
|
- Cache: PostGIS/metadata tabellen
|
|
- Prioriteit: V2
|
|
|
|
## Lokale demo datasets
|
|
|
|
De repo moet ruimte voorzien voor kleine samplebestanden in `tests/fixtures/` of `datasets/raw/demo/`. Grote datasets mogen niet standaard in git.
|
|
|
|
## Sprint 7B provider registry
|
|
|
|
Sprint 7B exposes provider metadata only. It does not perform GRB WFS calls, OSM Overpass calls, downloads, or fake data generation.
|
|
|
|
| provider | authority_level | configured | layers | dataset mapping |
|
|
| --- | --- | --- | --- | --- |
|
|
| `grb` | authoritative | false | buildings, roads, parcels | `dataset_role=reference`, `source_name=grb` |
|
|
| `osm` | contextual | false | buildings, roads, water, landuse | default `dataset_role=source`, explicit reference `dataset_role=reference`, `source_name=osm` |
|
|
| `manual` | manual | true | uploaded user layers | `dataset_role=reference`, `source_name=manual` |
|
|
| `fixture` | fixture | true | demo/test fixture layers | `dataset_role=reference`, `source_name=fixture` |
|
|
|
|
Future provider output must flow through `DatasetService` and `VectorFeatureService`; providers must not write directly to `vector_features`.
|