geointel/docs/accuracy-program/11-baseline-benchmark.md

Fase 4 — Baselinebenchmark

Beslissing

Het lokale evaluatieharnas is reproduceerbaar en groen. Een betrouwbare baseline van het actieve GeoIntel-productiemodel is in deze omgeving niet uitvoerbaar. De productbenchmark is fail door de bevestigde Phase-3-leakage; andere productgates blijven not_evaluable zonder governed bewijs. Er wordt daarom geen productie-accuracy-, België-brede of promotieclaim afgeleid.

Statusveld	Waarde
Benchmark-ID	geointel-p4-reference-harness-v2
Lokale harnasstatus	pass
Productbenchmark	fail
Promotie toegestaan	false
Phase 4 done	false
Phase 5 ready	false

Referentie-implementatie als nulmeting

De bestaande productiecode in backend/app/services/qa_service.py is via scripts/run_golden_qa_benchmark.py uitgevoerd op vier bevroren golden QA-scenario's. De dynamische service-UUID wordt niet meegenomen in de canonieke inhoudshash.

Golden scenario	Precision	Recall	F1	Mean matched IoU
Partial match	0,50	0,50	0,50	0,8339768339652592
Perfect match	1,00	1,00	1,00	1,00
No overlap	0,00	0,00	null	null
Multipolygon match	1,00	1,00	1,00	1,00

De canonieke referentiehash is aeb0f6510352f4e205e4fc4e8c423110ca72c2142016c7af846d758865f258c6. Dit bewijst de rekenkundige regressiestabiliteit van de QA-service, niet de kwaliteit van een detector of segmentatiemodel.

Multi-task evaluatorbaseline

Negen synthetische, deterministische test/background-test-cases oefenen zeven evaluatorfamilies en 15 concrete capabilityrecords uit. De gecombineerde resultaathash is 55cdba9cce4dcdc88cee0829cd510d7e624a3472feb9d33f7e681621a792eba3. De cases zijn bewust klein; hun scores testen formules, null-semantiek, raw-retentie, stratificatie en foutclassificatie, niet productkwaliteit.

Familie	Voornaamste fixture-uitkomst	Claimgrens
Objectdetectie	P 0,667; R 1,000; F1 0,800; AP50 1,000; AP50–95 0,901	formule-/harnastest
Footprintsegmentatie	mean IoU 0,799; Dice 0,888; boundary F1 1,000	formule-/harnastest
Categorisch raster	accuracy 0,833; macro F1 0,822; mean IoU 0,722	metriekcontract, geen geleerd rastermodel
Vectorvergelijking	P/R/F1 0,500; mean matched IoU 1,000	formule-/harnastest
Change detection	globale P/R/F1 0,500; afzonderlijke added/removed metrics	eventclassificatie zichtbaar
Terrein	MAE 0,275 m TAW; RMSE 0,287 m TAW; coverage 0,800	eenheids-/coveragecontract
Datavalidatie	P/R/F1 0,667; één critical miss	fail-closed anomaliecontract

Alle subgroepen hebben in deze kleine fixture onvoldoende statistische support. Hun release_gate_status is daarom not_evaluable, met de supportreden apart geregistreerd; geen gemiddelde kan dit omzetten in releasebewijs. De 95%-Wilsonintervallen zijn overeenkomstig breed.

Ruwe voorspellingen en fouten

De workflow bewaart exacte referenties, pre-/postfiltervoorspellingen, configuratie en lineage vóór iedere samenvatting. De failure gallery bevat 14 deterministische voorbeelden, waaronder FP/FN, boundary- en area-bias, rastermisclassificatie, calibratie en een gemiste critical-validatieafwijking. De failure-ID's zijn inhoudsgebonden en kunnen in regressietests worden hergebruikt.

Relevante evidence:

• baseline-raw-predictions.json — exacte raw referenties, pre-/postfilteroutputs, config en lineage;
• metric-report.json — taak- en subgroepmetingen met support en intervallen;
• failure-gallery.json — machineleesbare fouttaxonomie en voorbeelden;
• reference-implementation-baseline.json — werkelijke QA-service-uitvoering;
• benchmark-manifest.json — alle input-, split-, code- en evaluatoridentiteiten.

De canonieke benchmarkmanifesthash is 0ea5ab07f46c509a7a24943b31d5e9bfd6368920609227bc47613e18e52c4642; de exacte bestandshash is 868dd7eb2dfa8344e417879ed3f5dd7c7d9e5673add7e3e2294c5cbde4b75d57. Evidence-run p4-2.0.1-9677d0ef37db82bcf39b bindt uitvoerbare codecommit 70fb4b94e5cb7c248beec5a936ce186f38cc183c. De evidence-manifestbestandshash is fdc15a95ee2a0754dfa169f4b41036e084b8d8909afc37fd8ea68ee6b9210f98; de release-gatereportbestandshash is e5f1c9c43c8da22acfa5486e641c010a278431f90634f91335b039ab7bdb50a4. Deze hashes bewijzen reproduceerbaarheid en integriteit, niet productaccuracy.

Waarom de productbaseline niet uitvoerbaar is

De productgates zijn bewijsgebonden en kunnen niet vanuit losse statusvelden groen worden gemaakt:

1. de actieve modelconfiguratie verwijst naar /app/models/...pt, die lokaal niet als bestand beschikbaar is;
2. er is geen governed productmanifest met in-process herberekende raw evidence voor alle zeven taakfamilies en een actueel CUDA/GPU-receipt;
3. een volledige GRB/PICC/UrbIS/DHMV/SPW/MDK-taak-/zoneportfolio ontbreekt;
4. een checksumgebonden reviewledger ontbreekt; historisch staat V56 op 0/180;
5. een productgebonden geometrische leakage-audit ontbreekt; historisch zijn er 24 cross-splitparen onder 2 km;
6. de Phase-3-leakagestatus is bevestigd attention en dus fail;
7. vaultisolatie met hash-chained accesslog is niet bewezen;
8. representatieve support over alle 13 vereiste subgroupdimensies ontbreekt.

Door de fail-first aggregatie maakt de bevestigde Phase-3-leakage de huidige productbenchmark fail; ontbrekende productartefacten blijven afzonderlijk not_evaluable. Geen van beide toestanden laat promotie toe.

Daarnaast waren Tower-corpora, gemounte modelvolumes en de productie-PostGIS/API in Phase 3 expliciet onbereikbaar. Het harnas verzint daarvoor geen vervangende ground truth en gebruikt OSM niet automatisch als gezagsbron voor gebouwen.

Betekenis voor volgende training

Test- en challenge-data mogen niet worden geopend voor training, thresholdselectie, modelselectie of iteratieve foutcorrectie. Eerst moeten de representatieve review, nieuwe onafhankelijke splits, lokale gezagsdata, protected vault en een checksumbare incumbent-run beschikbaar zijn. Daarna worden modelkeuzes op val en operating points op calibration vooraf vastgelegd; pas vervolgens mag één immutable kandidaat de protected test en background-test doorlopen. Challenge-labels blijven sealed.