evaluate fresh Flemish remediation training

2026-08-10 03:47:51 +02:00
parent b068a5e065
commit 98188e0a44
20 changed files with 5120 additions and 0 deletions
@@ -0,0 +1,60 @@
+# V73 Vlaamse foutremediatie
+
+## Uitkomst
+
+V73 heeft de datadekking aantoonbaar verbreed, maar geen beter productiemodel
+opgeleverd. Daarom blijft het actieve model ongewijzigd. Dit is een geslaagde
+fail-closed beslissing: twee nieuw getrainde GPU-kandidaten zijn afgewezen op
+de vooraf bevroren en ruimtelijk onafhankelijke V72-calibratieportfolio.
+
+## Nieuwe dekking
+
+- twaalf nieuwe Vlaamse train-only AOI's;
+- woonwijken, lintbebouwing, landelijke kernen, industrie, haven, bos, duinen
+  en landbouwcontext;
+- officiële orthofoto en GRB als primaire gebouwreferentie;
+- 48 canonieke niet-overlappende tegels met 1.710 labels;
+- drie lege tegels en meerdere moeilijke, dun bebouwde contexten;
+- minimale afstand tot een V72-calibratie-AOI: 9.203 meter, tegenover de gate
+  van 2.000 meter.
+
+De oorspronkelijke Maaseik-grensselectie werd door de provider terecht
+geweigerd wegens nuldekking binnen de Vlaamse orthofotozone. De gecheckpointte
+acquisitie is hervat met een vooraf geregistreerde inlandse vervanging in Peer.
+
+## Visuele controle
+
+Alle 48 uiteindelijke tegels zijn via twee contact sheets gecontroleerd. De
+eerste export maakte een bestaande edge-coverzwakte zichtbaar: rasters die iets
+groter dan 1024 pixels waren, leverden vrijwel identieke tegels op de laatste
+pixeloffset. Zestig zulke overlappende tegels zijn vóór training verwijderd en
+de nieuwe experimentele exporter bevat hiervoor een regressiegate.
+
+De controle is AI-assisted en dus expliciet geen vervanging voor de vereiste
+onafhankelijke menselijke labelreview. Het corpus en de modellen blijven
+daardoor niet-promoveerbaar.
+
+## GPU-resultaten
+
+| Model | Precision | Recall | mAP50 | mAP50-95 | Besluit |
+|---|---:|---:|---:|---:|---|
+| Actief | 0,1577 | 0,1178 | 0,0568 | 0,0218 | behouden |
+| V73 agressief, 20 epochs | 0,0124 | 0,2557 | 0,0189 | 0,0038 | afgewezen |
+| V73 gecontroleerd, 10 epochs | 0,0179 | 0,3247 | 0,0222 | 0,0057 | afgewezen |
+
+Beide kandidaten verhogen recall maar produceren veel te veel foutpositieven.
+Een drempel- of gemiddelde-scoretruc rechtvaardigt hier geen promotie: precision
+en beide mAP-maten regresseren ernstig.
+
+## Conclusie en resterende grens
+
+De huidige detector is nog niet nauwkeurig genoeg om landelijke, regionale of
+"100% correcte" gebouwclaims te dragen. V73 voorkomt wel dat een slechter model
+in productie komt en levert nieuwe, herleidbare foutdekking voor een latere
+training. Voor een echte volgende kwaliteitsstap zijn minimaal een grotere
+onafhankelijk menselijk beoordeelde trainset, meer pure-backgroundtegels en
+governed PICC/UrbIS-contracten nodig. Tot dan moeten resultaten als
+modelvoorstellen met bronvergelijking en onzekerheid worden gepresenteerd.
+
+Alle ruwe manifests, matrices, hashes en contact sheets staan onder
+`artifacts/evidence/accuracy/model-training/20260810-v73-flanders-remediation/`.