Workplace Engineer
- Locatie
- Genk, Limburg
Jouw rol
Je beheert endpoints, Microsoft Intune en Microsoft 365. De functie bevat occasionele tweedelijnssupport en hybride werk.
diff --git a/.env.example b/.env.example index db31904..f1f9df1 100644 --- a/.env.example +++ b/.env.example @@ -7,7 +7,7 @@ DJANGO_ALLOWED_HOSTS=localhost,127.0.0.1 DJANGO_CSRF_TRUSTED_ORIGINS=http://localhost:1226 DJANGO_TIME_ZONE=Europe/Brussels VACATURERADAR_OWNER_NAME=Jens -VACATURERADAR_VERSION=0.3.12 +VACATURERADAR_VERSION=0.3.13 # Gebruik DATABASE_URL niet voor SQLite. Laat leeg voor lokale sqlite-ontwikkeling. POSTGRES_DB=vacatureradar diff --git a/.github/workflows/ci.yml b/.github/workflows/ci.yml index a97e1d4..8b548de 100644 --- a/.github/workflows/ci.yml +++ b/.github/workflows/ci.yml @@ -24,6 +24,8 @@ jobs: run: python -m pip install --disable-pip-version-check uv==0.10.0 - name: Sync locked dependencies run: uv sync --frozen --all-groups + - name: Install Chromium for mandatory browser tests + run: uv run playwright install --with-deps chromium - name: Secret scan uses: trufflesecurity/trufflehog@v3.79.0 with: @@ -47,6 +49,13 @@ jobs: IMAP_ENABLED: "0" OLLAMA_ENABLED: "0" run: ./scripts/codex_verify.sh + - name: Upload browser failure artifacts + if: failure() + uses: actions/upload-artifact@v4 + with: + name: browser-failure-artifacts + path: artifacts/browser-tests/ + if-no-files-found: ignore container: runs-on: ubuntu-latest @@ -64,5 +73,17 @@ jobs: severity: HIGH,CRITICAL exit-code: "1" ignore-unfixed: true + - name: Generate CycloneDX software bill of materials + uses: aquasecurity/trivy-action@0.30.0 + with: + image-ref: vacatureradar:ci + format: cyclonedx + output: vacatureradar-sbom.cdx.json + scan-type: image + - name: Upload software bill of materials + uses: actions/upload-artifact@v4 + with: + name: vacatureradar-sbom + path: vacatureradar-sbom.cdx.json - name: Inspect image configuration run: docker image inspect vacatureradar:ci > /tmp/image-inspect.json diff --git a/ARCHITECTURE.md b/ARCHITECTURE.md new file mode 100644 index 0000000..572157b --- /dev/null +++ b/ARCHITECTURE.md @@ -0,0 +1,12 @@ +# Architectuur + +VacatureRadar gebruikt een Django-modulaire monoliet met PostgreSQL, Redis en Celery. Bedrijfsregels staan in domeinservices, views en tasks orkestreren en bronadapters leveren `ExtractionResult` zonder databasewrites. + +Lees verder: + +- [Systeemarchitectuur](docs/architecture/SYSTEM_ARCHITECTURE.md) +- [Datastroom](docs/architecture/DATA_FLOW.md) +- [Datamodel](docs/architecture/DATA_MODEL.md) +- [Bronadapters](docs/architecture/SOURCE_ADAPTERS.md) +- [Securityarchitectuur](docs/architecture/SECURITY_ARCHITECTURE.md) +- [Scoring](docs/architecture/SCORING_ENGINE.md) diff --git a/BACKUP_RESTORE.md b/BACKUP_RESTORE.md new file mode 100644 index 0000000..cd1071b --- /dev/null +++ b/BACKUP_RESTORE.md @@ -0,0 +1,3 @@ +# Back-up en herstel + +De uitvoerbare procedure, retentie, veilige testrestore en vergelijkingsstappen staan in [docs/operations/BACKUP_RESTORE.md](docs/operations/BACKUP_RESTORE.md). Een productieback-up geldt pas als bewezen nadat hij naar een geïsoleerd doel is hersteld en vergeleken. De nog vereiste live proef staat als `EXT-002` in [USER_INPUT_REQUIRED.md](USER_INPUT_REQUIRED.md). diff --git a/CURRENT_STATE.md b/CURRENT_STATE.md new file mode 100644 index 0000000..6285e6c --- /dev/null +++ b/CURRENT_STATE.md @@ -0,0 +1,5 @@ +# Huidige toestand + +VacatureRadar 0.3.13 is een single-user-first, server-rendered vacature-intelligencecockpit. De actuele uitvoeringsstatus, laatste gate en externe restpunten staan in [docs/ai/PROJECT_STATE.md](docs/ai/PROJECT_STATE.md). Productgebruik en installatie beginnen in [README.md](README.md). + +De kern is lokaal uitvoerbaar. Live identity-, mailbox-, TLS- en restoreacceptatie vereist uitsluitend de acties in [USER_INPUT_REQUIRED.md](USER_INPUT_REQUIRED.md). diff --git a/DEPLOYMENT.md b/DEPLOYMENT.md new file mode 100644 index 0000000..2498a73 --- /dev/null +++ b/DEPLOYMENT.md @@ -0,0 +1,10 @@ +# Deployment + +De standaard productieopstelling gebruikt afzonderlijke web-, worker-, scheduler-, PostgreSQL- en Rediscontainers. Voor Unraid is daarnaast een bewaakte AIO-variant beschikbaar. Poort 1226 is de configureerbare externe standaard; de applicatie luistert intern op 8080. + +- [Unraiddeployment](docs/operations/UNRAID_DEPLOYMENT.md) +- [Nginx Proxy Manager](docs/operations/NGINX_PROXY_MANAGER.md) +- [Giteadeployment](docs/operations/GITEA_DEPLOYMENT.md) +- [Releasechecklist](docs/quality/RELEASE_CHECKLIST.md) + +Gebruik nooit wildcardhosts of secrets uit voorbeeldbestanden. `PUBLIC_BASE_URL` is de publieke bron van waarheid voor host-, origin-, HTTPS- en cookieconfiguratie. diff --git a/OPERATIONS.md b/OPERATIONS.md new file mode 100644 index 0000000..cfbb328 --- /dev/null +++ b/OPERATIONS.md @@ -0,0 +1,8 @@ +# Operations + +Dagelijks beheer omvat readiness, worker/beat-heartbeat, bronruns, notificatie-outbox, back-upouderdom en foutcategorieën. De automationcockpit toont alleen echte database- en cachewaarden; niet-meetbare queuediepte blijft expliciet onbekend. + +- [Operationeel runbook](docs/operations/RUNBOOK.md) +- [Broncatalogus](docs/operations/LIVE_SOURCE_CATALOG.md) +- [Back-up en herstel](docs/operations/BACKUP_RESTORE.md) +- [Externe releaseacties](USER_INPUT_REQUIRED.md) diff --git a/README.md b/README.md index d893058..bc935f8 100644 --- a/README.md +++ b/README.md @@ -177,7 +177,8 @@ Lees vóór productiegebruik [SECURITY.md](SECURITY.md) en het [threat model](do De kern is een server-rendered Django 5.2-modulaire monoliet met PostgreSQL, Redis/Celery en een lokale dark/light-interface zonder runtime-CDN of SPA-afhankelijkheid. SQLite wordt gebruikt voor lokale tests. ```bash -uv sync --frozen +uv sync --frozen --all-groups +uv run playwright install chromium uv run python manage.py migrate uv run python manage.py runserver 0.0.0.0:8080 ``` @@ -188,7 +189,7 @@ Voer vóór iedere oplevering de volledige gate uit: ./scripts/codex_verify.sh ``` -Die controleert formatting, lint, Django-configuratie, migraties, de volledige offline testset, minimaal 70% branch-aware dekking, documentatie en de taakledger. Bij wijzigingen aan de frontend controleer je daarnaast toetsenbordgebruik, dark/light en minimaal 360 px plus een gangbare desktopbreedte. +Die controleert formatting, lint, Django-configuratie, migraties, de volledige testset, verplichte Chromium-E2E, minimaal 70% branch-aware dekking, documentatie en de taakledger. De browsergate controleert de kernreis, focus, consolefouten en documentoverflow op mobiel, tablet, laptop, desktop, widescreen en ultrawide. ## Beheer en deployment @@ -198,6 +199,9 @@ Die controleert formatting, lint, Django-configuratie, migraties, de volledige o - [Push-to-deploy met Gitea](docs/operations/GITEA_DEPLOYMENT.md) - [Operationeel runbook](docs/operations/RUNBOOK.md) - [Back-up en herstel](docs/operations/BACKUP_RESTORE.md) +- [Professionalisering baseline](docs/audit/BASELINE.md) +- [Performanceaudit](docs/audit/PERFORMANCE.md) +- [Finale acceptance](docs/audit/FINAL_ACCEPTANCE.md) Een overdrachtsarchief zonder secrets, lokale databases of caches maak en controleer je met: diff --git a/TESTING.md b/TESTING.md new file mode 100644 index 0000000..fcd107e --- /dev/null +++ b/TESTING.md @@ -0,0 +1,11 @@ +# Testen + +De verplichte lokale gate is: + +```bash +./scripts/codex_verify.sh +``` + +Deze voert lint, Django checks, migratiecontrole, unit-, integratie-, security- en verplichte Playwrighttests, coverage, ledger- en repositoryvalidatie uit. Chromium moet vooraf via `playwright install chromium` beschikbaar zijn. CI installeert de browser reproduceerbaar en bewaart screenshots bij fouten. + +Zie [docs/quality/TEST_STRATEGY.md](docs/quality/TEST_STRATEGY.md) voor testlagen en [docs/quality/DEFINITION_OF_DONE.md](docs/quality/DEFINITION_OF_DONE.md) voor de releasegate. diff --git a/USER_INPUT_REQUIRED.md b/USER_INPUT_REQUIRED.md new file mode 100644 index 0000000..c410b67 --- /dev/null +++ b/USER_INPUT_REQUIRED.md @@ -0,0 +1,33 @@ +# Externe acties + +Dit register bevat uitsluitend stappen die niet betrouwbaar vanuit de repository kunnen worden uitgevoerd. Alle omliggende implementatie, validatie en runbooks worden autonoom afgewerkt. + +## EXT-001 — Live publieke productieacceptatie + +- Waarom menselijke/externe toegang nodig is: de uiteindelijke DNS-, TLS-, Nginx Proxy Manager- en Unraid-runtime bevinden zich buiten de lokale repositoryomgeving. +- Veilige standaard: exacte `PUBLIC_BASE_URL`, host-, origin-, proxy- en secure-cookievalidatie blijven fail-fast geconfigureerd. +- Reeds geïmplementeerd: lokale configuratiechecks, healthchecks, deploy- en rollbackhelpers en reverse-proxyrunbook. +- Resterende handeling: voer de finale acceptancecheck uit op `https://vacatureradar.itworx.tech` en valideer container, worker, scheduler, Redis, login, gastdemo, assets en rollback. +- Impact zonder actie: lokale en gesimuleerde productievalidatie blijven geldig, maar de huidige live infrastructuur kan niet als opnieuw bewezen worden gerapporteerd. +- Prioriteit: P1 voor publieke release. +- Benodigde waarde/beslissing: bereikbare doelomgeving met bestaande deployrechten. + +## EXT-002 — Live back-up- en restoreproef + +- Waarom menselijke/externe toegang nodig is: een betekenisvolle productie-restore vereist toegang tot de echte Unraid-volumes en een door de eigenaar gekozen testvenster. +- Veilige standaard: restore gebeurt uitsluitend naar een afzonderlijke testlocatie; bestaande data wordt nooit overschreven. +- Reeds geïmplementeerd: back-up-, restore- en vergelijkingsscripts plus lokale testflow. +- Resterende handeling: plan en voer een geïsoleerde restore uit met een recente productieback-up. +- Impact zonder actie: herstelbaarheid is lokaal aantoonbaar, maar niet voor de actuele productiedataset. +- Prioriteit: P1 voor disaster recovery. +- Benodigde waarde/beslissing: testvenster en geïsoleerd restoredoel. + +## EXT-003 — Externe identity- en mailcredentials + +- Waarom menselijke/externe toegang nodig is: Entra-appregistratie en mailboxcredentials zijn accountgebonden secrets. +- Veilige standaard: integraties blijven uitgeschakeld zonder volledige configuratie; lokale login en fixtures blijven werken. +- Reeds geïmplementeerd: versleutelde credentialopslag, configuratievalidatie, mocks en negatieve tests. +- Resterende handeling: vul de bestaande productievariabelen en appregistratie in en voer de beschreven smoke tests uit. +- Impact zonder actie: lokale authenticatie en handmatige/e-mailfixture-ingress blijven bruikbaar; de betreffende live integraties blijven inactief. +- Prioriteit: P2, alleen wanneer deze integraties gewenst zijn. +- Benodigde waarde/beslissing: geldige Entra- en/of mailboxconfiguratie. diff --git a/apps/core/services/automation.py b/apps/core/services/automation.py index f802688..55d78f4 100644 --- a/apps/core/services/automation.py +++ b/apps/core/services/automation.py @@ -4,6 +4,7 @@ from datetime import timedelta from typing import Any from django.conf import settings +from django.core.cache import cache from django.db.models import Count, Q, Sum from django.utils import timezone @@ -14,6 +15,32 @@ from apps.profiles.models import SearchProfile from apps.sources.models import Source, SourceRun from ..health import readiness +from ..tasks import RUNTIME_HEARTBEAT_KEY + + +def _runtime_heartbeat_state() -> dict[str, Any]: + if settings.CELERY_TASK_ALWAYS_EAGER: + return {"label": "Eager/lokaal", "healthy": True, "observed_at": None} + + raw_timestamp = cache.get(RUNTIME_HEARTBEAT_KEY) + if not raw_timestamp: + return {"label": "Geen recente heartbeat", "healthy": False, "observed_at": None} + + try: + observed_at = timezone.datetime.fromisoformat(str(raw_timestamp)) + if timezone.is_naive(observed_at): + observed_at = timezone.make_aware(observed_at) + except (TypeError, ValueError): + return {"label": "Ongeldige heartbeat", "healthy": False, "observed_at": None} + + age_seconds = max(0, int((timezone.now() - observed_at).total_seconds())) + return { + "label": f"Actief · {age_seconds}s geleden" + if age_seconds <= 150 + else "Heartbeat verouderd", + "healthy": age_seconds <= 150, + "observed_at": observed_at, + } def build_automation_cockpit() -> dict[str, Any]: @@ -84,6 +111,7 @@ def build_automation_cockpit() -> dict[str, Any]: "unit": "verzonden / 24u", }, ] + runtime_heartbeat = _runtime_heartbeat_state() return { "health": readiness(), "source_total": source_total, @@ -103,7 +131,8 @@ def build_automation_cockpit() -> dict[str, Any]: "source_rows": Source.objects.annotate(run_count=Count("runs")).order_by("name")[:12], "queue_state": "Eager/lokaal" if settings.CELERY_TASK_ALWAYS_EAGER - else "Geconfigureerd, worker niet gemeten", + else "Diepte niet beschikbaar", + "runtime_heartbeat": runtime_heartbeat, "ai_state": "Geconfigureerd" if settings.OLLAMA_ENABLED and settings.OLLAMA_MODEL else "Niet geconfigureerd", diff --git a/apps/core/tasks.py b/apps/core/tasks.py new file mode 100644 index 0000000..55db647 --- /dev/null +++ b/apps/core/tasks.py @@ -0,0 +1,17 @@ +from __future__ import annotations + +from celery import shared_task +from django.core.cache import cache +from django.utils import timezone + +RUNTIME_HEARTBEAT_KEY = "vacatureradar:runtime:heartbeat" +RUNTIME_HEARTBEAT_TTL_SECONDS = 180 + + +@shared_task(name="apps.core.tasks.record_runtime_heartbeat", ignore_result=True) +def record_runtime_heartbeat() -> str: + """Record proof that beat dispatch and a worker execution both succeeded.""" + + timestamp = timezone.now().isoformat() + cache.set(RUNTIME_HEARTBEAT_KEY, timestamp, timeout=RUNTIME_HEARTBEAT_TTL_SECONDS) + return timestamp diff --git a/apps/jobs/views.py b/apps/jobs/views.py index 32fcc20..514daec 100644 --- a/apps/jobs/views.py +++ b/apps/jobs/views.py @@ -144,7 +144,7 @@ class JobListView(LoginRequiredMixin, ListView): model = JobPosting template_name = "jobs/list.html" context_object_name = "jobs" - paginate_by = 30 + paginate_by = 20 VALID_RECOMMENDATIONS = { ScoreRun.Recommendation.STRONG, diff --git a/apps/sources/adapters/generic_html.py b/apps/sources/adapters/generic_html.py index c682abc..c49b784 100644 --- a/apps/sources/adapters/generic_html.py +++ b/apps/sources/adapters/generic_html.py @@ -9,13 +9,15 @@ from .base import ExtractedJob, ExtractionResult, FieldEvidence LABEL_PATTERNS = { "location": re.compile(r"^(locatie|location|lieu|plaats|standplaats)\s*:?$", re.I), + "date_posted": re.compile(r"^(publicatiedatum|geplaatst|date posted|published)\s*:?$", re.I), + "employment_type": re.compile(r"^(dienstverband|contract|employment type)\s*:?$", re.I), "employer": re.compile(r"^(werkgever|employer|company|organisatie|société)\s*:?$", re.I), } class GenericHtmlAdapter: parser_key = "generic-html" - parser_version = "1.0.0" + parser_version = "1.1.0" @staticmethod def _meta(soup: BeautifulSoup, *names: str) -> str: @@ -59,6 +61,8 @@ class GenericHtmlAdapter: soup, LABEL_PATTERNS["employer"] ) location = self._label_value(soup, LABEL_PATTERNS["location"]) + date_posted = self._label_value(soup, LABEL_PATTERNS["date_posted"]) + employment_type = self._label_value(soup, LABEL_PATTERNS["employment_type"]) main = soup.find("main") or soup.find("article") or soup.body description_html = str(main) if main else "" description_text = ( @@ -74,6 +78,12 @@ class GenericHtmlAdapter: FieldEvidence("location_text", "html-label", 0.62, location[:240]), FieldEvidence("description", "html-main", 0.70, description_text[:300]), ] + if date_posted: + evidence.append(FieldEvidence("date_posted", "html-label", 0.62, date_posted[:40])) + if employment_type: + evidence.append( + FieldEvidence("employment_types", "html-label", 0.62, employment_type[:120]) + ) job = ExtractedJob( url=job_url, title=title, @@ -81,6 +91,8 @@ class GenericHtmlAdapter: location_text=location, description_html=description_html, description_text=description_text, + date_posted=date_posted, + employment_types=[employment_type] if employment_type else [], raw={"generic_html": True}, evidence=evidence, ) diff --git a/config/settings.py b/config/settings.py index 154a296..ef4f83a 100644 --- a/config/settings.py +++ b/config/settings.py @@ -139,7 +139,7 @@ CSRF_TRUSTED_ORIGINS = merge_unique( ) TIME_ZONE = os.getenv("DJANGO_TIME_ZONE", "Europe/Brussels") VACATURERADAR_OWNER_NAME = os.getenv("VACATURERADAR_OWNER_NAME", "Jens").strip()[:40] or "Jens" -VACATURERADAR_VERSION = os.getenv("VACATURERADAR_VERSION", "0.3.12").strip() or "0.3.12" +VACATURERADAR_VERSION = os.getenv("VACATURERADAR_VERSION", "0.3.13").strip() or "0.3.13" LANGUAGE_CODE = "nl-be" USE_I18N = True USE_TZ = True @@ -369,6 +369,10 @@ if DEBUG and not MAILBOX_CREDENTIAL_KEYS: ] CELERY_BEAT_SCHEDULE = { + "runtime-heartbeat": { + "task": "apps.core.tasks.record_runtime_heartbeat", + "schedule": 60.0, + }, "schedule-mailbox-polls": { "task": "apps.sources.tasks.schedule_mailbox_polls", "schedule": 300.0, diff --git a/deployment/production.env.example b/deployment/production.env.example index 45814cc..8bb0abf 100644 --- a/deployment/production.env.example +++ b/deployment/production.env.example @@ -9,7 +9,7 @@ DJANGO_ALLOWED_HOSTS=vacatureradar.example.be,127.0.0.1,localhost DJANGO_CSRF_TRUSTED_ORIGINS=https://vacatureradar.example.be DJANGO_TIME_ZONE=Europe/Brussels VACATURERADAR_OWNER_NAME=Jens -VACATURERADAR_VERSION=0.3.12 +VACATURERADAR_VERSION=0.3.13 POSTGRES_DB=vacatureradar POSTGRES_USER=vacatureradar diff --git a/docs/ai/BACKLOG.yaml b/docs/ai/BACKLOG.yaml index eab3eac..dba471a 100644 --- a/docs/ai/BACKLOG.yaml +++ b/docs/ai/BACKLOG.yaml @@ -1,6 +1,6 @@ schema_version: 1 project: VacatureRadar -updated_at: '2026-07-28' +updated_at: '2026-07-29' execution_policy: order: file-order, then first ready task whose dependencies are done no_product_questions: true @@ -2283,3 +2283,49 @@ tasks: note: README verdiept tot een klikbare user-first productreis met negen actuele beelden op 1920x1080 en 390x844 in dark/light; alle routes zonder overflow of consolewaarschuwingen. VR-225-lint en Windows-modusassertie hersteld; 296 tests groen, 2 skips en 83,44% dekking. +- id: VR-227 + title: Professionaliseer VacatureRadar integraal voor release 0.3.13 + status: done + priority: P0 + requirement_ids: + - NFR-001 + - NFR-006 + - NFR-007 + - NFR-008 + - NFR-009 + - NFR-010 + depends_on: + - VR-226 + summary: Voer de integrale responsive, UX-, accessibility-, performance-, observability-, security- en operationsroadmap + uit en vervang optionele browsercontrole door een verplichte releasegate. + acceptance_criteria: + - Hoofdcontent en topbar delen een gecentreerd adaptief frame; gastbanner, sticky elementen en pipeline blijven + bruikbaar van 390 tot 3440 px zonder documentoverflow. + - De vacatureflow is begrensd gepagineerd, globale zoekcopy is eerlijk, mobiel pipelinegebruik is verticaal en + demomutaties veroorzaken geen controlmuur. + - Playwright Chromium draait verplicht in CI op zes viewports, faalt op console/page errors en controleert focus, + kernreis en documentoverflow zonder skips. + - Automatisering toont een echte worker/beat-heartbeat en markeert niet-meetbare queuediepte eerlijk; benchmarkparserdekking + is volledig en reproduceerbaar. + - Baseline, performance, architectuur, operations, testing, traceability, externe acties en finale acceptance + zijn actueel en de volledige repositorygate slaagt. + verification: + - python -m scripts.benchmark --quick --skip-performance --json + - python -m pytest tests/e2e/test_vr114_browser_and_accessibility.py + - python -m pytest tests/unit/test_runtime_observability.py tests/unit/test_generic_html_adapter.py + - docker compose config + - ./scripts/codex_verify.sh + primary_paths: + - static/css/ + - static/js/app.js + - templates/base.html + - apps/core/services/automation.py + - apps/core/tasks.py + - tests/e2e/test_vr114_browser_and_accessibility.py + - docs/audit/ + - USER_INPUT_REQUIRED.md + result: + completed_at: '2026-07-29' + note: Release 0.3.13 professionaliseert responsive layout, mobiele gastflow, begrensde vacature-UX, verplichte + zes-viewport-Playwrightgate zonder skips, echte runtimeheartbeat, parserbenchmark, authdekking, SBOM en integrale + documentatie; volledige gate 312 tests groen, 84,16% dekking. diff --git a/docs/ai/PROJECT_STATE.md b/docs/ai/PROJECT_STATE.md index 70b1951..108e8be 100644 --- a/docs/ai/PROJECT_STATE.md +++ b/docs/ai/PROJECT_STATE.md @@ -1,7 +1,7 @@ # Projectstatus -- Laatst bijgewerkt: 2026-07-28 -- Repositoryversie: 0.3.12 productie- en reverse-proxyhardening +- Laatst bijgewerkt: 2026-07-29 +- Repositoryversie: 0.3.13 integrale professionalisering - Uitvoeringsmodus: autonome backlog - Eerste uitvoerbare taak: controleer met `python scripts/backlog.py next` @@ -21,6 +21,18 @@ De repository bevat een uitvoerbare Django-MVP met: ## Laatste productiehardening +VR-227 op 2026-07-29: + +- globaal contentframe en topbar zijn gecentreerd tot ultrawide; de gastbanner staat in de normale hoofdflow en de mobiele pipeline is verticaal; +- vacaturepaginering is begrensd tot twintig resultaten, zoekscope is eerlijk en recente zoektermen blijven lokaal tot vijf items beperkt; +- Playwright Chromium is een verplichte CI-gate op zes viewports en faalt op focusverlies, overflow, console- en page-errors; de volledige gebruikersreis draait zonder skips; +- cachegebaseerde worker/beat-heartbeat vervangt de vroegere ongemeten runtimeclaim; onbekende queuediepte blijft expliciet onbekend; +- generieke HTML-extractie ondersteunt publicatiedatum en dienstverband; benchmarkkwaliteitsrun behaalt 12/12 velden, precision/recall 1,0 en nul rankingchurn; +- authbackenddekking bedraagt 97%, Entra 86% en totale branch-aware dekking 84,16%; volledige gate groen met 312 tests, 0 failures en 0 skips; +- CI genereert een CycloneDX-SBOM. Docker kon lokaal niet worden uitgevoerd omdat de binary ontbreekt; live en externe restpunten staan uitsluitend in `USER_INPUT_REQUIRED.md`. + +Volgende uitvoerbare taak: geen na afronding van VR-227. + VR-225 op 2026-07-27: - `PUBLIC_BASE_URL` stuurt publieke host-, origin- en HTTPS-instellingen aan en voorkomt de gemelde `DisallowedHost` achter Nginx Proxy Manager; diff --git a/docs/audit/BASELINE.md b/docs/audit/BASELINE.md new file mode 100644 index 0000000..2dfb1bc --- /dev/null +++ b/docs/audit/BASELINE.md @@ -0,0 +1,46 @@ +# Professionalisering baseline + +- Datum: 2026-07-29 +- Branch: `main` +- Versie: 0.3.12 +- Opdracht: volledige autonome professionalisering van VacatureRadar + +## Architectuur + +VacatureRadar is een Django 5.2 server-rendered modulaire monoliet op Python 3.13. PostgreSQL is de productiedatabase; Redis ondersteunt cache, gedeelde rate limiting en Celery. Een afzonderlijke worker en scheduler verwerken bronruns, lifecycle en notificaties. Externe bronnen lopen via policy-, robots-, TLS- en SSRF-validatie en adapters leveren genormaliseerde extractieresultaten zonder databasewrites. + +De frontend bestaat uit Django-templates, lokale CSS en beperkte lokale JavaScript. Er is geen clientframework of externe runtimeasset. Authenticatie ondersteunt lokale accounts, een optionele Entra-boundary en een server-side alleen-lezen gastdemo. + +## Baselinevalidatie + +`./scripts/codex_verify.sh` start schoon: Ruff, Django system check en migratiecheck slagen. De bestaande suite bevat 298 tests. In de laatst volledig afgeronde gate slaagden 296 tests en werden twee browsercases overgeslagen omdat Playwright lokaal niet geïnstalleerd was; branch-aware dekking bedroeg 83,44%. + +CI voert lint, tests, secret scanning, dependency scanning, een productie-imagebuild en containerscan uit. De browserdependency wordt wel gesynchroniseerd, maar Chromium wordt nog niet geïnstalleerd en de E2E-test staat omgevingsafhankelijke skips toe. + +## Werkende onderdelen + +- Negen functionele hoofdschermen, login en wachtwoordherstel. +- Deterministische relevantie, scoring, dedupe en lifecycle vóór optionele AI. +- Read-only gastdemo met server-side mutatiebescherming. +- Bronbeleid, sanitization, SSRF-, TLS- en redirectbescherming. +- Docker-, Unraid-, reverse-proxy-, health-, back-up- en restorevoorzieningen. +- Dark/light theme, toetsenbordfocus, reduced-motionbasis en mobiele hoofdnavigatie. + +## Belangrijkste risico's bij start + +1. De premium CSS overschrijft het gecentreerde layoutcontract met links verankerde content. Op 3440 px blijft ongeveer 900 px ongebruikte ruimte rechts. +2. De gastbanner begint mobiel boven de vaste topbar en is daardoor gedeeltelijk onzichtbaar. +3. Verplichte browser- en accessibilitytests kunnen stilzwijgend skippen. +4. De vacatureverkenner rendert een zeer lange resultaatpagina; selectie- en scrollcontext zijn beperkt. +5. Bronnen en automatisering tonen veel operationele controls en informatie tegelijk. +6. Kritieke dekking is relatief laag in auth, Entra, core views en task orchestration. +7. Enkele modules zijn groter dan de repositoryrichtlijn en combineren meerdere verantwoordelijkheden. +8. Live TLS-, reverse-proxy-, worker-, scheduler-, back-up- en restoreacceptatie blijft doelomgevingafhankelijk. + +## Eerste uitvoeringsvolgorde + +1. Responsive layout en gastbanner. +2. Niet-skipbare browser-/accessibilitymatrix. +3. Dagelijkse kernflows en taakgerichte schermcomposities. +4. Kritieke tests, observability, container/security en herstelvalidatie. +5. Integrale eindacceptatie en live restpunten. diff --git a/docs/audit/FINAL_ACCEPTANCE.md b/docs/audit/FINAL_ACCEPTANCE.md new file mode 100644 index 0000000..0127238 --- /dev/null +++ b/docs/audit/FINAL_ACCEPTANCE.md @@ -0,0 +1,18 @@ +# Finale acceptance 0.3.13 + +Status: lokaal geaccepteerd; live externe acties blijven afzonderlijk geregistreerd. + +## Bewijs + +- `./scripts/codex_verify.sh`: geslaagd. +- Tests: 312 geslaagd, 0 mislukt, 0 overgeslagen, 1 niet-blokkerende waarschuwing. +- Branch-aware coverage: 84,16%. +- Playwright: zes viewports van 390×844 tot 3440×1200, volledige kernreis, reduced motion, focus, console/page errors en documentoverflow geslaagd. +- Benchmarkkwaliteitsrun: 12/12 parservelden, dedupeprecision 1,0, recall 1,0 en rankingchurn 0,0. +- Django system check en migratiecheck: schoon. +- Repository-, YAML-, ledger- en dependencyconsistentie: schoon; `pip check` meldt geen gebroken dependencies. +- Docker/compose-runtime: niet uitgevoerd omdat de lokale omgeving geen Dockerbinary bevat. Composebestanden blijven regressiegedekt en CI bouwt, scant en produceert een CycloneDX-SBOM. + +## Uitkomst + +Er bestaan geen bekende lokale P0- of P1-blokkers. Live TLS/proxy, productie-restore en optionele externe identity/mailintegraties worden uitsluitend overgenomen uit `USER_INPUT_REQUIRED.md`; lokale validatie wordt niet als live bewijs gepresenteerd. diff --git a/docs/audit/PERFORMANCE.md b/docs/audit/PERFORMANCE.md new file mode 100644 index 0000000..ae5bb30 --- /dev/null +++ b/docs/audit/PERFORMANCE.md @@ -0,0 +1,26 @@ +# Performanceaudit 2026-07-29 + +## Baseline + +- Lokale quickbenchmark: 250 invoeritems op Windows 11, Python 3.13, 16 CPU-threads. +- Import: p50 348,879 ms; p95 825,107 ms; totaal 125.982,74 ms. +- Dashboardlijst: p95 1.128,986 ms in de synthetische benchmark. +- Detail: p95 101,754 ms. +- Rescore: 53,284 ms voor de overgebleven unieke job in deze quickrun. +- Piekgeheugen: 105,588 MB. +- Frontend: lokale CSS en JavaScript, zonder framework of externe runtimeassets. + +De eerste run ontdekte een echte benchmarkfout: de generieke HTML-fixture leverde slechts vier van zes verwachte velden. De adapter en fixture ondersteunen nu ook gelabelde publicatiedatum en dienstverband. De herhaalde kwaliteitsrun behaalt 12/12 parservelden, dedupeprecision 1,0, recall 1,0 en nul rankingchurn. + +## Wijzigingen + +- Vacaturepaginering verlaagd van 30 naar 20 kaarten per pagina. +- Ultrawideframe gecentreerd zonder extra clientcode. +- Mobiele pipeline gebruikt een verticale grid en veroorzaakt geen horizontale documentoverflow. +- Runtimeheartbeat gebruikt de bestaande cache en voegt geen netwerkprobe aan paginarendering toe. + +## Resterende risico's + +- De synthetische quickimport overschrijdt de historische NFR-007-p95-doelwaarde; profiling van het volledige 25.000-itempad blijft zinvol vóór opschaling. +- De quickbenchmark meldt meer dan 7.900 databasequeries voor 250 importpogingen. Correctheid en idempotentie zijn goed, maar bulkimport is de eerstvolgende optimalisatiekandidaat. +- Queuediepte is met de generieke Django-cachebackend niet betrouwbaar meetbaar en wordt daarom eerlijk als onbekend getoond. diff --git a/docs/audit/TRACEABILITY.md b/docs/audit/TRACEABILITY.md new file mode 100644 index 0000000..a943bbc --- /dev/null +++ b/docs/audit/TRACEABILITY.md @@ -0,0 +1,15 @@ +# Professionaliseringstraceability + +| Roadmaponderdeel | Implementatie | Bewijs | Status | +|---|---|---|---| +| Responsive frame | `premium.css`, `layout.css` | zes Playwrightviewports, overflowassertie | implemented and verified | +| Mobiele gastbanner | `base.html`, `components.css` | integratietest en mobiele E2E | implemented and verified | +| Sticky/mobiele pipeline | `responsive.css`, `premium.css` | mobiele kernreis | implemented and verified | +| Verplichte browsergate | CI, E2E-suite | Chromiuminstallatie, console/page-errorchecks | implemented and verified | +| Vacatureflow | `JobListView`, `jobs/list.html` | view- en E2E-tests | implemented and verified | +| Zoekscope en recente termen | `base.html`, `app.js` | lokale, begrensde browseropslag | implemented and verified | +| Democontrols | read-only middleware en responsive CSS | auth- en E2E-tests | implemented and verified | +| Runtimeobservability | `apps/core/tasks.py`, automationservice | runtime-observabilitytests | implemented and verified | +| Parser/performance | generic HTML-adapter en benchmarkfixture | benchmark 12/12, precision/recall 1,0 | implemented and verified | +| Container/security | bestaande Docker/CI-hardening | compose-, config-, security- en containerscans | implemented, live verification pending | +| Live TLS/restore/identity | scripts en runbooks | `USER_INPUT_REQUIRED.md` | externally blocked, implementation complete | diff --git a/docs/quality/TRACEABILITY_MATRIX.md b/docs/quality/TRACEABILITY_MATRIX.md index e254a22..bfa8b49 100644 --- a/docs/quality/TRACEABILITY_MATRIX.md +++ b/docs/quality/TRACEABILITY_MATRIX.md @@ -84,6 +84,7 @@ Legenda: **I** = geïmplementeerd en getest in de huidige MVP; **P** = gedeeltel Iedere backlogtaak die een requirement wijzigt, werkt in dezelfde commit deze matrix, relevante acceptatiecriteria en tests bij. Een status wordt alleen naar **I** gezet wanneer de code én het genoemde bewijs bestaan. ## Aanvullende traceability-opmerking +- VR-227 professionaliseert release 0.3.13 integraal: gecentreerd ultrawideframe, mobiele gastbanner en verticale pipeline, begrensde vacaturepaginering, verplichte zes-viewport-Playwrightgate zonder skips, echte runtimeheartbeat, volledige generieke parserbenchmark en SBOM-generatie. Bewijs staat in `docs/audit/`, de E2E-/auth-/runtime-/adaptertests en `USER_INPUT_REQUIRED.md`. - VR-102 is gerealiseerd met auditbare policyreviews (`SourcePolicyReview`), robotscache met TTL/size/SSRF-controles en fail-closed policy-gating op verlopen of conflicterende reviews. - VR-107 is gerealiseerd met `apps/sources/views.py`, `apps/sources/services/manual_import.py`, `templates/sources/list.html`, `static/js/manual_import.js` en bijhorende unit/integration-tests. - VR-115 is afgerond met productie-hardening voor `config/settings.py`, DNS-rebindmitigatie in `apps/sources/services/fetcher.py`, rate limiting op login en handmatige import, CI-secret- en kwetsbaarheidsscans, non-root/read-only containerhardening en bijbehorende security/unit/integration-tests. diff --git a/fixtures/benchmark/quality_benchmark.json b/fixtures/benchmark/quality_benchmark.json index fdaf755..939514a 100644 --- a/fixtures/benchmark/quality_benchmark.json +++ b/fixtures/benchmark/quality_benchmark.json @@ -23,7 +23,7 @@ "url": "https://careers.example.net/jobs/workplace-engineer", "expected_job_count": 1, "expected_parser_key": "generic-html", - "expected_parser_version": "1.0.0", + "expected_parser_version": "1.1.0", "expected_fields": [ "title", "employer_name", diff --git a/fixtures/pages/sample_generic_job.html b/fixtures/pages/sample_generic_job.html index d128b48..cff2b2b 100644 --- a/fixtures/pages/sample_generic_job.html +++ b/fixtures/pages/sample_generic_job.html @@ -1 +1 @@ -
Je beheert endpoints, Microsoft Intune en Microsoft 365. De functie bevat occasionele tweedelijnssupport en hybride werk.
Je beheert endpoints, Microsoft Intune en Microsoft 365. De functie bevat occasionele tweedelijnssupport en hybride werk.