VacatureRadar/docs/reference/original-design-extract.md

VACATURERADAR

Functioneel & technisch ontwerp

Persoonlijke autonome vacature-assistent zonder platform-API’s

Ontwerpdoel Na eenmalige configuratie verzamelt, normaliseert, ontdubbelt en beoordeelt het systeem vacatures zelfstandig. De gebruiker ziet alleen een korte, verklaarbare selectie en blijft altijd degene die beslist en solliciteert.

Opdrachtgever	Jens
Documentstatus	Implementatieblauwdruk
Versie	1.0
Datum	20 juli 2026
Doelomgeving	Persoonlijke installatie op Unraid

Dit document beschrijft een persoonlijke, niet-commerciële toepassing. Juridische en bronvoorwaarden moeten opnieuw worden gecontroleerd wanneer het gebruiksdoel, de schaal of de distributie verandert.

Documentbeheer

Onderdeel	Keuze / aanname	Gevolg voor het ontwerp
Gebruiker	Eén primaire gebruiker; Nederlandstalige interface.	Eenvoudige autorisatie, persoonlijke voorkeuren en geen multi-tenant complexiteit.
Geografie	België als startgebied; vacatures kunnen Nederlands, Frans of Engels zijn.	Meertalige extractie en lokale Belgische postcode-/gemeentedata.
Platformkoppelingen	Geen officiële vacature-API’s of contractuele integraties met LinkedIn, Indeed, VDAB, Jobat of StepStone.	Platformen worden alleen via door de gebruiker ingestelde e-mailalerts benut; directe platformcrawling is standaard geblokkeerd.
Hosting	Zelf gehost op Unraid en standaard niet publiek bereikbaar.	Containers, lokale opslag, back-ups naar de array en toegang via LAN of VPN.
AI	Lokale AI is optioneel en mag geen harde uitsluiting zelfstandig uitvoeren.	De kern blijft deterministisch; AI levert kenmerken, samenvatting en uitleg.
Solliciteren	Geen automatische indiening van sollicitaties.	De tool bewaart, helpt voorbereiden en herinnert; de gebruiker controleert en verstuurt.

Belangrijke interpretatie van “zonder API’s” Het ontwerp gebruikt geen vacatureplatform-API’s. Interne interfaces tussen eigen containers, IMAP voor e-mail en de lokale Ollama-interface zijn technische bouwstenen van de eigen installatie en geen integratiecontract met een vacatureplatform. Publieke, niet-geauthenticeerde ATS-endpoints zijn optioneel en staan in de strikte modus uit.

Inhoud

01 Managementsamenvatting

02 Doel, scope en ontwerpprincipes

03 Minimale gebruikersinteractie

04 Functionele vereisten

05 Bronstrategie en toegangsbeleid

06 Automatische bronontdekking

07 End-to-end verwerkingspijplijn

08 Technische architectuur

09 Datamodel en bewaarbeleid

10 Extractie, normalisatie en datakwaliteit

11 Ontdubbelen en canonieke vacatures

12 Matchen, scoren en leren

13 Automatisering, planning en meldingen

14 Gebruikersinterface en sollicitatieopvolging

15 Beveiliging, privacy en juridisch kader

16 Betrouwbaarheid, beheer en observability

17 Teststrategie en kwaliteitsborging

18 Implementatie op Unraid

19 Fasering, inspanning en prioriteiten

20 Risico’s en beheersmaatregelen

21 Acceptatiecriteria

22 Voorbeeldconfiguratie en resultaten

23 Aanbevolen besluit en bouwvolgorde

24 Bijlagen en referenties

1. Managementsamenvatting

VacatureRadar is een persoonlijke zoek- en beslisassistent die zelfstandig publieke vacatures verzamelt, ze naar één intern formaat omzet, dubbele publicaties samenvoegt, niet-passende resultaten wegfiltert en de beste vacatures met een uitlegbare score presenteert. De tool is niet bedoeld als kopie van een vacatureplatform, maar als een lokale intelligentielaag bovenop rechtstreekse werkgeversbronnen en vacaturemails.

Figuur 1 - De gewenste gebruikerslus: eenmalig instellen, daarna alleen beoordelen.

Wat de gebruiker in de praktijk nog doet Eenmalig voorkeuren invullen, een mailbox koppelen en eventueel een cv uploaden. Daarna volstaan acties zoals Interessant, Verbergen, Bewaren en Gesolliciteerd. Broncontrole, parsing, ontdubbeling, ranking, herinneringen en dagelijkse samenvattingen verlopen automatisch.

Het aanbevolen MVP combineert vier invoerkanalen: (1) carrièrepagina’s van werkgevers, (2) publieke ATS-gehoste jobpagina’s, (3) e-mailalerts van vacatureplatformen en (4) optionele handmatige URL-import. De tool crawlt geen ingelogde of expliciet afgeschermde platformomgeving en lost geen CAPTCHA’s op. LinkedIn verbiedt ongeautoriseerde geautomatiseerde crawling expliciet; Indeed houdt eveneens algemene verboden op scraping, bots en andere geautomatiseerde activiteit in stand [R3, R5].

De technische kern is een onderhoudsarme modulaire monoliet: Django met een server-side webinterface, PostgreSQL, Redis, een achtergrondworker en een scheduler. Playwright wordt alleen ingezet wanneer een toegestane carrièrepagina zonder JavaScript niet leesbaar is. Een lokaal Ollama-model kan vacatures samenvatten en inhoudelijke kenmerken classificeren, maar harde uitsluitingen blijven regelgebaseerd en controleerbaar.

Resultaat	Ontwerpdoel
Minimale handelingen	Na onboarding maximaal één dagelijkse digest en enkele éénklikacties.
Relevantie	Harde regels vóór ranking; AI kan niet zelfstandig een vacature definitief verwijderen.
Dekking	Zo breed mogelijk binnen toegestane publieke bronnen, zonder de onhaalbare belofte “alle vacatures”.
Uitlegbaarheid	Elke aanbeveling toont scorecomponenten, bewijs uit de tekst en een confidence-niveau.
Onderhoud	Generieke parsers, bronscore, automatische retries en parserquarantaine beperken handmatig werk.
Privacy	Lokale verwerking, minimale retentie en geen publieke toegang als standaard.

2. Doel, scope en ontwerpprincipes

2.1 Primair doel

Het systeem moet continu en met zo weinig mogelijk gebruikersinteractie nieuwe, relevante vacatures vinden. “Relevant” betekent niet alleen dat een functietitel overeenkomt, maar dat locatie, contractvorm, senioriteit, inhoud, werkgeverstype, technologieën, werkmodel en persoonlijke uitsluitingen gezamenlijk passen.

2.2 Binnen scope

• Eenmalige configuratie van één of meer zoekprofielen.

• Automatische verzameling uit toegestane publieke werkgevers- en ATS-pagina’s.

• Automatische verwerking van e-mailalerts via een aparte IMAP-mailbox.

• Meertalige verwerking van Nederlands, Frans en Engels.

• Normalisatie, expiratiecontrole, ontdubbeling en bronherkomst.

• Harde filters, gewogen matchscore, confidence en uitlegbare aanbeveling.

• Dagelijkse digest, uitzonderingsmeldingen en sollicitatieopvolging.

• Lokale hosting, back-up, herstel, brongezondheid en auditlog.

2.3 Buiten scope voor de eerste versie

• Automatisch inloggen op vacatureplatformen of werkgeversportalen.

• CAPTCHA-omzeiling, anti-bot-ontwijking, IP-rotatie of vermomde user-agents.

• Automatisch invullen en versturen van sollicitaties.

• Commerciële herpublicatie of bulkdistributie van vacatureteksten.

• Multi-tenant SaaS, werkgeversaccounts of kandidaatselectie voor derden.

• Een absolute garantie dat elke publiek beschikbare vacature wordt gevonden.

2.4 Ontwerpprincipes

Principe	Concrete toepassing
Fail closed	Een bron met onduidelijke voorwaarden, loginvereiste, blokkering of lage extractiebetrouwbaarheid wordt niet agressiever benaderd maar gepauzeerd of ter review gemarkeerd.
HTML eerst	JSON-LD, RSS, sitemap en statische HTML krijgen voorrang. Een headless browser is de laatste technische stap, niet de standaard.
Regels vóór AI	Harde grenzen worden door deterministische logica toegepast. AI levert alleen aanvullende kenmerken en uitleg.
Eén canonieke vacature	Meerdere vindplaatsen worden aan één vacaturecluster gekoppeld; de rechtstreekse werkgeversbron krijgt voorrang.
Uitlegbaar boven slim	Elke score moet herleidbaar zijn tot velden, tekstpassages, regels en gewichten.
Lokale privacy	Persoonlijke profielen, cv’s, feedback en sollicitatiehistoriek verlaten de installatie niet, tenzij de gebruiker bewust een externe dienst activeert.
Adaptief en rustig	Controlefrequentie volgt de wijzigingssnelheid van een bron en gebruikt conditionele HTTP-verzoeken om belasting te beperken.

3. Minimale gebruikersinteractie

3.1 Onboardingwizard

De eerste configuratie moet in één wizard kunnen worden afgerond. Verplichte invoer wordt beperkt tot informatie die niet betrouwbaar uit een cv kan worden afgeleid. De gebruiker kan later alles wijzigen, maar hoeft geen individuele scraper of CSS-selector te beheren.

Stap	Verplicht	Automatische hulp
Thuisbasis en mobiliteit	Postcode/gemeente, maximale afstand of reistijd, vervoer.	Gemeentecoördinaten uit lokale Belgische open data; alternatieve locaties worden voorgesteld.
Functiefamilies	Gewenste rollen en uitsluitingen.	Synoniemen in NL/FR/EN worden automatisch gegenereerd.
Werkvoorwaarden	Contract, voltijds/deeltijds, remote/hybride, minimumvoorwaarden.	Onbekende voorwaarden verlagen confidence, niet automatisch de match.
Skills en senioriteit	Gewenste en uitgesloten thema’s.	Optioneel uit cv geëxtraheerd en ter bevestiging getoond.
Bronmailbox	IMAP-host, mailbox en app-wachtwoord of lokaal doorstuuradres.	Afzenders en e-mailtemplates worden automatisch herkend.
Meldingen	Tijdstip dagelijkse digest.	Standaard Europe/Brussels; onmiddellijke melding alleen bij uitzonderlijk sterke match.

3.2 Dagelijkse gebruikerslus

• De gebruiker ontvangt één digest met bijvoorbeeld “3 sterke matches, 4 mogelijke matches, 18 automatisch verborgen”.

• Per vacature zijn maximaal vier primaire acties zichtbaar: Interessant, Bewaren, Verbergen en Gesolliciteerd.

• De reden voor verbergen is optioneel. Wanneer gekozen, wordt één korte lijst met redenen getoond, geen lang formulier.

• Een vacature opent altijd de oorspronkelijke bron in een nieuw tabblad; de lokale detailpagina toont de samenvatting, score en historie.

• Alleen systeemproblemen die de dekking wezenlijk aantasten worden aan de gebruiker gemeld. Gewone retries blijven onzichtbaar.

3.3 Zelflerend zonder onvoorspelbaarheid

Feedback beïnvloedt rangschikkingsgewichten langzaam en binnen ingestelde grenzen. Een reeks afwijzingen wegens “te veel telefonische support” kan vergelijkbare vacatures lager plaatsen. De tool verandert echter nooit zelfstandig een harde regel, maximale afstand of uitgesloten contractvorm. Iedere aangeleerde wijziging is terug te draaien.

Ontwerpdoel voor handelingen Na de eenmalige onboarding moet de normale week zonder bronbeheer of zoekopdrachten kunnen verlopen. Het systeem mag hooguit om aandacht vragen wanneer een mailbox niet meer toegankelijk is, een belangrijke bron langdurig faalt of een opslag-/back-upprobleem ontstaat.

4. Functionele vereisten

Prioriteiten: M = must-have voor MVP, S = should-have voor versie 1, C = could-have voor een latere uitbreiding.

4.1 Profiel en voorkeuren

ID	P	Vereiste
FR-P01	M	De gebruiker kan meerdere zoekprofielen aanmaken, waarvan één actief standaardprofiel.
FR-P02	M	Voorkeuren ondersteunen gewenste en uitgesloten functietitels, skills, sectoren, werkgeversvormen en contracttypes.
FR-P03	M	Locatiefilters ondersteunen gemeente/postcode, straal, toegestane regio’s en remote/hybride voorkeur.
FR-P04	M	Een hard filter en een zachte voorkeur zijn afzonderlijke concepten.
FR-P05	S	Een cv kan lokaal worden geüpload om skills en ervaringssignalen voor te stellen; de gebruiker bevestigt ze.
FR-P06	S	Synoniemen en vertalingen voor NL/FR/EN worden per functiefamilie beheerd.

4.2 Bronnen en verzameling

ID	P	Vereiste
FR-S01	M	Het systeem onderhoudt een bronregister met type, domein, beleid, crawlinterval, parser en gezondheid.
FR-S02	M	Het systeem verwerkt JobPosting JSON-LD, statische HTML, RSS/Atom en sitemaps.
FR-S03	M	Het systeem leest vacaturealerts uit een aparte IMAP-mailbox en dedupliceert op Message-ID en vacaturelink.
FR-S04	M	Directe crawling van geblokkeerde vacatureplatformdomeinen is standaard technisch onmogelijk via een denylist.
FR-S05	M	Per domein gelden concurrency, minimuminterval, time-out, contentlimiet, redirectlimiet en back-off.
FR-S06	M	Conditionele GET met ETag en Last-Modified wordt gebruikt waar mogelijk.
FR-S07	S	De tool ontdekt nieuwe carrièrepagina’s uit werkgeverlinks in vacaturemails en uit sitemaps.
FR-S08	S	Een generieke parser kan semantisch terugvallen op zichtbare labels wanneer vaste selectors breken.
FR-S09	C	Publieke, niet-geauthenticeerde ATS-endpoints kunnen per bron expliciet worden ingeschakeld in pragmatische modus.

4.3 Verwerking, matching en output

ID	P	Vereiste
FR-M01	M	Vacatures worden naar een canoniek intern schema genormaliseerd en behouden hun bronbewijs.
FR-M02	M	Het systeem herkent vervaldata, 404/410, verwijderde JobPosting-markup en langdurige onbeschikbaarheid.
FR-M03	M	Exacte en fuzzy duplicaten worden geclusterd zonder bronverwijzingen te verliezen.
FR-M04	M	Harde filters worden vóór de matchscore toegepast en zijn volledig uitlegbaar.
FR-M05	M	Iedere vacature krijgt matchscore, confidence, pluspunten, minpunten en een adviescategorie.
FR-M06	M	Een AI-model kan geen vacature definitief verbergen zonder dat een deterministische regel dit ondersteunt.
FR-M07	S	Feedback wijzigt zachte gewichten gecontroleerd en toont een wijzigingslog.
FR-M08	S	De tool berekent bronkwaliteit en geeft de rechtstreekse werkgeverspublicatie voorrang.
FR-M09	S	Verdachte vacature-/domeinsignalen worden als waarschuwing getoond, nooit als definitief fraudeoordeel.

4.4 Meldingen en sollicitatieopvolging

ID	P	Vereiste
FR-N01	M	Er is één dagelijkse digest op een configureerbaar tijdstip en in de tijdzone Europe/Brussels.
FR-N02	M	Onmiddellijke meldingen zijn optioneel en alleen voor een configureerbare topscore of naderende deadline.
FR-N03	M	De gebruiker kan vacatures bewaren, verbergen, als interessant markeren of een sollicitatiestatus geven.
FR-N04	M	Bij Gesolliciteerd worden tekst, bron, datum, deadlines en notities als dossier bewaard.
FR-N05	S	Herinneringen worden op werkdagen berekend en kunnen worden uitgesteld of uitgeschakeld.
FR-N06	S	De tool kan een motivatiebriefconcept of cv-aanpassingen voorstellen, maar niets automatisch versturen.
FR-N07	S	Export naar CSV en een compact sollicitatieoverzicht in PDF is mogelijk.

4.5 Niet-functionele vereisten

ID	Categorie	Doel
NFR-01	Beveiliging	Geen publieke poort als standaard; invoer sanitizen; SSRF-, XSS- en prompt-injectionmaatregelen.
NFR-02	Privacy	Persoonsgegevens en feedback lokaal; minimale retentie; export en volledige verwijdering mogelijk.
NFR-03	Betrouwbaarheid	Bronfouten veroorzaken geen stil verlies; retries, circuit breaker en laatst bekende geldige versie.
NFR-04	Onderhoudbaarheid	Bronadapters volgen één contract en hebben fixtures/golden tests.
NFR-05	Prestaties	De dagelijkse digest wordt op tijd gebouwd; de UI reageert normaal binnen circa één seconde op lokale filters.
NFR-06	Portabiliteit	Configuratie, database en bestanden kunnen naar een andere Dockerhost worden gemigreerd.
NFR-07	Toegankelijkheid	Toetsenbordbediening, voldoende contrast, tekstlabels en mobiele lay-out.
NFR-08	Observability	Healthchecks, gestructureerde logs, bronmetrics en herstelbare foutmeldingen.

5. Bronstrategie en toegangsbeleid

5.1 Bronhiërarchie

Rang	Bronsoort	Standaardmethode	Beleid
1	Rechtstreekse werkgeverspagina	JSON-LD, RSS, sitemap of HTML	Voorkeursbron na robots-/voorwaardencontrole.
2	Publieke ATS-gehoste jobpagina	HTML; JSON-LD; optioneel publiek endpoint	Toestaan per bron; rechtstreekse sollicitatielink bewaren.
3	Vacaturemail van platform	IMAP en veilige linkextractie	Toegestaan omdat de gebruiker de alert zelf activeert; platformpagina niet automatisch crawlen.
4	Publieke sector-/organisatiepagina	RSS, HTML of downloadbare lijst	Zelfde bronbeleid als werkgeverssite.
5	Handmatige URL-import	Eenmalige fetch en daarna bronherkenning	Fallback voor uitzonderingen; niet nodig voor normaal gebruik.
-	Ingelogde platformresultaten	Niet uitvoeren	Geblokkeerd.
-	CAPTCHA of anti-botomzeiling	Niet uitvoeren	Nooit ondersteunen.

Veel vacaturedetailpagina’s publiceren machineleesbare JobPosting-gegevens met onder meer datum, omschrijving, werkgever, locatie, contracttype, vervaldatum en soms salaris. De tool gebruikt dit eerst omdat het semantischer en minder breekbaar is dan visuele CSS-selectors [R1].

Publieke ATS-jobboards kunnen eveneens een voorspelbare structuur hebben. Greenhouse documenteert bijvoorbeeld dat GET-data van gepubliceerde jobboards publiek beschikbaar is zonder authenticatie; Lever vermeldt dat gepubliceerde vacatures ook op een gehoste jobs-site zichtbaar zijn [R7, R8]. In de strikte modus leest VacatureRadar alleen de publieke HTML/JSON-LD-pagina. De beheerder kan per bron pragmatische, publiek gedocumenteerde endpoints inschakelen nadat voorwaarden zijn beoordeeld.

5.2 Bronbeleid als beslismatrix

Signaal	Besluit	Actie
Login of sessiecookie vereist	Deny	Niet automatisch ophalen; eventueel alleen e-mailmetadata en oorspronkelijke link bewaren.
CAPTCHA, challenge of expliciete botblokkering	Deny	Bron pauzeren; geen omzeiling.
Voorwaarden verbieden scraping/automatisering	Deny	Domein op technische denylist; alleen e-mailalert of handmatige browseractie.
robots.txt disallowt pad voor de eigen user-agent	Deny	Pad niet crawlen. robots.txt is geen authenticatie, maar wordt als operationele instructie gerespecteerd [R2].
Publieke werkgeverpagina, geen conflict gevonden	Allow	Rustig crawlen met identificerende user-agent en conditionele requests.
Onduidelijke voorwaarden of onverwacht redirectdomein	Review	Geen uitbreiding van crawl; bron in wachtrij voor eenmalige beoordeling.
Publieke ATS-HTML werkt; endpoint ook bekend	Allow HTML	Endpoint blijft uit in strict mode; HTML is voldoende.

5.3 Platformen via e-mail, niet via scraping

LinkedIn ondersteunt dagelijkse of wekelijkse vacaturealerts en stelt een maximum van twintig actieve alerts per lid; Indeed biedt eveneens e-mailalerts op basis van zoekcriteria [R4, R6]. Dit maakt e-mail de geschikte brug: de gebruiker activeert een beperkt aantal brede alerts, waarna VacatureRadar de resultaten verder verfijnt. De tool hoeft daardoor niet in te loggen, zoekresultaatpagina’s te automatiseren of platformbeveiliging te benaderen.

Praktische alertstrategie Gebruik brede functiefamilies en regio’s in het platform, niet tientallen zeer specifieke filters. VacatureRadar voert daarna de strenge persoonlijke filtering uit. Zo wordt de limiet op platformalerts efficiënt benut en ontstaan minder blinde vlekken.

6. Automatische bronontdekking

Minimale bediening is alleen haalbaar wanneer de tool zelf een bronregister opbouwt. De ontdekking combineert een kleine startset met signalen uit echte vacatures. De gebruiker hoeft geen lijst van honderden werkgevers te onderhouden.

6.1 Ontdekkingskanalen

• Seed packs: versiebeheerbare lijsten per regio/sector, bijvoorbeeld publieke sector, onderwijs, zorg of IT-werkgevers.

• E-mailgedreven ontdekking: een alert levert werkgever, domein of apply-link; de tool zoekt op dat domein naar careers/jobs-links en sitemaps.

• Sitemapdetectie: robots.txt en bekende sitemaplocaties worden gecontroleerd; alleen URL’s met job-/careerpatronen worden bemonsterd.

• Semantische detectie: pagina’s met JobPosting JSON-LD, herhaalde jobcards, “vacatures/jobs/careers”-labels of ATS-domeinpatronen krijgen een bronkandidaat.

• Canonical- en redirectanalyse: trackinglinks worden veilig gevolgd tot de eindbestemming en aan de oorspronkelijke vacature gekoppeld.

• Gebruikersfeedback: wanneer een handmatig geïmporteerde URL een nieuw werkgeversdomein onthult, wordt dat domein automatisch als bronkandidaat onderzocht.

6.2 Promotie van kandidaat naar actieve bron

Fase	Automatische controle	Promotievoorwaarde
Kandidaat	Domein, HTTPS, robots, voorwaardenlink, sitemap, JobPosting-signaal.	Geen deny-signaal en minimaal één actuele vacature.
Proefrun	Maximaal enkele pagina’s; lage frequentie; extractie en duplicaten controleren.	Minimaal twee consistente veldenets en voldoende extractieconfidence.
Actief	Adaptief interval; health metrics; content hashes.	Drie succesvolle runs zonder structurele fout.
Quarantaine	Parserfout, onverwachte login/challenge, massale veldverdwijning.	Automatisch herstel slaagt of technische review.
Gepauzeerd	Voorwaarden wijzigen, langdurige blokkade of bron verdwijnt.	Bewuste heractivering na herbeoordeling.

6.3 Zelfherstellende parsing met grenzen

Wanneer een selector breekt, probeert de parser eerst semantische alternatieven: JSON-LD, microdata, Open Graph, bekende labels en zichtbare hoofdtekst. Een AI-model mag in een sandbox nieuwe selectors voorstellen op basis van opgeslagen testfixtures. De nieuwe parser draait eerst in shadow mode en wordt alleen automatisch gepromoveerd wanneer meerdere actuele pagina’s consistente resultaten leveren. Geen enkel herstelmechanisme mag een login, challenge of verbod omzeilen.

7. End-to-end verwerkingspijplijn

Figuur 2 - Van bron tot dagelijkse, gepersonaliseerde selectie.

7.1 Stappen en controles

Stap	Verwerking	Belangrijkste guardrail
1. Plannen	Scheduler kiest bronnen op basis van prioriteit, wijzigingssnelheid, laatste succes en back-off.	Geen dubbele run door distributed lock.
2. Beleid	Denylist, bronstatus, robotscache en interval worden vóór elk netwerkverzoek gecontroleerd.	Fail closed.
3. Ophalen	HTTP met herkenbare user-agent, time-outs, contentlimieten en conditionele headers.	304 betekent geen verdere verwerking.
4. Extraheren	JSON-LD -> feed -> statische HTML -> browserrendering.	Elke veldwaarde krijgt provenance en confidence.
5. Normaliseren	Taal, tekst, titel, werkgever, locatie, contract, skills, data en salaris naar intern schema.	Originele tekst blijft traceerbaar.
6. Ontdubbelen	Exacte identifiers, canonical URL en fuzzy signatuur.	Bronalias blijft behouden.
7. Filteren	Harde regels en veiligheidsregels.	Geen LLM-beslissing.
8. Analyseren	Kenmerken, samenvatting, senioriteit, support-/consultancysignalen.	AI-uitvoer als strikt JSON en gevalideerd.
9. Rangschikken	Matchscore, confidence, actualiteit, urgentie en bronkwaliteit.	Scorecomponenten zichtbaar.
10. Publiceren	Dashboard, digest en optionele topmatchmelding.	Idempotent; geen dubbele melding.
11. Leren	Feedback wijzigt beperkte zachte gewichten.	Auditlog en rollback.

7.2 Idempotentie

Elke run gebruikt stabiele sleutels: bron-ID + externe vacature-ID of URL-hash + contenthash. Daardoor kan een taak opnieuw worden uitgevoerd zonder dubbele vacatures of meldingen. Updates creëren een vacatureversie en overschrijven niet stil de geschiedenis.

8. Technische architectuur

Figuur 3 - Aanbevolen modulaire monoliet met optionele browser- en AI-laag.

8.1 Aanbevolen stack

Component	Keuze	Waarom
Webapp	Django + HTMX + Tailwind CSS	Eén Python-codebase, ingebouwde auth/admin/ORM, weinig clientcomplexiteit en toch een snelle, professionele interface.
Database	PostgreSQL	Relationele integriteit, JSONB, full-text search en trigramvergelijking zonder aparte zoekcluster.
Taken	Celery worker + Celery Beat	Robuuste retries, planning, wachtrijen en herbruikbaar applicatie-image.
Broker/cache	Redis	Taakwachtrij, locks, rate-limitstatus en korte cache.
HTTP/extractie	httpx, selectolax/BeautifulSoup, extruct, feedparser	Snelle statische extractie en JSON-LD/microdataondersteuning.
Browser	Playwright Chromium, optioneel	Alleen voor toegestane JavaScriptpagina’s; Playwright ondersteunt headless browserautomatisering en Dockergebruik [R14].
AI	Ollama, optioneel	Lokale modeltoegang via de eigen host; de interface draait standaard lokaal [R15].
Bestanden	Unraid appdata/share	Snapshots, cv’s, exports, fixtures en back-ups buiten de containerlaag.
Reverse proxy	Caddy of bestaande proxy; VPN/Tailscale voor remote	TLS en veilige toegang zonder de applicatie rechtstreeks op internet te publiceren.

8.2 Waarom geen aparte React-frontend in het MVP

Een losse React/Next.js-frontend en FastAPI-backend zijn geschikt wanneer een publieke API, meerdere clients of zeer interactieve dashboards centraal staan. Voor één persoonlijke installatie vergroten ze echter build-, dependency-, authenticatie- en deploymentcomplexiteit. HTMX levert de benodigde filter-, modal- en inline-update-interactie zonder een tweede applicatiestack. Een JSON-API kan later met Django Ninja of DRF worden toegevoegd.

8.3 Containerrollen

Service	Verantwoordelijkheid	Schaalstrategie
web	UI, auth, zoekfilters, detailpagina’s, instellingen en interne endpoints.	Eén instance voor persoonlijk gebruik.
worker	Fetch, parse, normalisatie, dedupe, analyse, export.	Concurrency beperkt; aparte low/high queue indien nodig.
scheduler	Periodieke taken en digestplanning.	Exact één actieve instance.
postgres	Permanente relationele data.	Dagelijkse dump; data op snelle cachepool.
redis	Broker, locks en tijdelijke status.	Geen primaire bron van waarheid.
ollama	Lokale AI-inferentie.	Optioneel; model en hardware onafhankelijk van kern.

9. Datamodel en bewaarbeleid

Figuur 4 - Belangrijkste entiteiten en hun traceerbare relaties.

9.1 Belangrijkste entiteiten

Entiteit	Kernvelden	Retentie
UserProfile	Taal, tijdzone, thuislocatie, notificatie-instellingen.	Tot verwijdering door gebruiker.
SearchProfile	Functiefamilies, harde regels, zachte gewichten, regio’s.	Versiegeschiedenis; actief/inactief.
Source	Domein, type, policy, parser, interval, health, terms_checked_at.	Zolang actief; audit van beleidswijzigingen.
SourceRun	Start/einde, status, HTTP-metrics, aantallen, foutcategorie.	90 dagen detail; oudere aggregatie.
RawDocument	URL/e-mail-ID, contenthash, extractiebewijs, beperkte ruwe inhoud.	Standaard 7 dagen, langer alleen bij fixture of opgeslagen sollicitatie.
Employer	Genormaliseerde naam, domein, rechtstreeks/recruiter, vertrouwen.	Zolang gekoppeld.
JobPosting	Canonieke vacature, velden, status, eerste/laatste gezien, canonical source.	Actief + 12 maanden archief; configureerbaar.
JobVersion	Contenthash, gewijzigde velden, tekstsnapshot.	Versies van bewaarde/gesolliciteerde vacatures onbeperkt; overige 90 dagen.
ScoreRun	Profielversie, features, gewichten, score, confidence, modelversie.	Zolang vacature in archief.
Feedback	Actie, reden, tijd, gebruikte profielversie.	Tot verwijdering; exporteerbaar.
Application	Status, data, deadlines, notities, documenten.	Door gebruiker beheerd.

9.2 Canoniek vacatureschema

Groep	Velden
identity	job_id, external_ids, source_aliases, canonical_url, content_hash
title	original_title, normalized_title, job_family, seniority
employer	employer_id, display_name, direct_employer, recruiter, domain
location	raw_location, country, region, municipality, postal_code, coordinates, workplace_type
employment	employment_types, hours, contract_duration, shift signals
dates	date_posted, valid_through, first_seen, last_seen, last_changed
compensation	currency, min/max, period, source_is_employer, confidence
content	description_html_sanitized, description_text, requirements, benefits, language
skills	required, preferred, excluded_signals, experience_years
provenance	per-field source URL, extraction method, confidence, parser version
status	active, uncertain, expired, removed, duplicate, quarantined

9.3 Bewaarminimalisatie

De tool bewaart niet automatisch onbeperkt volledige HTML van elke bron. Voor gewone vacatures volstaan genormaliseerde tekst, hashes, veldprovenance en bronlinks. Ruwe documenten hebben een korte technische retentie. Pas wanneer de gebruiker een vacature bewaart of als Gesolliciteerd markeert, mag een langdurige snapshot worden gemaakt voor het persoonlijke dossier. Dit beperkt opslag, privacyrisico en onnodige kopie van broninhoud.

10. Extractie, normalisatie en datakwaliteit

10.1 Parservolgorde

Prioriteit	Methode	Gebruik
1	JobPosting JSON-LD / microdata	Hoofdbron voor titel, data, werkgever, locatie, contract en salaris wanneer aanwezig.
2	RSS/Atom of ATS-feed	Lijst en detailvelden zonder browserrendering.
3	Statische HTML	Semantische labels en site-/ATS-adapter.
4	Ingebedde state/JSON in pagina	Alleen publiek meegeleverde paginadata; geen private endpoints of sessietokens.
5	Playwright-rendering	Alleen wanneer bronbeleid dit toestaat en de inhoud uitsluitend client-side verschijnt.
6	Tekstclassificatie fallback	Veldkandidaten met lage confidence; nooit als enige bron voor kritieke data.

10.2 Normalisatie

• Unicode, witruimte en boilerplate worden opgeschoond; zichtbare opsommingen blijven behouden.

• Functietitels worden genormaliseerd zonder de originele titel te verliezen.

• Werkgevernamen worden gekoppeld via domein, juridische/handelsnaamvarianten en bekende recruiters.

• Locaties worden naar Belgische gemeenten/postcodes vertaald; remote en hybride blijven afzonderlijke kenmerken.

• Contracttypes worden naar een beperkte interne taxonomie gemapt, maar de bronwaarde blijft beschikbaar.

• Datums worden naar UTC opgeslagen en in Europe/Brussels getoond.

• Salaris wordt alleen als “bronbedrag” beschouwd wanneer het expliciet door de werkgever/publicatie is opgegeven; schattingen worden apart gemarkeerd.

10.3 Meertaligheid

De brontaal wordt automatisch gedetecteerd. Een interne taxonomie koppelt Nederlandse, Franse en Engelse functietitels en skills aan dezelfde concepten. Samenvattingen en uitleg worden in het Nederlands getoond, terwijl originele citaten/passages in de brontaal blijven. Vertaling mag geen harde eis creëren die niet letterlijk of semantisch in de bron staat.

10.4 Datakwaliteit en confidence

Confidence	Criteria	UI-gedrag
Hoog	Veld komt uit JobPosting/ATS-structuur of is op meerdere manieren bevestigd.	Normaal tonen; harde regel mag erop steunen als het veld daarvoor geschikt is.
Middel	Veld komt uit duidelijke zichtbare tekst of één betrouwbare selector.	Tonen met normale score, maar onzekerheid benoemen.
Laag	Veld is afgeleid, ambigu of alleen door een classifier gevonden.	Geen definitieve uitsluiting; tonen als “waarschijnlijk/onbekend”.
Conflict	Bronnen of versies spreken elkaar tegen.	Rechtstreekse werkgeversbron en recentste geldige versie voorrang; conflict zichtbaar.

Regel voor ontbrekende informatie “Niet vermeld” is niet hetzelfde als “voldoet niet”. Ontbrekende salaris-, remote- of contractinformatie verlaagt de confidence en kan een vacature lager rangschikken, maar veroorzaakt alleen uitsluiting wanneer de gebruiker expliciet heeft gekozen voor een conservatieve onbekend-is-onvoldoende-regel.

11. Ontdubbelen en canonieke vacatures

11.1 Matchlagen

Laag	Signaal	Besluit
Exact 1	Zelfde externe vacature-ID binnen hetzelfde ATS/werkgever.	Zelfde vacature.
Exact 2	Zelfde canonical URL na trackingparameters en redirects.	Zelfde vacature.
Sterk	Genormaliseerde werkgever + titel + locatie + publicatievenster.	Kandidaatcluster; tekstcontrole.
Fuzzy	Titelgelijkenis, tekstshingles/MinHash, skills en locatie.	Cluster wanneer drempel en bewijs voldoende zijn.
Herpublicatie	Sterk gelijk maar nieuwe externe ID of datum na sluiting.	Nieuwe versie of repostrelatie; niet stil samenvoegen wanneer inhoud/voorwaarden wezenlijk wijzigen.

11.2 Canonieke bronkeuze

• Rechtstreekse werkgeverspagina boven recruiter-, aggregatie- of e-mailweergave.

• Actuele en bereikbare bron boven verlopen kopie.

• Bron met hoogste veldcompleetheid en confidence boven beperkte samenvatting.

• Sollicitatielink naar werkgever/ATS boven tussenpagina met tracking.

• Alle aliases blijven zichtbaar in “Ook gevonden via”, zodat provenance niet verloren gaat.

11.3 Pseudocode

Conceptueel algoritme - drempels worden met een gelabelde testset gekalibreerd.

def resolve_candidate(job): exact = find_by_external_id_or_canonical_url(job) if exact: return merge_as_source_alias(exact, job) candidates = find_same_employer_title_location_window(job) best, similarity = compare_text_and_features(job, candidates) if best and similarity >= STRONG_THRESHOLD: return merge_or_create_version(best, job) return create_new_canonical_job(job)

12. Matchen, scoren en leren

12.1 Beslisvolgorde

Fase	Voorbeeld	Uitkomst
Veiligheids-/beleidsfilter	Vacaturelink is verdacht, bron in quarantaine of vacature verlopen.	Niet aanbevelen; reden tonen.
Harde persoonlijke filter	Buiten absolute regio, uitgesloten contractvorm of expliciet verboden functie-inhoud.	Verborgen, maar terugvindbaar in log.
Kenmerkextractie	Supportaandeel, infrastructuurcomponent, senioriteit, reizen, werkgeverstype.	Features met bewijs en confidence.
Gewogen score	Rol, skills, locatie, voorwaarden, werkgever, senioriteit, voorkeuren.	0-100 matchscore.
Rangschikking	Match + actualiteit + urgentie + confidence.	Volgorde in digest.

12.2 Standaard scoremodel

Component	Gewicht	Voorbeelden
Functie-inhoud	25	Kerntaken, helpdesk/supportaandeel, hands-on versus coördinatie.
Skills en leerbaarheid	20	Verplichte skills, overdraagbare kennis, opleiding voorzien.
Locatie en werkmodel	15	Afstand, regio, remote/hybride, verplaatsingen.
Werkvoorwaarden	10	Contract, uren, salaris/barema indien bekend.
Werkgever en bron	10	Rechtstreeks, sectorvoorkeur, recruiter/transparantie.
Senioriteit en haalbaarheid	10	Jaren ervaring, verantwoordelijkheid, junior/medior/senior-signalen.
Persoonlijke zachte voorkeuren	10	Technologie, organisatiecultuur-signalen, voorkeurssector.

Formule: matchscore = clamp(0, 100, som(gewicht × genormaliseerde feature) - expliciete penalties). De gewichten zijn profielspecifiek en versieerbaar. Actualiteit, deadline en confidence worden naast de matchscore getoond en veranderen de inhoudelijke score niet stil.

12.3 Voorbeeldscorekaart

Onderdeel	Resultaat	Uitleg
Matchscore	84/100	Sterke inhoudelijke en geografische match.
Confidence	Middel-hoog	Taken en locatie duidelijk; salaris niet vermeld.
Functie-inhoud	22/25	Infrastructuur en beheer dominant; beperkte gebruikerssupport.
Skills	16/20	Meeste kernskills aanwezig; één gewenste technologie ontbreekt.
Locatie	14/15	Binnen ingestelde zone; hybride vermeld.
Werkgever	9/10	Rechtstreekse werkgever en originele carrièrepagina.
Advies	Solliciteren	Geen hard conflict; aandachtspunt expliciet benoemd.

12.4 AI-rol en guardrails

• Input is onbetrouwbare tekst. De systeemprompt vermeldt expliciet dat instructies in vacatureteksten genegeerd moeten worden.

• Het model krijgt geen netwerk-, shell-, e-mail- of applicatietools.

• Uitvoer moet aan een streng JSON-schema voldoen en wordt server-side gevalideerd.

• Kenmerken bevatten bewijszinnen of tekstposities, zodat hallucinaties zichtbaar worden.

• Bij modeltime-out of invalid JSON gebruikt het systeem deterministische features en markeert het de analyse als onvolledig.

• Model- en promptversie worden bij iedere score opgeslagen voor reproduceerbaarheid.

12.5 Leren van feedback

In het MVP worden geen complexe black-box aanbevelingsmodellen getraind. Feedback past per feature kleine delta’s toe, bijvoorbeeld maximaal één punt gewicht per vijf consistente acties, met minimum- en maximumgrenzen. Redenen zoals “te ver”, “te veel support” of “recruiter” zijn waardevoller dan een generieke verberging. Maandelijks kan de UI voorstellen tonen: “Je verbergt vaak vacatures met veel verplaatsingen; wil je dit als harde regel instellen?” De gebruiker bevestigt dat bewust.

13. Automatisering, planning en meldingen

13.1 Adaptieve planning

Taak	Standaard	Adaptatie
IMAP-inbox	Elke 5-10 minuten of IMAP IDLE.	Langere poll bij inactiviteit; directe wake-up indien ondersteund.
Actieve carrièrebron	Elke 6-24 uur.	Sneller bij frequente wijzigingen, trager bij zelden veranderende bron.
Sitemap/feed	Elke 6-12 uur.	ETag/Last-Modified en lastmod bepalen vervolg.
Verificatie actieve vacature	Dagelijks of rond deadline.	Hogere prioriteit vlak voor validThrough.
Dagelijkse digest	Eén vast tijdstip.	Alleen nieuwe/gewijzigde, nog niet geziene resultaten.
Bronvoorwaarden/robots	Maandelijks en bij onverwacht gedrag.	Direct hercontroleren bij 403/429/challenge.
Back-up	Dagelijks database; wekelijks bestanden/config.	Restore-test maandelijks.

13.2 Meldingsregels

• Digest bevat alleen resultaten boven de ingestelde drempel en een korte statistiek van verborgen/duplicaat/verlopen items.

• Een onmiddellijke topmatchmelding vereist zowel een hoge matchscore als voldoende confidence.

• Deadlinemeldingen zijn afzonderlijk van matchmeldingen en worden niet vaker dan nodig herhaald.

• Systeemmeldingen worden gegroepeerd: één melding voor een langdurig bronprobleem, niet voor elke mislukte run.

• De gebruiker kan stille uren instellen; urgente deadlineberichten respecteren een aparte voorkeur.

13.3 Vacaturelevenscyclus

Status	Betekenis	Overgang
new	Nieuw gevonden en nog niet verwerkt.	Na normalisatie naar active of quarantined.
active	Actueel en bereikbaar.	Update, uncertain, expired of removed.
uncertain	Bron tijdelijk onbereikbaar of velden conflicteren.	Niet direct laten verdwijnen; hercontrole.
expired	validThrough voorbij of expliciet gesloten.	Archief; deadlineherinneringen stoppen.
removed	404/410 of vacaturemarkup langdurig weg.	Archief; eerdere sollicitatie blijft bestaan.
quarantined	Parser-/beleids-/veiligheidsprobleem.	Technische herstelroute.

14. Gebruikersinterface en sollicitatieopvolging

14.1 Schermen

Scherm	Kerninhoud	Primaire actie
Vandaag	Nieuwe sterke en mogelijke matches, deadlines en bronwaarschuwingen.	Vacature beoordelen.
Vacaturedetail	Scorekaart, bewijs, samenvatting, originele tekst, bronaliases en historie.	Open bron / bewaren / verbergen.
Bewaarlijst	Interessante vacatures met deadline, score en vergelijking.	Prioriteren of Gesolliciteerd.
Sollicitaties	Kanban of lijst: voorbereiding, verzonden, gesprek, aanbod, afgewezen.	Status en opvolgdatum wijzigen.
Profiel	Harde regels, zachte voorkeuren, zoektermen en geleerde suggesties.	Wijzigingen bevestigen.
Brongezondheid	Alleen onder Geavanceerd: status, laatste run, parser, policy.	Retry of bron pauzeren.
Systeem	Mailbox, meldingen, back-up, opslag, model, exports.	Test verbinding / export / herstel.

14.2 Detailpagina

• Bovenaan: titel, werkgever, locatie, werkmodel, datum, deadline en originele bron.

• Scorebalk met componenten; geen enkel percentage zonder tekstuele verklaring.

• “Waarom passend” en “Aandachtspunten” met gemarkeerde bronpassages.

• Vereist versus gewenst apart; ontbrekende informatie apart van echte mismatch.

• Duplicaatcluster met rechtstreekse werkgever als voorkeurslink.

• Historie: wanneer gevonden, inhoudelijk gewijzigd, gesloten of herplaatst.

• Acties altijd op dezelfde plaats en bruikbaar op mobiel/toetsenbord.

14.3 Sollicitatiedossier

Veld	Automatisch	Handmatig
Vacaturesnapshot	Bij Gesolliciteerd of expliciet Bewaren.	Gebruiker kan snapshot verwijderen.
Sollicitatiedatum	Bij statuswijziging.	Aanpasbaar.
Contact	Uit vacature/e-mail indien duidelijk en toegestaan.	Notitie of contact toevoegen.
Documenten	Versies van cv/motivatie koppelen.	Upload of link naar eigen bestand.
Opvolgdatum	Voorstel op basis van sluitingsdatum en werkdagen.	Accepteren, wijzigen of uitschakelen.
Gesprekken	Kalenderdatum, locatie/link en notities.	Door gebruiker bevestigd; geen automatische deelname.
Uitkomst	Open, interview, aanbod, afgewezen, ingetrokken.	Door gebruiker of uit eigen e-mailstatus bevestigd.

15. Beveiliging, privacy en juridisch kader

Geen juridisch advies Dit ontwerp past conservatieve technische maatregelen toe, maar vervangt geen juridisch advies. Voor commercieel gebruik, distributie aan derden of grootschalige verzameling moet een gespecialiseerde beoordeling plaatsvinden.

15.1 Toegangs- en bronregels

De Robots Exclusion Protocol-standaard beschrijft regels die crawlers gevraagd worden te respecteren en verduidelijkt dat robots.txt geen toegangsautorisatie is [R2]. VacatureRadar behandelt robots toch als een bindende operationele grens. Daarnaast worden voorwaarden en zichtbare technische blokkades afzonderlijk beoordeeld. LinkedIn vereist uitdrukkelijke toestemming voor geautomatiseerde crawling; Indeed handhaaft verboden op scraping, bots en andere geautomatiseerde activiteit [R3, R5]. Daarom staan die domeinen op de standaarddenylist.

15.2 Privacy by design

• Dataminimalisatie: alleen velden bewaren die voor zoeken, beoordelen of eigen sollicitatiehistoriek nodig zijn.

• Doelbinding: data niet gebruiken voor kandidatenprofilering, marketing of publicatie aan derden.

• Lokale verwerking: cv, feedback en sollicitatiegegevens blijven standaard binnen de Unraid-installatie.

• Retentie: ruwe broninhoud kort; persoonlijke dossiers door gebruiker beheerd.

• Rechtenfuncties: export, correctie en volledige verwijdering van profiel en dossiers.

• Logging: geen wachtwoorden, volledige cv-tekst of mailboxinhoud in logs.

De AVG/GDPR regelt verwerking van persoonsgegevens in de EU; contactnamen en e-mailadressen in vacatures kunnen persoonsgegevens zijn [R9]. Het ontwerp vertrouwt niet op een vermeende uitzondering, maar hanteert minimale opslag en beperkte toegang. De EU-databankenrichtlijn beschermt onder voorwaarden ook substantiële investeringen in databanken [R10]. Daarom wordt geen vacatureplatformdatabase systematisch gekopieerd of heruitgegeven.

15.3 Technische dreigingen en mitigaties

Dreiging	Mitigatie
SSRF via e-mail- of vacaturelink	Alleen http/https; DNS-resolutie controleren; private/loopback/link-local IP’s blokkeren; maximaal vijf redirects; opnieuw valideren na elke redirect.
XSS uit vacature-HTML	Allowlist-sanitizer; scripts, forms, event handlers, iframes en onbekende embeds verwijderen; Content Security Policy.
Prompt injection in vacaturetekst	Tekst als onbetrouwbare data; model zonder tools; strikte systemprompt; JSON-schema; bewijsvereiste; time-out.
Mailboxcompromis	App-wachtwoord of dedicated account; alleen leesrechten waar mogelijk; secrets buiten database; rotatie en verbindingscheck.
Credential leak	Docker secrets/.env met beperkte rechten; nooit in Git; versleutelde back-up wanneer extern opgeslagen.
Onbedoelde publieke toegang	Standaard bind op LAN; reverse proxy met TLS; remote toegang via VPN/Tailscale; rate limiting en sterke login.
Kwaadaardige bestanden	Alleen toegestane cv/documenttypes; groottebeperking; geen macro-uitvoering; optionele malwarecontrole.
Supply chain	Vastgepinde images/dependencies, automatische securityscan, gecontroleerde updates en rollback.

15.4 Authenticatie en toegang

Voor lokaal gebruik volstaat een sterk uniek wachtwoord met sessiebeveiliging en optioneel TOTP. Wanneer de tool buiten het LAN bereikbaar is, krijgt VPN/Tailscale de voorkeur boven port forwarding. De applicatie heeft een afzonderlijke accountlaag en vertrouwt niet uitsluitend op de Unraid-webinterface.

16. Betrouwbaarheid, beheer en observability

16.1 Bronhealth

Metric	Doel / alarm
Laatste succesvolle run	Waarschuwen wanneer een belangrijke bron langer dan twee geplande intervallen faalt.
Parse yield	Alarm bij plotselinge daling in gevonden vacatures/velden ten opzichte van eigen historie.
HTTP-statusmix	429/403/challenge veroorzaakt vertraging en policy-hercontrole.
Veldcompleetheid	Titel/werkgever/URL zijn minimum; sterke daling zet parser in shadow/quarantaine.
Duplicaatratio	Extreme stijging kan canonicalisatie- of trackingparameterprobleem aangeven.
Vacatureleeftijd	Bron met uitsluitend oude vacatures krijgt lager interval of pauze.
Digestvolume	Onverwacht nul of zeer hoog aantal triggert interne sanity check vóór verzending.

16.2 Foutafhandeling

• Netwerkfout: exponentiële back-off met jitter; bron blijft active/uncertain, vacatures worden niet meteen verlopen verklaard.

• 429: Retry-After respecteren, interval verhogen en concurrency verlagen.

• 403/challenge: bron pauzeren en policy opnieuw controleren; geen agressieve retry.

• Parserfout: ruwe fixture kort bewaren, alternatieve parser proberen en oude geldige data behouden.

• AI-fout: deterministische score publiceren met lagere analyseconfidence.

• Database-/brokerfout: healthcheck faalt, taken stoppen veilig en worden na herstel idempotent hervat.

• Digestfout: outboxpatroon voorkomt verlies en dubbele verzending.

16.3 Back-up en herstel

Object	Frequentie	Hersteldoel
PostgreSQL dump	Dagelijks; plus vóór upgrades.	Vacatures, profielen, feedback en sollicitaties.
Configuratie/secrets-manifest	Wekelijks, secrets afzonderlijk versleuteld.	Containers en instellingen opnieuw uitrollen.
Bestandsopslag	Wekelijks incrementeel.	Snapshots, cv’s, exports en fixtures.
Restore-test	Maandelijks in tijdelijke database.	Aantonen dat back-up bruikbaar is.
Off-host kopie	Optioneel versleuteld.	Bescherming tegen host-/arrayverlies.

16.4 Onderhoudsverwachting

De gebruiker hoeft normaal geen brononderhoud te doen. Technisch onderhoud blijft wel bestaan: dependency-updates, gewijzigde websites, mailboxrotatie en periodieke bronvoorwaarden. Het ontwerp minimaliseert dit met generieke parsers, fixtures, automatische healthchecks en een duidelijk geavanceerd dashboard. Een installatie die jarenlang volledig zonder onderhoud draait, is geen realistische garantie voor webextractiesoftware.

17. Teststrategie en kwaliteitsborging

17.1 Testlagen

Laag	Voorbeelden	Gate
Unit	Titelnormalisatie, datummapping, URL-canonicalisatie, scoreformule.	Elke commit.
Parser fixture	Opgeslagen HTML/e-mail per bron; verwachte velden in golden JSON.	Geen regressie bij parserwijziging.
Contract	Elke adapter retourneert hetzelfde schema en foutcategorieën.	Voor activering bron.
Dedupe benchmark	Gelabelde paren: zelfde, repost, verschillend.	Precisie krijgt voorrang; twijfel niet automatisch samenvoegen.
Ranking evaluatie	Handmatig gelabelde relevante/irrelevante vacatures per profiel.	Topselectie bevat verwachte matches en uitleg.
End-to-end	E-mail of fixture -> vacature -> score -> digest -> feedback.	Voor release.
Security	SSRF, XSS, prompt injection, auth, file upload, secrets.	Geen high-severity bevinding.
Restore	Back-up naar schone omgeving.	Maandelijks succesvol.

17.2 Testdata en bronvriendelijkheid

Tests gebruiken primair opgeslagen, gesaniteerde fixtures en lokale mockservers. Live-brontests zijn beperkt tot een kleine canaryset en respecteren dezelfde rate limits als productie. Zo veroorzaakt ontwikkeling geen onnodige belasting en blijven parsertests reproduceerbaar.

17.3 Kwaliteitsmetrics

• Extractiecompleetheid per veld en bron.

• False merge en missed duplicate in een gelabelde dedupeset.

• Precisie van de top-N aanbevelingen op eigen feedback.

• Aantal sterke matches dat de gebruiker verbergt en reden daarvan.

• Aantal gemiste vacatures in een kleine periodieke handmatige benchmark.

• Bronuptime, gemiddelde hersteltijd en aantal gebruikersmeldingen.

• Digestlatency en dubbele meldingen (doel: nul).

18. Implementatie op Unraid

Unraid ondersteunt Dockercontainers, maar documenteert momenteel dat Docker Compose niet native wordt ondersteund. Voor een complexe stack kan de Compose-specificatie wel als bron van waarheid dienen, waarna services via Unraid-templates of een bewust gekozen Compose-beheeroplossing worden uitgerold [R11, R12].

18.1 Opslaglayout

Aanbevolen Unraid-sharestructuur

/mnt/user/appdata/vacatureradar/ ├── postgres/ # database op cachepool ├── redis/ # alleen persistente brokerstatus indien gewenst ├── config/ # niet-geheime configuratie ├── media/ # cv, snapshots en exports ├── fixtures/ # parserfixtures ├── logs/ # geroteerde applicatielogs └── backups/ # lokale dumps; kopieer periodiek naar array/off-host

18.2 Compose-skelet

Illustratief - exacte imageversies worden bij implementatie vastgepind en getest.

services: web: image: vacatureradar:1.0 command: gunicorn config.wsgi:application depends_on: postgres: { condition: service_healthy } redis: { condition: service_healthy } worker: image: vacatureradar:1.0 command: celery -A config worker -Q high,default,low scheduler: image: vacatureradar:1.0 command: celery -A config beat postgres: image: postgres:17 volumes: ["./postgres:/var/lib/postgresql/data"] healthcheck: test: ["CMD-SHELL", "pg_isready -U $POSTGRES_USER"] redis: image: redis:7-alpine healthcheck: test: ["CMD", "redis-cli", "ping"] ollama: image: ollama/ollama profiles: ["ai"]

Docker Compose ondersteunt healthchecks en afhankelijkheden op service_healthy; dit voorkomt dat de webapp start voordat database en broker klaar zijn [R13]. Op Unraid wordt dezelfde logica vertaald naar containerhealthchecks en startvolgorde.

18.3 Netwerk

• Alleen de webservice krijgt een hostpoort; database, Redis en Ollama blijven op een intern Docker-netwerk.

• Standaard alleen LAN-toegang. Voor extern gebruik: VPN/Tailscale of een bestaande beveiligde reverse proxy.

• Fetcher gebruikt een afzonderlijke netwerkpolicy en mag geen private IP-ranges benaderen via aangeleverde URLs.

• Ollama wordt niet rechtstreeks op het LAN of internet gepubliceerd; alleen de worker mag verbinden.

18.4 Capaciteit

De regelgebaseerde kern en statische parsers passen op bescheiden hardware. Browserrendering en lokale AI bepalen de piekbelasting. Daarom zijn beide optioneel en concurrency-beperkt. Het systeem moet ook zonder GPU en zonder AI-model volledig functioneel blijven; alleen inhoudelijke samenvattingen en enkele zachte features worden dan eenvoudiger.

18.5 Upgradeprocedure

• Back-up en succesvolle restore-check vóór grote upgrade.

• Nieuwe images eerst in staging met fixturetests en database-migratiecheck.

• Pinned versie promoten; healthchecks en canarybronnen controleren.

• Rollback naar vorige image en databaseback-up wanneer migratie niet veilig terugdraaibaar is.

19. Fasering, inspanning en prioriteiten

Onderstaande ranges zijn indicatieve ontwikkelinspanning voor één ervaren full-stack Pythonontwikkelaar. Brondiversiteit en de gewenste afwerkingsgraad zijn de grootste onzekerheden; dit zijn geen kalenderbeloften.

Fase	Inhoud	Indicatie	Exitcriterium
0. Validatie & beleid	Definitieve voorkeuren, bronpolicy, 15-25 representatieve bronnen, e-mailvoorbeelden.	4-7 persoonsdagen	Go/no-go en testcorpus.
1. Core MVP	Django, PostgreSQL, profielen, bronregister, HTTP/JSON-LD/HTML, IMAP.	14-20 dagen	Nieuwe vacatures verschijnen traceerbaar.
2. Normalisatie & dedupe	Taxonomie, locatie, versiebeheer, expiratie en clusters.	9-14 dagen	Geen storende duplicaten in testset.
3. Matching & UI	Harde filters, score, confidence, dashboard, digest.	12-18 dagen	Dagelijkse selectie is bruikbaar.
4. Opvolging & lokale AI	Sollicitatiedossier, reminders, Ollama-features, feedbackleren.	10-16 dagen	Volledige persoonlijke workflow.
5. Hardening & Unraid	Security, back-up, restore, monitoring, deploymenttemplates.	8-13 dagen	Release candidate met hersteltest.
6. Bronpacks	Sector-/regiopacks, extra ATS-adapters, parsercanaries.	10-20 dagen	Brede brondekking voor doelgebied.

19.1 MVP dat al waarde levert

• Eén zoekprofiel en een onboardingwizard.

• Rechtstreekse werkgeverspagina’s via JSON-LD/HTML plus IMAP-vacaturemails.

• PostgreSQL, canonieke vacatures, eenvoudige fuzzy dedupe en expiratie.

• Harde filters, handmatig ingestelde gewichten en scoreuitleg.

• Vandaag-scherm, vacaturedetail, dagelijkse e-maildigest en vier kernacties.

• Bronhealth, retries, back-up en Unraid-deployment.

19.2 Niet blokkeren op AI

Lokale AI wordt pas toegevoegd nadat extractie, dedupe en regelranking aantoonbaar goed werken. Dit voorkomt dat een model technische datakwaliteitsproblemen maskeert. Het MVP kan al relevante vacatures leveren met taxonomie, regels, full-text features en expliciete gewichten.

20. Risico’s en beheersmaatregelen

Risico	Kans	Impact	Beheersing
Websites wijzigen	Hoog	Middel	JSON-LD eerst, generieke parsers, fixtures, health metrics, shadow repair en quarantaine.
Platformvoorwaarden beperken toegang	Hoog	Hoog	Geen directe crawling van platformen; e-mailalerts en werkgeverbronnen als kern.
Onvolledige dekking	Hoog	Middel	Meerdere kanalen, seed packs, e-mailgedreven ontdekking en periodieke benchmark; geen “alle vacatures”-belofte.
Foutieve dedupe	Middel	Hoog	Precisie boven recall, twijfelclusters zichtbaar, versie-/repostmodel en gelabelde benchmark.
AI-hallucinatie	Middel	Middel	AI optioneel, bewijsvelden, JSON-schema, geen harde filter, fallback naar regels.
Te veel meldingen	Middel	Middel	Dagelijkse bundeling, thresholds, stille uren en één melding per incident.
Bronbelasting/429	Middel	Middel	Conditionele requests, adaptief interval, één concurrency per domein, Retry-After.
Privacy- of credentiallek	Laag-middel	Hoog	Lokale toegang, secretsbeheer, minimale logs, back-ups versleutelen, securitytests.
Unraid-/containerupgrade breekt stack	Middel	Middel	Pinned versies, staging, healthchecks, back-up en rollback.
Gebruiker vertrouwt score te sterk	Middel	Middel	Confidence en bewijs prominent, score geen kans op aanwerving, eindbeslissing expliciet bij gebruiker.

21. Acceptatiecriteria

21.1 Gebruik

• Een nieuwe gebruiker kan de verplichte onboarding afronden zonder een bronadapter of technische selector te configureren.

• Na onboarding is de normale dagflow uitvoerbaar vanuit één digest of het Vandaag-scherm.

• Elke vacature kan met één klik worden bewaard, verborgen, interessant gemarkeerd of als gesolliciteerd geregistreerd.

• Een verborgen vacature vermeldt welke harde regel of gebruikersactie dit veroorzaakte.

21.2 Verzameling en data

• De testset van toegestane JobPosting- en HTML-bronnen wordt volgens schema verwerkt en bewaart per veld provenance.

• Platformdenylist voorkomt netwerkverzoeken naar geconfigureerde verboden domeinen vanuit crawltaken.

• Een tijdelijke bronstoring verwijdert geen actieve vacatures onmiddellijk.

• Exacte duplicaten worden samengevoegd en rechtstreekse werkgeverslinks krijgen voorrang.

• Vervallen of verwijderde vacatures worden gearchiveerd zonder een bestaand sollicitatiedossier te verliezen.

21.3 Matching

• Harde regels zijn deterministisch getest en onafhankelijk van AI-beschikbaarheid.

• Iedere aanbevolen vacature toont scorecomponenten, confidence, pluspunten, aandachtspunten en bronbewijs.

• AI-uitval verhindert geen digest en leidt tot een zichtbaar lagere analyseconfidence.

• Feedbackgewichten zijn begrensd, versieerbaar en terug te draaien.

21.4 Beheer en beveiliging

• Database- en bestandsback-up kunnen in een schone testomgeving worden hersteld.

• Healthchecks detecteren onbereikbare database, broker en webapp.

• SSRF-tests blokkeren private en loopback-adressen, ook na redirects.

• Vacature-HTML kan geen script uitvoeren in de lokale UI.

• De applicatie is standaard niet publiek bereikbaar en publiceert PostgreSQL, Redis of Ollama nooit rechtstreeks.

22. Voorbeeldconfiguratie en resultaten

Illustratief profiel De waarden hieronder zijn voorbeelden en mogen niet als bevestigde persoonlijke voorkeuren worden gelezen. De onboarding vult ze met de echte keuzes van de gebruiker.

22.1 Zoekprofiel in YAML

Voorbeeld - een echte configuratie wordt via de UI beheerd en als versieerbaar document geëxporteerd.

mode: strict locale: nl-BE timezone: Europe/Brussels digest: daily_at: "07:30" immediate_match_min_score: 92 quiet_hours: ["22:00", "07:00"] search_profiles: - name: "Primair IT-profiel" home_postal_code: "0000" max_distance_km: 45 preferred_workplace: [hybrid, on_site] desired_titles: - systeembeheerder - infrastructure engineer - workplace engineer hard_exclusions: employment_type: [freelance] title_terms: [sales, recruiter] soft_preferences: direct_employer: 0.9 public_sector: 0.7 limited_first_line_support: 0.8 source_policy: honor_robots: true crawl_logged_in_pages: false solve_captcha: false public_ats_endpoints: false max_concurrency_per_domain: 1 raw_document_retention_days: 7

22.2 Voorbeeld van een dagelijkse digest

| VacatureRadar - dinsdag 21 juli 3 sterke matches 4 mogelijke matches 18 automatisch verborgen 6 dubbele publicaties samengevoegd 1 bewaarde vacature sluit binnen 2 dagen TOPMATCH - Infrastructure Engineer - 88/100 Rechtstreekse werkgever | 24 km | hybride | confidence: hoog Waarom: sterke infrastructuurcomponent, realistische senioriteit, weinig support. Aandachtspunt: VMware is gewenst maar niet verplicht. [Interessant] [Bewaren] [Verbergen] [Open originele vacature] | | --- |

22.3 Interne adapterinterface

| class SourceAdapter(Protocol): source_type: str def discover(self, seed: SourceSeed) -> list[SourceCandidate]: ... def list_items(self, source: Source, cursor: Cursor | None) -> FetchPlan: ... def extract(self, document: RawDocument) -> list[ExtractedJob]: ... def normalize(self, item: ExtractedJob) -> CanonicalJobDraft: ... def health(self, run: SourceRun) -> HealthAssessment: ... # Beleid, HTTP, retries en opslag zitten buiten de adapter, # zodat een parser nooit zelf beperkingen kan omzeilen. | | --- |

22.4 Interne applicatie-endpoints

Methode	Pad	Doel
GET	/jobs	Filterbare vacaturelijst.
GET	/jobs/{id}	Detail, score, bewijs, bronnen en historie.
POST	/jobs/{id}/feedback	Interessant/bewaren/verbergen met optionele reden.
POST	/jobs/{id}/application	Sollicitatiestatus en dossier.
GET/POST	/profiles	Zoekprofielen en versies.
GET	/sources	Brongezondheid en policy voor geavanceerd beheer.
POST	/sources/{id}/retry	Bewuste handmatige retry.
POST	/imports/url	Optionele URL-import.
GET	/health	Liveness/readiness voor containerhealthcheck.

23. Aanbevolen besluit en bouwvolgorde

Aanbeveling Bouw eerst een betrouwbare bron- en datakern met e-mailimport, directe werkgeverspagina’s, normalisatie en dedupe. Voeg ranking en gebruikersworkflow daarna toe. Behandel lokale AI als een uitbreidbare analysemodule, niet als fundament.

23.1 Beslissingen die nu kunnen worden vastgelegd

• Productnaam als werktitel: VacatureRadar.

• Persoonlijke single-user installatie, België-first, interface in het Nederlands.

• Strict mode standaard: geen platformcrawling en geen publieke ATS-endpoints zonder expliciete bronbeslissing.

• Django-modulaire monoliet met PostgreSQL, Redis, Celery en optionele Playwright/Ollama-profielen.

• Dagelijkse digest als primaire gebruikersinterface; dashboard als verdieping.

• Geen auto-apply; wel dossier, reminders en optionele documentconcepten.

• Data- en bronprovenance zijn verplichte kernfuncties, geen latere toevoeging.

23.2 Eerste implementatiesprint

1. Repository, CI, Dockerimage, Django-project, PostgreSQL en healthchecks.

2. Datamodel voor profiel, bron, bronrun, ruw document, werkgever en vacature.

3. Generieke JSON-LD-parser en één statische HTML-adapter met fixtures.

4. IMAP-import met generieke linkextractie en één platformtemplate.

5. Canonieke URL, contenthash, eenvoudige dedupe en bronprovenance.

6. Minimalistisch Vandaag-scherm en handmatige feedbackacties.

Na deze sprint moet een echte vacature vanaf een toegestane bron of e-mail zichtbaar worden met titel, werkgever, locatie, originele link, herkomst en status. Pas daarna worden score, AI en automatische bronontdekking uitgebreid.

24. Bijlagen en referenties

Bijlage A - Begrippen

Begrip	Betekenis
Aggregator	Vacatureplatform dat vacatures van meerdere werkgevers of recruiters toont.
ATS	Applicant Tracking System; systeem waarmee werkgevers vacatures en kandidaten beheren.
Canonieke vacature	De interne hoofdrepresentatie waaraan meerdere bronpublicaties zijn gekoppeld.
Confidence	Mate waarin velden en analyse door betrouwbare broninformatie worden ondersteund.
Harde regel	Voorwaarde die direct uitsluit of blokkeert en niet automatisch wordt aangeleerd.
Zachte voorkeur	Kenmerk dat de rangschikking beïnvloedt maar niet automatisch uitsluit.
Provenance	Herkomst van een veld: bron, URL, extractiemethode, parser en confidence.
Quarantaine	Bron of document dat tijdelijk niet automatisch verder wordt verwerkt wegens beleids-, parser- of veiligheidsprobleem.
Repost	Een opnieuw gepubliceerde vacature die mogelijk dezelfde positie betreft maar een nieuwe publicatiecyclus heeft.
Strict mode	Modus zonder directe platformcrawling en zonder optionele publieke ATS-endpoints.

Bijlage B - Referenties

Ref.	Organisatie en bron	URL
R1	Google Search Central - JobPosting structured data for Job Search	https://developers.google.com/search/docs/appearance/structured-data/job-posting
R2	IETF - RFC 9309 - Robots Exclusion Protocol	https://datatracker.ietf.org/doc/html/rfc9309
R3	LinkedIn - LinkedIn Crawling Terms and Conditions	https://www.linkedin.com/legal/crawling-terms
R4	LinkedIn Help - Job alerts on LinkedIn	https://www.linkedin.com/help/linkedin/answer/a511279
R5	Indeed - Algemene voorwaarden	https://nl.indeed.com/legal
R6	Indeed Help - Vacature-alerts activeren, stopzetten en beheren	https://support.indeed.com/hc/nl/articles/204488890-Vacature-alerts-activeren-stopzetten-en-beheren
R7	Greenhouse - Job Board API - Introduction and authentication	https://developers.greenhouse.io/job-board.html
R8	Lever - Postings API documentation and hosted job site	https://github.com/lever/postings-api
R9	EUR-Lex - Regulation (EU) 2016/679 - General Data Protection Regulation	https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng
R10	EUR-Lex - Directive 96/9/EC on the legal protection of databases	https://eur-lex.europa.eu/eli/dir/1996/9/oj/eng
R11	Unraid Docs - Run Docker containers - overview	https://docs.unraid.net/unraid-os/using-unraid-to/run-docker-containers/overview/
R12	Docker Docs - Compose file reference	https://docs.docker.com/reference/compose-file/
R13	Docker Docs - Control startup and shutdown order in Compose	https://docs.docker.com/compose/how-tos/startup-order/
R14	Microsoft Playwright - Playwright Python documentation	https://playwright.dev/python/docs/intro
R15	Ollama - API introduction	https://docs.ollama.com/api/introduction
R16	Statbel - Open data - Address files and statistical sectors 2025	https://statbel.fgov.be/en/news/open-data-address-files-and-statistical-sectors-2025
R17	bpost - Postcodevalidatie en downloadbare postcodelijst	https://www.bpost.be/nl/postcodevalidatie-tool

Alle online referenties zijn geraadpleegd op 20 juli 2026. Voorwaarden, documentatie en softwaregedrag kunnen wijzigen; controleer de actuele versies vóór implementatie en periodiek tijdens gebruik.

Bijlage C - Open beslispunten voor implementatie

Beslispunt	Aanbevolen default	Wanneer herzien
Exacte thuislocatie en vervoerswijze	Alleen postcode/gemeente; geen volledig adres nodig.	Wanneer routegebaseerde reistijd essentieel wordt.
Mailboxprovider	Dedicated IMAP-mailbox met app-wachtwoord.	Bij provider zonder betrouwbare IMAP of securitypolicy.
AI-model	Klein lokaal instructiemodel met gestructureerde output.	Na benchmark op eigen vacatures en hardware.
Routeberekening	Postcode-/gemeentecentroid en hemelsbrede afstand in MVP.	Zelfgehoste router toevoegen wanneer reistijd doorslaggevend is.
Publieke ATS-endpoints	Uit in strict mode.	Per bron activeren na expliciete voorwaardenreview.
Retentie actieve/archiefvacatures	Actief + 12 maanden archief.	Aanpassen aan opslag en persoonlijk dossierbeleid.
Remote toegang	LAN + VPN/Tailscale.	Reverse proxy alleen wanneer bestaand en goed beheerd.

Einde document - VacatureRadar versie 1.0