Quality assurance engineer

Organisatie

Montferland is een gemeente in het oosten van de provincie Gelderland. Met een oppervlakte van ca. 110 km² en ruim 36.000 inwoners heeft Montferland een schakelfunctie tussen de regio Achterhoek en de Stadsregio Arnhem-Nijmegen. De gemeente bestaat uit 12 kernen: Azewijn, Beek, Braamt, Didam, 's-Heerenberg, Kilder, Lengel, Loerbeek, Loil, Nieuw-Dijk, Stokkum en Zeddam.

Het gemeentebestuur is gevestigd in Didam.

Opdracht
Doel van het project

Het project De Virtuele Assistent schaalt een bewezen prototype uit Montferland (~30.000 gesprekken, 10-15% reductie telefonisch contact, livechat vervangen, 24/7 bereikbaarheid, ~80% inwonerstevredenheid) naar een universeel open-source bouwstenen-framework. Met dit framework kunnen organisaties kant-en-klare modules (orchestration, RAG, guardrails, CMS, evaluation) combineren om eigen AI-assistenten, bots of agents te bouwen.

Technologie: Azure OpenAI (EU/AVG-compliant), RAG (Qdrant vectorDB), orchestration framework, guardrails

Team: 6 FTE - AI Engineer (36u), Full-stack Developer (36u), Infrastructure Engineer (8u), PO/SM (24u), Conversation Designer (extern), Community Management (36u)

Fase: Van werkend prototype naar productie-ready framework

Jouw rol

De QA Engineer valideert de veiligheid, kwaliteit en compliance van een open-source bouwstenen-framework voor (semi)publiek gebruik. Het framework bestaat uit herbruikbare modules die organisaties kunnen combineren om verschillende assistenten te maken. De rol focust op risk-based testing van AI-gedrag (guardrails, hallucination detection, PII leakage), begeleiding van pilotorganisaties bij testen, en het interpreteren en rapporteren van testresultaten voor PO en development team.

Focus: 8 uur/week vraagt zeer zelfstandig werken met laser focus op highest risk testing (security, compliance, core functionality). Testing is primair handmatig (edge cases zoeken, adversarial prompts), met ruimte voor test automation waar efficiënt.

50% AI Quality Testing (~4u/week) – Guardrails validatie, hallucination detection, evaluation framework, knowledge base correctheid

25% Functional & Integration Testing (~2u/week) – End-to-end flows, regression testing, API/integration validatie

15% Security & Compliance Testing (~1u/week) – DPIA requirements, security checks, PII leakage preventie

10% Pilot Support & Rapportage (~1u/week) – Pilotorganisaties begeleiden, bug management, metrics tracking

Competenties

Probleemoplossend vermogen

Analytisch denken

Technische kennis

Projectmanagement

Kwaliteitsbewustzijn

CV-eisen
Maximaal 5 pagina’s, opgesteld in het Nederlands.

Werkdagen
De opdracht wordt vervuld op de volgende werkdagen:

Is hybride werken mogelijk: Ja