Datahub en lcm van de diverse dienst onderdelen

Omschrijving Beheer en Ontwikkeling IT
Waar loopt de grens tussen uw tuin en die van uw buurman? En welk vastgoed is van wie? Het Kadaster registreert van al het vastgoed (grond en gebouwen) in Nederland wie welke rechten heeft. We hebben heel veel data over alles onder, op en boven de grond en willen maximale waarde halen uit deze data. Naast onze wettelijke taak, beheert het Kadaster ook voorzieningen van andere organisaties, de Landelijke Voorzieningen. Zo beheren wij onder andere de WOZ Landelijke Voorziening en de Basisregistratie Adressen en gebouwen (BAG): alle adressen en gebouwen in Nederland, zoals bouwjaar, oppervlakte, gebruiksdoel en locatie op de kaart. 

Algemeen
De uitvoering van de interne bedrijfsprocessen van het Kadaster wordt in grote mate ondersteund door geautomatiseerde informatiesystemen en gegevensbestanden. Ook de dienstverlening aan de klanten van het Kadaster wordt in grote mate ondersteund door systemen die digitale producten en diensten leveren. 
De dienst Informatie Voorziening speelt hierbij een belangrijke rol, voor diverse andere afdelingen ontwikkelen zij informatie producten waar deze afdelingen behoefte aan hebben. 

Omschrijving project 
De migratie van de dienst Informatie Voorziening naar de nieuwe IT Infrastructuur heeft een groot deel van 2024 zijn beslag gehad. Hierdoor zijn enkele opdrachten voor onze klant niet uitgevoerd en is geen ruimte geweest voor onderhoud. Deze werkzaamheden moeten nu alsnog uitgevoerd worden, er ontbreekt specifieke kennis binnen het team.

Opdrachtomschrijving

1. Aansluiten op het Digitale Stelsel Omgevingswet (DSO).
   1. Ophalen van ruimtelijke plannen bij de DSO voor Geo Data Services. Hiervoor dienen diverse Python dataproducten omgebouwd te worden om de DSO als bron te gebruiken.
2. Aansluiten op DataHub.
   1. Doel is dat Informatie Voorzieningen uiteindelijk de data van alle basisvoorzieningen ophaalt uit Datahub.
3. Leveren van een aantal nieuwe producten als onderdeel van de dienst Informatie Voorziening, zoals de buurtzoeker, indicator verdiepingshoogtes, Afstanden tot API, Staatseigendommen OGC API.
4. Bijdrage aan LifeCycleManagement (LCM), borgen dat alle tooling weer up-to-date is.
   1. Voor diverse Phyton producten dient een architectuur opgesteld te worden welke uitbreidbaar is met meerdere Pipeline’s en API’s. De opdrachtnemer maakt een LCM plan voor het onderhouden en bijhouden van de bestaande tooling.
5. Migratie van Oracle naar Postgres
   1. Er loopt een project om Oracle uit te faseren. Hiervoor dienen pipelines herontworpen te worden, en omgebouwd te worden naar een andere databron.
   2. Kennis hiervan dient te worden geborgd en te worden overgedragen aan het team Informatie Voorziening. 

Belangrijkste technieken, methoden en tools

• Oracle, PostgreSQL en Databricks SQL  / SparkSQL
• Python
• Mirantis/Kubernetes
• Prefect
• FastAPI
• OGC API’s
• Databricks
• DBT
• Azure
• Python
• Open Shift
• Tekton

Verantwoordelijkheden

De belangrijkste verantwoordelijkheden zijn

• Data pipelines zijn toekomst vast ontworpen.
• API’s zijn beschikbaar voor interne en externe afnemers.
• PII data wordt vertrouwelijk en middels het least privilige principe verwerkt.
• Databricks is veilig, schaalbaar en kosten efficiënt ingericht.
• Borgen dat de kennis is overgedragen aan het interne team.
• Oracle is uitgefaseerd.

De op te leveren resultaten zijn

• Datapipelines bevatten data uit het DSO – Oplevering eind februari 2025.
• BAG-Data zoals hierboven beschreven onder de opdrachtomschrijving wordt afgenomen vanuit DataHub – Oplevering eind april 2025.
• De nieuwe producten (buurtzoeker, indicator verdiepingshoogtes, afstanden tot API, staatseigendommen OGC API) zijn opgeleverd – oplevering eind juni 2025.
• Alle tooling is up-to-date – oplevering eind augustus 2025.
• Oracle is uitgefaseerd – oplevering eind oktober 2025.
• Kennis is overgedragen aan vaste team – oplevering eind december 2025.