Waarom je niet zelf een Data Warehouse moet ontwikkelen

Vaak horen we dat een organisatie ervoor kiest om zelf een Data Warehouse te bouwen. In deze blog leggen we uit waarom dat niet de juiste strategie is.

De afgelopen 10 jaar hebben we de ontwikkelingen in verschillende bedrijven gevolgd en zeer regelmatig, na een paar maanden of jaren, krijgen we de vraag om mee te denken over Data Warehouse (Automatisering). In dit artikel delen we de lessen die we de afgelopen jaren hebben geleerd.

Om dit onderwerp naar voren te brengen, wil ik je vragen om na te denken over de vraag of je ooit hebt overwogen om je eigen CRM-systeem of boekhoudprogramma te ontwikkelen. Misschien tien jaar geleden, maar inmiddels is iedereen overtuigd van de voordelen van standaardisatie en de beschikbare tools. Het zelf ontwikkelen van deze tools is tijdrovend, kost veel geld, ontwikkelaars zijn schaars en je zal waarschijnlijk veel problemen ondervinden tijdens het proces. Nu terug naar het onderwerp, waarom zou een organisatie zijn eigen Data Warehouse willen ontwikkelen?

Wat is een Data Warehouse?

Een korte introductie als je minder bekend bent met Data Warehousing. Een data warehouse is een gegevensbeheersysteem dat is ontworpen om activiteiten op het gebied van business intelligence (BI) mogelijk te maken en te ondersteunen, met name analyse. Data warehouses zijn systemen die zijn ontworpen om zoekopdrachten en analyses uit te voeren en bevatten vaak grote hoeveelheden historische gegevens. De gegevens in een data warehouse worden meestal uit verschillende bronnen gehaald, zoals applicatielogs en transactionele applicaties.


Data Warehouse versus Data Lake

Misschien denk je bij een “ data management systeem ” aan een Data Lake. Daarom zullen we kort de verschillen uitleggen tussen een Data Lake en een Data Warehouse. Beide termen worden veel gebruikt voor het opslaan van big data, maar het zijn geen uitwisselbare termen.

Een Data Lake is een (enorme) verzameling van ruwe gegevens waarvan het doel nog niet is gedefinieerd. Een Data Warehouse is een opslagplaats voor gestructureerde, gefilterde gegevens die al verwerkt zijn voor een specifiek doel. Een voorbeeld om het verschil concreet te maken is dat een Data Lake is als een voorraad producten in een gebouw. Een Data Warehouse is hetzelfde gebouw met dezelfde producten, maar gesorteerd, gelabeld en opgeslagen.


Zo brengt een Data Warehouse jouw organisatie vooruit

Gegevens zijn eenvoudiger te begrijpen en op te vragen vanuit één vereenvoudigd model. Geen dubbele tabellen, verwarrende kolomnamen of mysterieuze waarden meer. Sneller te gebruiken door het datateam. Minder tijd nodig om gegevens op te schonen en te transformeren om analyses uit te voeren.

Prettiger om mee te werken voor de 'zakelijke gebruikers'. Complexe verbanden worden beperkt en de juiste kolom is duidelijk. Betrouwbare, consistente bron van antwoorden. Iedereen genereert inzichten uit dezelfde gegevens; geen wisselende antwoorden meer op dezelfde vraag.

Met minder tijd en moeite te onderhouden. Nadat je naamgevingsconventies en een stijlgids hebt aangenomen, kun je deze onderhouden terwijl je gegevens toevoegt. Gescheiden van het transactionele gegevensschema. Query's hebben geen invloed op de app-prestaties en worden niet beïnvloed door snelle gegevenswijzigingen.


Waarom niet zelf een Data Warehouse ontwikkelen?

Ik hoop dat je na het lezen van bovenstaande informatie overtuigd bent van de toegevoegde waarde van een Data Warehouse. De organisaties die aangeven zelf een Data Warehouse te willen opzetten doen dit vaak om de volgende redenen: 1) Zelf de controle hebben, en/of 2) Zelf bouwen lijkt goedkoper.

En beide argumenten hebben zeker waarde. Het is goed om controle te hebben, vooral als het om gegevens gaat. En als je iemand hebt zitten, lijkt het goedkoper om het zelf te doen. Toch is het goed om de volgende scenario's door te nemen. Dit zijn de resultaten van wat we zien als bedrijven het zelf doen.


Je weet niet wat je niet weet

Als je nog nooit een BI-implementatie hebt gedaan, is het moeilijk voor te stellen waar je mogelijk tegenaan kunt lopen. Als je besluit om alles zelf te doen, betekent dit dat je ook verantwoordelijk bent voor hosting, integraties, prestaties, versie- en releasebeheer, enzovoort. Heb je verstand van al deze zaken of leg je alles in handen van één persoon?

Gegevens zonder inzichten zijn niets

Een datawarehouse biedt echt geen waarde aan “de business” tenzij de gegevens toegankelijk zijn en de besluitvormers de dashboards, rapporten, KPI's, waarschuwingen en inzichten kunnen krijgen die ze nodig hebben om hun werk te doen. Maar degenen die het datawarehouse hebben gebouwd, zijn meestal geen UI-experts of bedrijfsexperts.

Dat betekent dat IT op zoek moet naar visualisatietools om in hun datawarehouse te pluggen. Dit betekent weer extra kosten, want zonder visualisatie heb je in principe niets.


Systemen veranderen en software-upgrades zullen nodig zijn

Belangrijke bedrijfsapplicaties zoals ERP en CRM kunnen hun API's veranderen, systeemupgrades volgen elkaar steeds sneller op en je komt er misschien achter dat de persoon die je datawarehouse heeft gebouwd promotie heeft gemaakt of je bedrijf heeft verlaten voor een andere baan. Correcties kunnen moeilijker te realiseren zijn dan verwacht. Of misschien heeft de database waarin je gegevens zijn opgeslagen een nieuwe versie nodig om aan de beveiligingseisen te voldoen. Of misschien is het volume van uw gegevens zo groot geworden dat back-ups te lang duren of zelfs mislukken. We zien klanten die hun eigen datawarehouse hebben gebouwd nog steeds op zoek naar ETL-tools, een DBA en een paar andere dure resources en mensen om de datamotor in leven te houden.

Wij helpen je graag verder

Ben je op zoek naar een assessment om te bepalen of Dynamics 365 bij jouw organisatie past? Heb je ondersteuning nodig bij de implementatie, of zoek je een nieuwe partner voor een bestaande oplossing?

Wij staan voor je klaar. Neem vandaag nog contact met ons op en ontdek hoe wij je kunnen ondersteunen. Samen tillen we jouw organisatie naar nieuwe hoogtes!

Get in touch

Ontdek relevante content