Waarom je een Data Warehouse beter niet zelf ontwikkelt

Om dit onderwerp meteen op de voorgrond te brengen, wil ik je vragen om na te denken of je ooit hebt overwogen om zelf een CRM-systeem of boekhoudprogramma te ontwikkelen. Misschien een decennium geleden, maar inmiddels is iedereen overtuigd van de voordelen van standaardisatie en het gebruik van beschikbare tools. Het zelf ontwikkelen van deze tools kost veel tijd en geld, je hebt ontwikkelaars nodig en je zult waarschijnlijk veel complexiteit tegenkomen tijdens het proces. Terug naar het onderwerp: waarom zou een organisatie haar eigen Data Warehouse willen ontwikkelen?

Wat is een Data Warehouse?

Een korte introductie voor wie minder bekend is met Data Warehousing. Een data warehouse is een databeheersysteem dat is ontworpen om business intelligence (BI) activiteiten, vooral analyses, mogelijk te maken en te ondersteunen. Data warehouses zijn systemen die zoekopdrachten en analyses uitvoeren en bevatten vaak grote hoeveelheden historische data. De data in een data warehouse wordt meestal uit verschillende bronnen gehaald, zoals applicatielogs en transactionele applicaties.

Data Warehouse versus Data Lake

Misschien denk je bij “databeheersysteem” eerder aan een Data Lake. Daarom leggen we kort het verschil uit tussen een Data Lake en een Data Warehouse. Beide termen worden veel gebruikt voor het opslaan van big data, maar ze zijn niet hetzelfde.

Een Data Lake is een (enorme) verzameling ruwe data waarvan het doel nog niet is vastgesteld. Een Data Warehouse is een opslagplaats voor gestructureerde, gefilterde data die al is verwerkt voor een specifiek doel. Een voorbeeld: een Data Lake is als een magazijn met producten in een gebouw. Een Data Warehouse is hetzelfde gebouw met dezelfde producten, maar dan gesorteerd, gelabeld en opgeslagen.

Zo brengt een Data Warehouse je organisatie vooruit

Makkelijker data begrijpen en ophalen: een vereenvoudigd, uniform model. Geen dubbele tabellen, verwarrende kolomnamen of mysterieuze waarden meer. Sneller in gebruik voor het datateam. Minder tijd nodig om data op te schonen en te transformeren voor analyse.

Gebruiksvriendelijker voor business users: complexe verbindingen zijn verminderd en de juiste kolom is duidelijk. Betrouwbare, consistente bron van antwoorden. Iedereen haalt inzichten uit dezelfde data; geen verschillende antwoorden op dezelfde vraag meer.

Onderhoudsvriendelijker met minder tijd en moeite: na het aannemen van naamgevingsconventies en een stijlgids kun je deze onderhouden bij het toevoegen van data. Gescheiden van het transactionele dataschema. Queries beïnvloeden de applicatieprestaties niet en worden niet beïnvloed door snelle dataveranderingen.

Waarom geen Data Warehouse zelf bouwen?

Ik hoop dat je na het lezen van bovenstaande informatie overtuigd bent van de toegevoegde waarde van een Data Warehouse. Organisaties die aangeven dat ze hun eigen Data Warehouse willen opzetten, doen dit vaak om de volgende redenen: 1) om de controle te behouden en/of 2) zelf bouwen lijkt goedkoper.

En beide argumenten hebben zeker waarde. Het is goed om controle te hebben, vooral als het om data gaat. En als je iemand beschikbaar hebt, lijkt het inderdaad goedkoper om het zelf te doen. Maar het is toch goed om onderstaande scenario’s te doorlopen. Dit zijn de resultaten van wat wij zien wanneer bedrijven het zelf doen.

Je weet niet wat je niet weet.

Als je nog nooit een BI-implementatie hebt gedaan, is het moeilijk voor te stellen waar je mogelijk tegenaan kan lopen. Als je besluit alles zelf te doen, betekent dat dat je ook verantwoordelijk bent voor hosting, integraties, prestaties, versie- en releasebeheer, enzovoort. Begrijp je al deze zaken of leg je alles in handen van één persoon?

Data zonder inzicht is niets

Een data warehouse biedt echt geen waarde voor ‘de business’ tenzij de data toegankelijk is en de beslissers de dashboards, rapporten, KPI’s, waarschuwingen en inzichten krijgen die ze nodig hebben om hun werk te doen. Maar degenen die het data warehouse hebben gebouwd zijn meestal geen UI-experts of business experts.

Dat betekent dat IT op zoek moet naar visualisatietools om op hun data warehouse aan te sluiten. Dit betekent weer extra kosten, want zonder visualisatie heb je eigenlijk niets.

Systemen veranderen en software-upgrades zullen nodig zijn

Kritieke bedrijfsapplicaties zoals ERP en CRM kunnen hun API’s wijzigen, systeemupgrades volgen elkaar steeds sneller op, en je kan ontdekken dat de persoon die jouw data warehouse heeft gebouwd is gepromoveerd of het bedrijf heeft verlaten voor een andere baan. Correcties kunnen moeilijker zijn dan verwacht om te realiseren. Of misschien heeft de database die je data opslaat een nieuwe versie nodig om beveiligingscompliant te zijn. Of misschien is het volume van je data zo groot geworden dat backups te lang duren of zelfs mislukken. We zien klanten die hun eigen data warehouse hebben gebouwd nog steeds op zoek zijn naar ETL-tools, een DBA en een paar andere dure resources en mensen om de data-engine draaiende te houden.