Organisaties hebben vaak een aparte klantenadministratie, financiële administratie en salarisadministratie: databronnen die dikwijls allemaal een verschillende structuur hebben. Hoe haal je dan snel de juiste gegevens uit de diverse databronnen voor je bedrijfsbeslissingen? Door de gegevens uit je databronnen samen te voegen in een datawarehouse. Een datawarehouse is niet nieuw, het automatiseren van je datawarehouse is wel relatief nieuw. Wat dit precies is en waarom het zo handig kan zijn voor het bereiken van je bedrijfsdoelstellingen, heb ik in dit blog op een rijtje gezet.
Het aantal verschillende digitale systemen waarmee organisaties werken, is de afgelopen jaren enorm gegroeid en daarmee ook het aantal databronnen. In een datawarehouse worden gegevens uit die verschillende databronnen samengebracht zodat je de verzamelde gegevens kunt gebruiken voor analyses van je bedrijfsvoering. Bijvoorbeeld voor inzicht in de afzet, omzet en de kosten waardoor je snel antwoord kunt geven op ad-hoc vragen, zonder dat je de databronnen zelf enorm belast.
Soorten datawarehouses
Binnen het datawarehouse-landschap worden verschillende soorten datawarehouses onderscheiden:
- Een Enterprise Data Warehouse. In dit centrale datawarehouse worden alle oude en nieuwe gegevens uit de verschillende systemen die relevant zijn voor de benodigde bedrijfsanalyses centraal opgeslagen en toegankelijk gemaakt.
- Een Operational Data Store (ODS). Dit is een database waarin gegevens uit meerdere databronnen geïntegreerd en bewerkt kunnen worden. Hierbij worden periodiek de gegevens uit de verschillende databronnen verzameld en in de ODS geplaatst waarbij de oude gegevens overschreven worden.
- Een data mart. Dit is een verzameling van gegevens, vergelijkbaar met een datawarehouse, maar meestal met een kleinere hoeveelheid gegevens en vaak ingericht voor een specifiek doel. Je kunt bijvoorbeeld een data mart hebben met gegevens over de verkoop, marketing of financiën. Een data mart haalt de gegevens periodiek en direct uit de databron.
Welk soort datawarehouse je ook kiest, het is van belang dat je de gegevens uit de verschillende databronnen makkelijk kunt samenbrengen en combineren.
Gegevens samenbrengen en combineren in een datawarehouse
Voor het samenbrengen van gegevens uit de verschillende databronnen wordt vaak gebruik gemaakt van het Extraction, Load & Transformation proces. Bij dit ELT-proces gaat het om de volgende stappen:
- De gegevens worden uit een of meerdere databronnen opgehaald (E);
- Deze bruikbare (eventueel gecombineerde) gegevens worden weggeschreven in een andere database (L);
- Ze worden omgezet in bruikbare gegevens of gecombineerd met gegevens uit andere bronnen (T);
Dit is een heel proces en met het toenemende aantal verschillende databronnen en soorten gegevens, steeds complexer. Hier komt datawarehouse automation heel goed van pas.
Datawarehouse automation aan de hand van metadata
Bij datawarehouse automation gaat het om het automatisch genereren van de ELT-code voor het aanmaken en wijzigen van tabellen en voor het ophalen en omzetten van de gegevens. Wanneer je werkt met een zo algemeen mogelijke beschrijving van een ELT-proces, kun je deze beschrijving gebruiken voor verschillende bronbestanden en met verschillende systemen.
Deze beschrijving gebeurt op basis van metadata. Deze “informatie over de gegevens” zorgt ervoor dat er verbindingen gelegd kunnen worden tussen de verschillende databronnen en dat het ELT-proces geautomatiseerd kan worden. Zodat bijvoorbeeld gegevens automatisch verplaatst kunnen worden tussen verschillende databases. Of automatisch een verbinding gemaakt kan worden met de verschillende databronnen en de gegevens klaargemaakt worden om te gebruiken en op te slaan in je datawarehouse.
Voordelen van datawarehouse automation
Door het automatiseren van je datawarehouse zijn er minder handmatige werkzaamheden nodig. Dit verkleint de kans op fouten en vergroot de consistentie en de kwaliteit van de gegevens waarop je je analyses baseert. Daarnaast gaat het verzamelen van de gegevens door het op deze manier samenvoegen van databronnen makkelijker waardoor je sneller kunt beginnen met het maken van analyses van de gegevens en het trekken van conclusies over de stand van zaken van je organisatie. Doordat de IT-afdeling minder belast wordt met dit complexe onderdeel van business intelligence, bespaar je ook op de kostbare IT-werkuren.
De volgende stap in business intelligence
Door je datawarehouse te automatiseren, kun je zorgvuldiger, sneller en goedkoper antwoord geven op de vragen die spelen in je bedrijfsvoering en beter inspelen op de ontwikkelingen in de markt. Ben je benieuwd hoe dit je kan helpen bij huidige en toekomstige uitdagingen in data analytics? Download dan onderstaand eBook.
