Garbage in, garbage out: als je er ergens troep in stopt, komt er ook troep uit. En dit geldt helemaal voor informatiesystemen. Wanneer de kwaliteit van de gegevens die je in je informatiesysteem stopt niet goed is, haal je er niet de gewenste informatie uit. Bijvoorbeeld wanneer je werkt met verouderde gegevens of met verschillende coderingen of niet alle gegevens opneemt. Onjuiste gegevens kunnen zo leiden tot verkeerde conclusies over de ontwikkeling van je omzet en je kosten. Waardoor je de verkeerde beslissingen neemt over de richting waarin je met de organisatie wilt gaan en waarin je tijd en geld moet investeren. Het meten en verbeteren van je datakwaliteit is daarom essentieel. In dit blog beschrijf ik je hoe je dit doet.
Wat je moet weten over datakwaliteit
Datakwaliteit is de mate waarin de gegevens geschikt zijn voor het doel waarvoor je ze wilt gebruiken. Voor business intelligence geldt bijvoorbeeld dat de gegevens die je wilt gebruiken, geschikt moeten zijn om als informatiebron te dienen om beslissingen te nemen op operationeel, tactisch en strategisch gebied. Om te bepalen of de gegevens geschikt zijn voor jouw toepassing, zal antwoord gegeven moeten worden op de volgende vragen:
- Zijn je gegevens actueel? Worden ze met regelmaat en op tijd toegevoegd aan je datawarehouse? Check bijvoorbeeld of de gegevens over je dagomzet elke avond in je datawarehouse geladen worden en of ze ’s ochtends beschikbaar zijn.
- Zijn je gegevens volledig? Welke gegevens verwacht je opgenomen te zijn in je datawarehouse? Worden hierbij alle gegevens uit de verschillende in je organisatie beschikbare en relevante bronnen wel meegenomen? Worden wel elke keer de gegevens over alle locaties opgenomen?
- Zijn je gegevens accuraat? Geven ze wel de werkelijkheid goed weer? Werk je bijvoorbeeld wel met Nederlandse omzetcijfers in euro’s? Of zijn er dollars als valuta ingeslopen? Dit maakt voor de berekeningen natuurlijk een wereld van verschil.
- Zijn je gegevens consistent? Werk je in het gehele business intelligence systeem met dezelfde coderingen? Bijvoorbeeld voor de registratie van facturen. Wanneer je voor de ene bedrijfslocatie werkt met een jaar-maand-dag-codering en in de andere bedrijfslocatie met dag-maand-jaar-codering, is het moeilijk om de gegevens correct op te slaan, met elkaar te vergelijken en er de juiste conclusies uit te trekken.
- Zijn je gegevens begrijpelijk? Weet iedereen die met het business intelligence systeem werkt en hiervoor gegevens moet aanleveren wat er met de getallen precies bedoeld wordt? Zijn de definities van dagomzet, omzet per klant en factuurbedrag voor iedereen helder? Is helder dat hier met bedragen inclusief of exclusief btw gewerkt wordt? Neem deze informatie duidelijk op in je metadata zodat iedereen weet wat er met de gegevens bedoeld wordt.
- Zijn je gegevens uniek? Staan klanten en medewerkers niet dubbel in het systeem? Zeker bij mensen die klant zijn bij meerdere vestigingen of werken voor verschillende locaties, kan dit ervoor zorgen dat je dubbelingen in je database hebt.
Welke tools helpen je bij het meten en verbeteren?
Om fouten in je data op te sporen, zijn er verschillende tools beschikbaar die je helpen bij het detecteren, rapporteren en soms ook opschonen van je databases:
- Data Profiling tools helpen bij het maken van een dataprofiel van een databron en het inzicht krijgen in de kwaliteit van die databron.
- Data Cleansing tools helpen bij het opschonen van je data, bijvoorbeeld bij het ontdubbelen.
- Data Quality Management tools helpen bij een structurele en procesmatige aanpak van je datakwaliteit.
Stappenplan verbeteren datakwaliteit
De inzet van tools alleen is niet voldoende om je datakwaliteit te verbeteren, het gaat er ook om dat je binnen je organisatie met elkaar over de optimalisatie van datakwaliteit afspraken maakt en dat iedereen zich daaraan verbindt. En dat je je processen goed inricht. Daarvoor kun je het volgende stappenplan volgen:
Stap 1. Zorg voor een vaste structuur
Spreek met elkaar (IT-afdeling en alle gebruikers van de tools) af op welke manier jullie de databases inrichten, welke elementen voor jullie belangrijk zijn en wat voor jullie werkbaar is. Maak bijvoorbeeld afspraken over de manier waarop jullie klanten, voorraad, marketinguitingen en klantreacties registreren. En zorg ervoor dat de werkwijze voor iedereen duidelijk is en dat die voor alle databases zo veel mogelijk eenduidig is.
Stap 2. Pak fouten en dubbelingen aan
Wanneer je afspraken hebt gemaakt over de structuur, kun je de data uit de verschillende bronnen samenvoegen. Een perfect moment ook om de informatie die jullie van klanten opslaan in verschillende databases te controleren op de bovenstaande punten en dubbele records te verwijderen. Met dit opgeschoonde bestand kun je naar stap drie.
Stap 3. Vul ontbrekende gegevens aan
Zo’n schone lei biedt je namelijk een mooi overzicht van welke gegevens nog ontbreken. Check in je opgeschoonde bestand welke informatie je nog mist en ga daar achteraan. Bijvoorbeeld ontbrekende gegevens over medewerkers, klanten of locaties.
Stap 4. Zet datakwaliteit centraal
Je databases hebben veel waarde voor je organisatie. Maak daarom afspraken over welke databases leidend zijn (a single source of truth), over wie de informatie verzamelt en wie deze databases mag beheren (bewerken). Medewerkers kunnen hun eigen lijsten bijhouden, maar in de centrale database staat de meest actuele en gecontroleerde informatie.
Data: ook privacy en security zijn belangrijk voor je kwaliteit!
Vergeet in het proces van het verbeteren van je datakwaliteit ook niet afspraken te maken over belangrijke aspecten als de bescherming van de privacy van de personen wiens gegevens je hebt opgeslagen(voor de AVG) , de bescherming van de gegevens tegen hacks (belangrijk voor het voorkomen van reputatieschade of zelfs faillissement van je organisatie) en het voldoen aan wetgeving op het gebied van data compliance. Dan pak je het hele spectrum van datakwaliteit aan en neem je op zuivere data je beslissingen.
Wil je meer weten over hoe je de datakwaliteit in je organisatie verbetert? Download dan hieronder het e-Book “Meten is weten”. Het geeft onder meer tips om je business intelligence dusdanig in te richten qua middelen en organisatie dat je zorgt voor zuivere gegevens en het meeste uit je Business intelligence-tool haalt.
