Sneller meer waarde uit data halen? Van ETL naar ELT!

Meer data maar minder waarde…

Organisaties maken voortgang in hun digitale transformatie. Het volume van data groeit stevig, op dit moment zo’n 23% per jaar. Toch hebben organisaties moeite om informatie uit de data te halen.

Omdat de hoeveelheid data toeneemt wordt het steeds lastiger om de data aan te bieden aan de gebruikers. Dat komt doordat organisaties te weinig tijd besteden aan het ontwikkelen van effectieve processen om data makkelijk bruikbaar te maken.

Organisaties verzamelen bijvoorbeeld enorme hoeveelheden digitale transactiedata over klanten, bestellingen, productgebruik, de installed base, service- en klachtentickets, crashlogs en marktinformatie. Maar ze hebben geen goede manier om een ​​‘360-gradenoverzicht’ van klanten of andere belangrijke aspecten op te leveren. Ondanks dat ze steeds meer technologie tot hun beschikking hebben om de intelligentie uit de data te halen.

Veel organisaties realiseren zich nu dat de hoeveelheid data die ze hebben geen concurrentievoordeel biedt en het niet makkelijk is om er voldoende waarde uit te halen. En dat terwijl de zorgen over het eigendom van de data en de privacygevoeligheid enorm toenemen. Net als de zorgen over de complexiteit van de dataomgevingen.

Dit moet dus echt anders.

Hoe is dit probleem ontstaan?

Daar zijn 3 redenen voor.

  1. Het klakkeloos verzamelen van data zonder eerst een strategie te ontwikkelen voor het effectief en intelligent gebruiken van die data;
  2. Het gebruik van een complexe mix aan technologieën en laten ontstaan van gefragmenteerde processen;
  3. “Last but not least”: een zwak data fundament, de basis van business intelligence…

ETL heeft zijn langste tijd gehad

De ETL-methode, Extract, Transform en Load werkte tot nog toe prima. Data wordt uit een aantal bronnen geëxtraheerd, daarna via een ETL-server in een specifiek formaat omgezet. En tenslotte geladen in een datawarehouse waar de data wordt geanalyseerd en hopelijk als business intelligence kan worden gepresenteerd.

Dat ETL datatransformatieproces is in de loop van de tijd complex en rekenintensief geworden omdat het wordt vertaald in een indeling die wordt gebruikt door de databases van de organisaties. Het proces kost langzamerhand veel meer tijd, denk aan de omvangrijke I/O-activiteit, string processing en data parsing.

ELT: minder verspilling en snellere beschikbaarheid

ELT lost deze problemen grotendeels op. Na de extractie van de data worden segmenten van de data gekanaliseerd naar specifieke cloud datawarehouses waar die apart worden getransformeerd. Een groot verschil, veel minder minder I/O-tijd en sneller data parsen. Minder chaos, meer intelligentie!

De ELT data architectuur bevat een sterke databasislaag en een platformgebaseerde aanpak die een samenhangende oplossing voor databeheer biedt. Weg met de versnippering en verspilling. Of het nu gaat om IoT-data, clickstreams, verkoop- en marketingintelligentie, statistieken of gebruikersanalyses, deze architectuur verkleint de kloof tussen het verkrijgen van data en het ontsluiten van waarde. En daarom is het allemaal te doen.

Belangrijk voor de ELT architectuur is:

  • De invoering van een gelaagde datastructuur van o.a. connectors, eventstreaming, bron writebacks en MapReduce. De volgende laag bestaat uit het geheel van databeheer, datamodellering, schemahandhaving, dataprivacy, governance, toestemmingen, beveiliging, dataprojecten en stewardship;
  • De kern van de architectuur is een ontdekkings- en zelflerende engine die data uit verschillende bronnen in het ecosysteem kan crawlen en ophalen. En zich steeds aanpast aan veranderende behoeften en ook steeds de juiste hoeveelheid data opneemt die klaar is voor bewerking.

Het doel van deze data architectuur is ook het elimineren van langlopende queries en joins door dataelementen te verkrijgen die klaar zijn om te verwerken. En zodoende leiden tot het optimale gebruik van dataopslag- en verwerkingsresources.

Dit vermindert niet alleen de hoeveelheid opgeslagen data tot een fractie van wat we nu opslaan, maar verhoogt ook de snelheid waarmee nuttige en bruikbare business intelligence wordt verkregen.

Onontkoombaar om de volgende stap in de digitale transformatie en datarevolutie mee te maken.

Meer weten?

Als je hulp wilt krijgen bij het ontwikkelen, inrichten en uitvoeren van de ELT strategie neem dan gerust contact met ons op.

Deze website maakt gebruik van cookies, onder andere om het gebruiksgemak te vergroten. Door op 'ACCEPT' te klikken, geef je toestemming voor het gebruik van cookies.