De 4 grootste trends in Big Data

Zelfrijdende auto’s, levensechte robots en drones voor bezorging van pizza’s zijn de bekende voorbeelden van de digitale transformatie die we overal om ons heen zien.

Dit zou echter onmogelijk zijn zonder data en de krachtige, relatief goedkope analytische technologie die we nu hebben om de data te begrijpen. En vanzelfsprekend de inzet van de business intelligence experts.

De term Big Data wordt gebruikt voor datasets die te groot en te weinig gestructureerd zijn om met reguliere database managementsystemen te worden benaderd. Big data speelt een steeds grotere rol. Bijvoorbeeld omdat consumenten bij sociale media steeds meer data opslaan. Maar ook organisaties produceren steeds meer data over burgers. En tenslotte ook apparaten slaan tegenwoordig zelf data op en wisselen die uit.

Niet alleen de opslag van deze hoeveelheden data is een grote uitdaging, maar zeker ook het analyseren ervan. Feit is dat veel organisaties nog steeds moeite hebben om waarde te halen uit een groot deel van een data.

De praktijk van Big Data staat nog In de kinderschoenen.  Daarom beschrijven we hier een aantal belangrijke trends die van invloed zijn op hoe data en analyses in de toekomst worden gebruikt.

1. Datavisualisatie: nieuwe en veel rijkere manieren om data te verkennen en te interpreteren

Datavisualisatie is de “laatste mijl” van het analyseproces voordat we actie ondernemen op basis van de bevindingen.

Traditioneel communiceren we door middel van grafieken, diagrammen en dashboards. Die ons helpen te bepalen wat moeten doen, gebaseerd op de data. Een probleem daarbij is dat niet alle mensen goed zijn in het ontdekken van waardevolle inzichten die verborgen zijn in een stapel statistieken.

Het wordt steeds belangrijker dat iedereen data gedreven zijn of haar acties neemt. Daarom ontwikkelen de manieren om de inzichten te communiceren ook voortdurend. En proberen we de beperkingen van de mens op te heffen.

Er worden belangrijke doorbraken geboekt door het gebruik van de menselijke taal, ofwel natuurlijke taalverwerking (NLP). Er bestaan tegenwoordig analysetools waarmee we vragen over data kunnen stellen en antwoorden kunnen krijgen uitgedrukt in onze eigen taal. Dit vergroot de toegang tot data aanzienlijk. en verbetert tegelijkertijd de data gedrevenheid in een organisatie.

Een andere nieuwe technologie om een ​​beter visueel overzicht en begrip van data te krijgen zorg ervoor dat we er helemaal in ondergedompeld worden.  De nieuwe technologie heet ‘Cross reality’ (XR), een term die virtual reality (VR) en augmented reality (AR) combineert. Hiermee worden nieuwe vormen van de realiteit gegenereerd door digitale objecten in de fysieke wereld te brengen. Of andersom objecten van de fysieke wereld in de digitale wereld te brengen.

VR kan worden gebruikt om nieuwe soorten visualisaties te maken waarmee we een rijkere betekenis aan data kunnen geven. We kennen allemaal het beeld van Matthijs van Nieuwkerk met een VR bril op. Die dan allerlei zaken in de digitale wereld meemaakt, totdat hij er bijna bij omvalt.

AR kan ons direct kan laten zien hoe de resultaten van data-analyse de wereld in realtime beïnvloeden. Een monteur die een probleem met een auto probeert te achterhalen, kan bijvoorbeeld met een AR-bril naar de motor kijken en voorspellingen krijgen over welke componenten waarschijnlijk moeten worden vervangen.

Alweer een sterke trend die de manier zullen beïnvloeden hoe we in de toekomst met data en data-analyses om zullen gaan.

2. AI zorgt voor diepere inzichten en steeds geavanceerdere automatisering

Kunstmatige intelligentie (AI) is een gamechanger voor analyse. Met de enorme hoeveelheid gestructureerde en ongestructureerde data die door organisaties en hun klanten worden gegenereerd, komen zelfs geautomatiseerde analyses niet verder dan het topje van de ijsberg van die enorme overvloed aan data.

Een simpel voorbeeld van AI zijn computers en software die in staat zijn om zelf te leren. Dat noemen we dan machine learning. Machine learning houdt zich bezig met de ontwikkeling van software die zichzelf steeds verbetert en leunt sterk op statistiek.

Met machine learning kan een business intelligence expert een eenvoudig probleem oplossen zoals de vraag  “Welke van onze klanten is het meest waardevol voor ons?”.

Zonder machine learning kunnen we deze vraag proberen op te lossen door een database te maken waarin de uitgaven per klant worden weergegeven. Maar wat gebeurt er als er nieuwe klant is die €100 uitgeeft bij de eerste keer dat hij bij ons winkelt? Is die klant dan waardevoller dan een klant die het afgelopen jaar €10 per maand heeft uitgegeven?

We hebben dus veel meer data nodig om zinvolle analyses te doen. En die data zijn nu beschikbaar. De truc zit hem In het combineren ervan. Bijvoorbeeld de persoonlijke data over de klant zelf, zoals leeftijd, bestedingspatroon of inkomensniveau.

Het interpreteren, begrijpen en verkrijgen van inzichten uit al deze datasets is een veel gecompliceerder taak. Dan komen we op het terrein van AI. Zij richt zich op het ontwikkelen van software die zich niet alleen zelf probeert te verbeteren (machine learning), maar zelfs zelfstandig kan redeneren en problemen op kan lossen.

De kracht van AI komt voort uit het interpreteren van alle data tesamen. En vervolgens voorspellingen doet over wat de potentiële toekomstige waarde van een klant kan zijn. op basis van alles wat we weten van de klant, of we die verbanden nu begrijpen of niet. 

Het mooie van AI is dat het niet noodzakelijk met ‘goede’ of ‘foute’ antwoorden op de proppen komt. Het biedt een reeks aan waarschijnlijke uitkomsten en verfijnt daarna de resultaten, afhankelijk van hoe nauwkeurig die voorspellingen, getoetst aan de werkelijkheid, blijken te zijn.

Op deze manier kunnen data scientist en data engineers met AI zorgen voor diepere inzichten en steeds geavanceerdere automatisering. Een 2e trend om stevig mee rekening te houden.

3. Hybride cloud en Edge computing

Deze 3e groep van trends horen bij elkaar.

Hybride cloud

Cloud computing is een andere trend die een enorme impact heeft op de manier waarop Big Data-analyses worden uitgevoerd. Hiermee krijg je de mogelijkheid om toegang te krijgen tot enorme datastores en te handelen op basis van realtime informatie zonder dat je daarvoor een dure lokale infrastructuur nodig hebt.

Dit heeft geleid tot een toename van het aantal apps en startups die datagestuurde services on-demand aanbieden.

Maar volledig vertrouwen op openbare cloudproviders zonder aanvullende maatregelen te nemen is niet het beste model voor elke organisatie. Als je jullie volledige dataactiviteiten aan derden toevertrouwt zijn moet je goed nadenken over beveiliging en beheer.

Veel organisaties zoeken nu naar hybride cloudsystemen. Sommige informatie wordt bewaard op Amazon Web Service-, Microsoft Azure- of Google Cloud-servers. Terwijl andere, misschien meer persoonlijke of gevoelige data, binnen de eigen organisatie blijven.

Cloudproviders spelen steeds meer in op deze trend en bieden “cloud-on-premise” -oplossingen die alle functies en robuustheid van de openbare cloud bieden. En tegelijkertijd de opslag van de data beide data eigenaren blijft.  

Edge computing

Edge computing is een andere sterke trend die de komende tijd invloed zal hebben op de impact die big data en analytics op ons leven hebben. En hangt samen met de trend naar de Cloud.

Bij Edge computing wordt data verwerkt daar waar ze wordt verzameld, in plaats van die naar de cloud te sturen voor opslag en analyse.

Deze technieken zijn ontstaan omdat sommige data gewoon veel te snel moet worden verwerkt, daar heb je geen tijd om ze heen en weer te sturen. Een goed voorbeeld hiervan is de data die wordt verzameld met sensoren op autonome voertuigen.

Ook is het hiermee mogelijk om consumenten te bedienen ten aanzien van hun privacy. Deze techniek maakt bijvoorbeeld authenticatie rechtstreeks vanaf hun apparaat mogelijk. Zonder dat daarbij data naar een derde partij gestuurd hoeft te worden.

De functie Nu afspelen op de nieuwe Android-telefoons van Google scant bijvoorbeeld continu de omgeving op muziek. Zodat ze de titels kan bepalen van nummers die in de supermarkt worden afgespeeld of films die we bekijken. Dit zou niet mogelijk zijn met een puur cloudgebaseerde oplossing. in dat geval zouden gebruikers niet willen dat er een ​​constante 24/7 stream van hun audio-omgeving naar Google gestuurd zou worden. Met Edge computing is dit nu ineens wel mogelijk.

4. De opkomst van DataOps

Een laatste trend die we niet onvermeld willen laten op dit moment is de trend naar DataOps. De term is afgeleid van het DevOps-framework dat vaak wordt ingezet bij softwareontwikkeling.

DevOps is een proces waarin de ontwikkelingactiviteiten (Dev) gecombineerd worden met de reguliere en bedrijfsactiviteiten (Ops). Bij overdrachten van de ene naar de andere soort activiteit en van de ene naar de andere soort collega’s gaat er over het algemeen waarde verloren. Dit wordt bij DevOps voorkomen door intensieve samenwerking tussen de beide bedrijfsfuncties. Een toepassing van Leanprincipes.

Op een zelfde soort manier houdt DataOps zich bezig met de end-to-end datastroom door een organisatie. Ook DataOps is een Agile methode. Het doel is om de totale doorlooptijd van de data lifecycle te verminderen. DataOps zorgt voor een sterke samenwerking tussen de leden van een datateam, zoals de data scientists, data engineers, de analisten en de business users. Dit betekent dat obstakels die het nut of de toegankelijkheid van data beperken worden weggenomen.

En ook de inzet van “as-a-service” datatools van derden is een uiting van DataOps. De populariteit van “DataOps-as-a-service” -leveranciers zal toenemen. Dit betekent onder andere ook dat dit de toegangsdrempels voor kleine en startende organisaties met geweldige ideeën voor nieuwe datagestuurde diensten enorm zal verlagen. Ze hebben namelijk niet meer zelf de infrastructuur nodig  om die diensten te realiseren.

Al met al een viertal zeer interessante trends die van invloed zijn op hoe data en analyses in de toekomst worden gebruikt.

Meer weten?

Als je hulp wilt krijgen bij het ontwikkelen, inrichten en uitvoeren van data analytics oplossingen neem dan gerust contact met ons op.

Deze website maakt gebruik van cookies, onder andere om het gebruiksgemak te vergroten. Door op 'ACCEPT' te klikken, geef je toestemming voor het gebruik van cookies.