Datastreaming en realtimeverwerking van gegevens Training Cursus

Deze door een instructeur geleide training in Nederland (online of op locatie) is bedoeld voor gevorderde data-professionals die hun dataverwerkingsworkflows willen optimaliseren, de integriteit van data willen waarborgen en robuuste datalakehouse-oplossingen willen implementeren die goed kunnen omgaan met de complexiteit van hedendaagse big data-toepassingen.

Na afloop van deze training zullen de deelnemers in staat zijn om:

• De architectuur van Iceberg grondig te begrijpen, inclusief het beheer van metadata en de opbouw van bestanden.
• Iceberg zo in te stellen dat het optimaal presteert onder verschillende omstandigheden, evenals het integreren ervan met diverse dataverwerkingsengines.
• Grote Iceberg-tabellen te beheren, complexe schemawijzigingen door te voeren en veranderingen in partities af te handelen.
• Technieken onder de knie te krijgen waarmee de queryperformance en efficiëntie van gegevensscanning bij grote datasets verbeterd kunnen worden.
• Mechanismen te implementeren die dataconsistentie waarborgen, transactiegaranties regelen en fouten in gedistribueerde omgevingen afhandelen.

Deze door een instructeur geleide live-training in Nederland (online of op locatie) richt zich op beginnende data-professionals die de benodigde kennis en vaardigheden willen verwerven om Apache Iceberg effectief te gebruiken bij het beheren van grote datasets, het waarborgen van datakwaliteit en het optimaliseren van dataverwerkingsworkflows.

Aan het einde van deze training zullen de deelnemers in staat zijn om:

• De architectuur, kenmerken en voordelen van Apache Iceberg grondig te begrijpen.
• Meer te leren over tabelformaten, partitionering, schema-evolutie en de mogelijkheid tot time travel.
• Apache Iceberg te installeren en te configureren in verschillende omgevingen.
• Iceberg-tabellen aan te maken, te beheren en te wijzigen.
• Het proces van migreren van data uit andere tabelformaten naar Iceberg te begrijpen.

Deze praktijkgerichte training onder begeleiding van een docent (online of op locatie) richt zich op datawetenschappers en -engineers met een gemiddelde kennisgraad die Google Colab en Apache Spark willen gebruiken voor big data-verwerking en analyse.

Na afloop van deze training zullen deelnemers in staat zijn om:

• Een big data-omgeving op te zetten met behulp van Google Colab en Spark.
• Grote datasets efficiënt te verwerken en te analyseren met Apache Spark.
• Big data visueel weer te geven in een collaboratieve omgeving.
• Apache Spark te integreren met cloudgebaseerde hulpmiddelen.

Deze instructeur-gestuurde, live training (online of ter plaatse) is gericht op data engineers, data analisten en data professionals die Databricks en PySpark willen gebruiken om schaalbare datapipelines te bouwen en bestaande SQL-workflows te migreren.

Deze training biedt een praktische introductie tot het ontwikkelen van schaalbare dataprocessings- en Machine Learning-workflows met behulp van PySpark. Deelnemers leren hoe Apache Spark functioneert binnen moderne big data-omgevingen en hoe ze grote datasets efficiënt verwerken aan de hand van principes van gedistribueerde berekeningen.

Deze driedaagse praktische cursus richt zich op het bouwen en optimaliseren van efficiënte dataverwerkingsworkloads met PySpark, Pandas en Polars in Kubernetes-gebaseerde omgevingen.

Deelnemers krijgen een praktisch inzicht in hoe Spark-toepassingen op Kubernetes worden uitgevoerd en hoe beslissingen over configuratie op toepassingsniveau de prestaties, schaalbaarheid, bronverbruik en kosten beïnvloeden. De cursus dekt belangrijke optimalisatiegebieden, waaronder executorgrootte, geheugentoewijzing, dynamische toewijzing, partitioneringsstrategieën, shuffle-gedrag, het probleem van kleine bestanden en efficiënte Parquet-verwerking.

De cursus behandelt ook veelvoorkomende uitdagingen bij het werken met Pandas, zoals geheugenbeperkingen en out-of-memory-fouten, en introduceert Polars als een hoogwaardig alternatief voor geselecteerde dataverwerkingsworkloads. Tijdens praktische oefeningen diagnosticeren deelnemers prestatie- en geheugenproblemen, vergelijken ze verschillende configuratiestrategieën en passen ze optimalisatietechnieken toe op realistische ETL- en machinelearning-scenario's.

De nadruk ligt tijdens de hele cursus op praktisch beslissen: begrijpen hoe knelpunten te identificeren zijn, het juiste tool te selecteren, Spark efficiënt te configureren en de balans te vinden tussen prestaties, infrastructuurbronverbruik en kosten.

Deze door instructeurs geleide live-training in Nederland (online of op locatie) richt zich op engineers die Apache Spark willen implementeren voor het verwerken van zeer grote hoeveelheden data.

Aan het einde van deze training zullen de deelnemers in staat zijn om:

• Apache Spark te installeren en configureren.
• Zeer grote datasets snel te verwerken en te analyseren.
• Het verschil tussen Apache Spark en Hadoop MapReduce te begrijpen, evenals wanneer je het een of het ander gebruikt.
• Apache Spark te integreren met andere machine learning-tools.

Deze door een instructeur geleide, live training in Nederland (online of ter plaatse) is bedoeld voor systeembeheerders met een beginnend tot intermediair niveau die Spark-clusters willen implementeren, onderhouden en optimaliseren.

Na afloop van deze training kunnen deelnemers:

• Apache Spark installeren en configureren in diverse omgevingen.
• Clusterbronnen beheren en Spark-toepassingen monitoren.
• De prestaties van Spark-clusters optimaliseren.
• Beveiligingsmaatregelen implementeren en hoge beschikbaarheid garanderen.
• Fouten opsporen en algemene Spark-problemen oplossen.

In deze door een instructor geleide live training in Nederland, leren deelnemers hoe ze Python en Spark samen gebruiken om Big Data te analyseren, terwijl ze aan de hand van praktische oefeningen werken.

Aan het einde van deze training zijn deelnemers in staat om:

• Te leren hoe Spark met Python wordt gebruikt voor het analyseren van Big Data.
• Te werken aan oefeningen die echte situaties simuleren.
• Onderscheiden tools en technieken te gebruiken voor big data-analyse met behulp van PySpark.

Deze begeleide, live-training in Nederland (online of op locatie) richt zich op ontwikkelaars die Spark, Hadoop en Python willen gebruiken om grote en complexe datasets te verwerken, analyseren en transformeren.

Aan het einde van deze training zullen deelnemers in staat zijn tot het volgende:

• Het instellen van de benodigde omgeving voor het verwerken van big data met Spark, Hadoop en Python.
• De kenmerken, kernonderdelen en architectuur van Spark en Hadoop begrijpen.
• Leren hoe Spark, Hadoop en Python te integreren zijn voor big data-verwerking.
• De tools binnen het Spark-ecosysteem verkennen (Spark MlLib, Spark Streaming, Kafka, Sqoop, en Flume).
• Samenwerkingsgerichte aanbevelingssystemen ontwikkelen, vergelijkbaar met die van Netflix, YouTube, Amazon, Spotify en Google.
• Apache Mahout gebruiken om machine learning-algoritmen te schalen.