Apache Iceberg Fundamentals Training Cursus

Deze door een instructeur geleide live training (online of op locatie) is bedoeld voor datascientists en ingenieurs op intermediair niveau die Google Colab en Apache Spark willen gebruiken voor big data verwerking en analyse.

Aan het einde van deze training kunnen deelnemers:

• Een big data omgeving instellen met behulp van Google Colab en Spark.
• Grote datasets efficiënt verwerken en analyseren met Apache Spark.
• Big data visualiseren in een samenwerkingsomgeving.
• Apache Spark integreren met cloudgebaseerde hulpmiddelen.

Big data-analyse omvat het proces van het onderzoeken van grote hoeveelheden gevarieerde gegevenssets om correlaties, verborgen patronen en andere nuttige inzichten te ontdekken.

De gezondheidsindustrie heeft enorme hoeveelheden complexe heterogene medische en klinische gegevens. Het toepassen van big data-analyses op gezondheidsgegevens biedt een enorm potentieel voor het verkrijgen van inzichten voor het verbeteren van de gezondheidszorg. De enorme omvang van deze datasets vormt echter grote uitdagingen bij analyses en praktische toepassingen in een klinische omgeving.

In deze door een instructeur geleide, live training (op afstand), leren deelnemers hoe ze big data-analyses in gezondheid kunnen uitvoeren terwijl ze een reeks praktische live-laboefeningen doorlopen.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer big data-analysehulpmiddelen zoals Hadoop MapReduce en Spark
• Begrijp de kenmerken van medische gegevens
• Pas big data-technieken toe om met medische gegevens om te gaan
• Bestudeer big data-systemen en algoritmen in het kader van gezondheidstoepassingen

Publiek

• ontwikkelaars
• Data Scientists

Indeling van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen.

Notitie

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

De cursus is gericht op IT-specialisten die op zoek zijn naar een oplossing om grote gegevenssets op te slaan en te verwerken in een gedistribueerde systeemomgeving.

Cursusdoel:

Kennis opdoen over Hadoop clusteradministratie.

Deze instructeur-geleide, live training in Nederland (op locatie of op afstand) is gericht op systeembeheerders die willen leren hoe ze clusters binnen hun organisatie kunnen opzetten, implementeren en beheren.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Apache Hadoop.
• Begrijp de vier belangrijkste componenten in het Hadoop-ecosysteem: HDFS, MapReduce, YARN en Hadoop Common.
• Gebruik Hadoop Distributed File System (HDFS) om een cluster te schalen naar honderden of duizenden knooppunten.
• Stel HDFS in om te functioneren als opslagengine voor on-premise Spark-implementaties.
• Stel Spark in voor toegang tot alternatieve opslagoplossingen zoals Amazon S3 en NoSQL databasesystemen zoals Redis, Elasticsearch, Couchbase, Aerospike, enz.
• Voer administratieve taken uit zoals het inrichten, beheren, monitoren en beveiligen van een Apache Hadoop-cluster.

In deze instructor-led, live training in Nederland (op locatie of remote), leren deelnemers hoe ze verschillende Stream Processing frameworks kunnen installeren en integreren met bestaande big data opslagsystemen en gerelateerde softwaretoepassingen en microservices.

Tegen het einde van deze training zullen de deelnemers in staat zijn om:

• Diverse Stream Processing frameworks te installeren en configureren, zoals Spark Streaming en Kafka Streaming.
• Het meest geschikte framework voor de taak te begrijpen en selecteren.
• Gegevens continu, gelijktijdig en op een record-per-record manier te verwerken.
• Stream Processing oplossingen te integreren met bestaande databases, datawarehouses, datalakes, enz.
• De meest geschikte Stream Processing library te integreren met ondernemingsapplicaties en microservices.

Deze door een instructeur geleide, live training (online of ter plaatse) is bedoeld voor datawetenschappers die de SMACK-stack willen gebruiken om dataverwerkingsplatforms voor big data-oplossingen te bouwen.

Aan het einde van deze training kunnen de deelnemers:

• Een datapipeline-architectuur implementeren voor het verwerken van big data.
• Een clusterinfrastructuur ontwikkelen met Apache Mesos en Docker.
• Data analyseren met Spark en Scala.
• Ongestructureerde data beheren met Apache Cassandra.

Deze instructeur-geleide, live training in Nederland (op locatie of op afstand) is gericht op ingenieurs die een Apache Spark systeem willen opzetten en implementeren voor het verwerken van zeer grote hoeveelheden gegevens.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Apache Spark.
• Verwerk en analyseer snel zeer grote datasets.
• Begrijp het verschil tussen Apache Spark en Hadoop MapReduce en wanneer u welke moet gebruiken.
• Integreer Apache Spark met andere machine learning-tools.

Deze live training onder leiding van een instructeur in Nederland (online of op locatie) is bedoeld voor beginnende tot gemiddelde systeembeheerders die Spark-clusters willen implementeren, onderhouden en optimaliseren.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Apache Spark in verschillende omgevingen.
• Clusterresources beheren en Spark-toepassingen bewaken.
• Optimaliseer de prestaties van Spark-clusters.
• Implementeer beveiligingsmaatregelen en zorg voor een hoge beschikbaarheid.
• Veelvoorkomende problemen met Spark opsporen en oplossen.

De leercurve van Apache Spark begint traag en stijgt langzaam in het begin, het vereist veel moeite om de eerste resultaten te behalen. Deze cursus helpt u over het eerste moeilijke deel te springen. Na het volgen van deze cursus zullen de deelnemers de basis van Apache Spark begrijpen, ze zullen RDD duidelijk van DataFrame kunnen onderscheiden, ze zullen de Python- en Scala-API leren, ze zullen executors en taken begrijpen, enzovoort. Ook door de beste praktijken te volgen, richt deze cursus zich sterk op cloud-deployments, Databricks en AWS. De studenten zullen ook de verschillen tussen AWS EMR en AWS Glue begrijpen, een van de meest recente Spark-diensten van AWS.

AANWENDINGSGEBIED:

Data Engineer, DevOps, Data Scientist

DOEL:

In deze cursus wordt Apache Spark voorgesteld. De deelnemers leren hoe Spark past in het Big Data-ecosysteem en hoe Spark gebruikt kan worden voor gegevensanalyse. De cursus behandelt onder andere de Spark-shell voor interactieve gegevensanalyse, de interne werking van Spark, de Spark-API's, Spark SQL, Spark Streaming, machine learning en GraphX.

DOELGROEP:

Ontwikkelaars / Gegevensanalisten

Deze live training onder leiding van een instructeur in Nederland (online of ter plaatse) is bedoeld voor datawetenschappers en -ontwikkelaars die Spark NLP, gebouwd op Apache Spark, willen gebruiken om tekstverwerkingsmodellen en pijplijnen in natuurlijke taal te ontwikkelen, implementeren en schalen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Zet de benodigde ontwikkelomgeving op om NLP-pijplijnen te gaan bouwen met Spark NLP.
• Krijg inzicht in de functies, architectuur en voordelen van het gebruik van Spark NLP.
• Gebruik de vooraf getrainde modellen die beschikbaar zijn in Spark NLP om tekstverwerking te implementeren.
• Leer hoe u modellen Spark NLP bouwt, traint en schaalt voor projecten van productiekwaliteit.
• Pas classificatie-, inferentie- en sentimentanalyse toe op real-world gebruiksscenario's (klinische gegevens, inzichten in klantgedrag, enz.).

In deze door een instructeur geleide, live training in Nederland, leren deelnemers hoe ze Python en Spark samen kunnen gebruiken om big data te analyseren terwijl ze werken aan praktische oefeningen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Leer hoe u Spark kunt gebruiken met Python om Big Data te analyseren.
• Werk aan oefeningen die gevallen uit de echte wereld nabootsen.
• Gebruik verschillende tools en technieken voor big data-analyse met behulp van PySpark.

Deze live training in Nederland onder leiding van een instructeur (online of op locatie) is bedoeld voor ontwikkelaars die Spark, Hadoop en Python willen gebruiken en integreren om grote en complexe datasets te verwerken, analyseren en transformeren.

Aan het einde van deze training zijn de deelnemers in staat om:

• Zet de benodigde omgeving in om te beginnen met het verwerken van big data met Spark, Hadoop en Python.
• Krijg inzicht in de functies, kernonderdelen en architectuur van Spark en Hadoop.
• Leer hoe u Spark, Hadoop en Python kunt integreren voor de verwerking van big data.
• Verken de tools in het Spark-ecosysteem (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka en Flume).
• Bouw gezamenlijke filteraanbevelingssystemen die vergelijkbaar zijn met Netflix, YouTube, Amazon, Spotify en Google.
• Gebruik Apache Mahout om machine learning-algoritmen te schalen.

Spark SQL is de module van Apache Spark voor het werken met gestructureerde en ongestructureerde gegevens. Spark SQL geeft informatie over de structuur van de gegevens en de berekeningen die worden uitgevoerd. Deze informatie kan worden gebruikt om optimalisaties uit te voeren. Twee veel voorkomende toepassingen voor Spark SQL zijn:
- om SQL query's uit te voeren.
- om gegevens van een bestaande Hive installatie te lezen.

In deze door een instructeur geleide, live training (op locatie of op afstand), leren deelnemers hoe ze verschillende soorten gegevenssets kunnen analyseren met Spark SQL .

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Spark SQL .
• Voer gegevensanalyse uit met Spark SQL .
• Query-gegevenssets in verschillende indelingen.
• Visualiseer gegevens en queryresultaten.

Indeling van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefenen.
• Praktische implementatie in een live-labomgeving.

Cursusaanpassingsopties

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Stratio is een datacentrisch platform dat big data, AI en governance integreert in één oplossing. De Rocket- en Intelligence-modules maken snelle data-exploratie, transformatie en geavanceerde analyse mogelijk in bedrijfsumgevingen.

Deze door instructeurs geleide, live-training (online of op locatie) is gericht op geavanceerde data-professionals die de Rocket- en Intelligence-modules in Stratio effectief willen gebruiken met PySpark, met focus op lusstructuren, gebruikersgedefinieerde functies en geavanceerde datalogica.

Aan het einde van deze training zullen de deelnemers in staat zijn om:

• Te navigeren en te werken binnen het Stratio-platform met behulp van de Rocket- en Intelligence-modules.
• PySpark toe te passen in de context van data-inname, transformatie en analyse.
• Lussen en conditionele logica te gebruiken om data-workflows en feature-engineeringtaken te besturen.
• Gebruikersgedefinieerde functies (UDFs) te creëren en beheren voor herbruikbare data-operaties in PySpark.

Formaat van de cursus

• Interactieve colleges en discussies.
• Veel oefeningen en praktijk.
• Hands-on implementatie in een live-laboratoriumomgeving.

Opties voor cursusaanpassing

• Voor het aanvragen van een aangepaste training voor deze cursus, neem dan contact met ons op om dit te regelen.