Python, Spark, and Hadoop for Big Data Training Cursus

Deze cursus is bedoeld voor ontwikkelaars en datawetenschappers die AI willen begrijpen en implementeren in hun toepassingen. Er wordt speciale aandacht besteed aan data-analyse, gedistribueerde kunstmatige intelligentie en natuurlijke taalverwerking.

Big data-analyse omvat het proces van het onderzoeken van grote hoeveelheden gevarieerde gegevenssets om correlaties, verborgen patronen en andere nuttige inzichten te ontdekken.

De gezondheidsindustrie heeft enorme hoeveelheden complexe heterogene medische en klinische gegevens. Het toepassen van big data-analyses op gezondheidsgegevens biedt een enorm potentieel voor het verkrijgen van inzichten voor het verbeteren van de gezondheidszorg. De enorme omvang van deze datasets vormt echter grote uitdagingen bij analyses en praktische toepassingen in een klinische omgeving.

In deze door een instructeur geleide, live training (op afstand), leren deelnemers hoe ze big data-analyses in gezondheid kunnen uitvoeren terwijl ze een reeks praktische live-laboefeningen doorlopen.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer big data-analysehulpmiddelen zoals Hadoop MapReduce en Spark
• Begrijp de kenmerken van medische gegevens
• Pas big data-technieken toe om met medische gegevens om te gaan
• Bestudeer big data-systemen en algoritmen in het kader van gezondheidstoepassingen

Publiek

• ontwikkelaars
• Data Scientists

Indeling van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen.

Notitie

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

In deze door een instructeur geleide, live training in Nederland, leren deelnemers over het technologieaanbod en de implementatiebenaderingen voor het verwerken van grafiekgegevens. Het doel is om objecten uit de echte wereld, hun kenmerken en relaties te identificeren, deze relaties vervolgens te modelleren en ze als gegevens te verwerken met behulp van een Graph Computing (ook bekend als Graph Analytics) benadering. We beginnen met een breed overzicht en beperken ons tot specifieke tools terwijl we een reeks casestudy's, hands-on oefeningen en live implementaties doorlopen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp hoe grafiekgegevens worden bewaard en doorkruist.
• Selecteer het beste framework voor een bepaalde taak (van graph databases tot batch processing frameworks).
• Implementeer Hadoop, Spark, GraphX en Pregel om grafiekberekeningen op veel machines parallel uit te voeren.
• Bekijk real-world big data-problemen in termen van grafieken, processen en traversals.

Deze live training onder leiding van een instructeur in Nederland (online of ter plaatse) introduceert Hortonworks Data Platform (HDP) en leidt deelnemers door de implementatie van de Spark + Hadoop-oplossing.

Aan het einde van deze training zijn de deelnemers in staat om:

• Gebruik Hortonworks om op grote schaal betrouwbaar Hadoop uit te voeren.
• Integreer de beveiligings-, governance- en operationele mogelijkheden van Hadoop met de flexibele analytische workflows van Spark.
• Gebruik Hortonworks om elk van de componenten in een Spark-project te onderzoeken, te valideren, te certificeren en te ondersteunen.
• Verwerk verschillende soorten gegevens, waaronder gestructureerde, ongestructureerde, in-beweging en stilstaande gegevens.

Deze cursus behandelt het gebruik van Hive SQL taal (AKA: Hive HQL, SQL on Hive , Hive QL) voor mensen die gegevens uit Hive

Cloudera Impala is een open source massively parallel processing (MPP) SQL query engine voor Apache Hadoop clusters.

Impala stelt gebruikers in staat om SQL query's met lage latentie uit te voeren op gegevens die zijn opgeslagen in Hadoop Distributed File System en Apache Hbase zonder dat gegevensverplaatsing of -transformatie nodig is.

Audiëntie

Deze cursus is bedoeld voor analisten en datawetenschappers die analyses uitvoeren op gegevens die zijn opgeslagen in Hadoop via Business Intelligence of SQL tools.

Na afloop van deze cursus zijn de deelnemers in staat om

• Haal zinvolle informatie uit Hadoop clusters met Impala.
• Schrijf specifieke programma's om Business Intelligentie in Impala SQL Dialect te vergemakkelijken.
• Problemen oplossen Impala.

In deze door een instructeur geleide, live training in Nederland (op locatie of op afstand), leren deelnemers hoe ze verschillende Stream Processing raamwerken kunnen opzetten en integreren met bestaande big data-opslagsystemen en gerelateerde softwareapplicaties en microservices.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming.
• Begrijp en selecteer het meest geschikte raamwerk voor de taak.
• Verwerken van gegevens continu, gelijktijdig en record voor record.
• Integreer Stream Processing oplossingen met bestaande databases, datawarehouses, datameren, enz.
• Integreer de meest geschikte bibliotheek voor streamverwerking met bedrijfsapplicaties en microservices.

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op datawetenschappers die de SMACK-stack willen gebruiken om dataverwerkingsplatforms voor big data-oplossingen te bouwen.

Aan het einde van deze training kunnen deelnemers:

• Implementeer een datapijplijnarchitectuur voor het verwerken van big data.
• Ontwikkel een clusterinfrastructuur met Apache Mesos en Docker.
• Analyseer gegevens met Spark en Scala.
• Beheer ongestructureerde gegevens met Apache Cassandra.

Deze instructeur-geleide, live training in Nederland (op locatie of op afstand) is gericht op ingenieurs die een Apache Spark systeem willen opzetten en implementeren voor het verwerken van zeer grote hoeveelheden gegevens.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Apache Spark.
• Verwerk en analyseer snel zeer grote datasets.
• Begrijp het verschil tussen Apache Spark en Hadoop MapReduce en wanneer u welke moet gebruiken.
• Integreer Apache Spark met andere machine learning-tools.

Apache Spark leercurve van Apache Spark neemt in het begin langzaam toe, het kost veel inspanning om het eerste rendement te behalen. Deze cursus is bedoeld om door het eerste moeilijke gedeelte te springen. Na het volgen van deze cursus zullen de deelnemers de basisprincipes van Apache Spark begrijpen, ze zullen RDD duidelijk onderscheiden van DataFrame, ze zullen Python en Scala API leren kennen, ze zullen uitvoerders en taken begrijpen, etc. Ook volgens de best practices richt deze cursus zich sterk op cloud-implementatie, Databricks en AWS. De studenten zullen ook de verschillen begrijpen tussen AWS EMR en AWS Glue, een van de nieuwste Spark-services van AWS.

PUBLIEK:

Data Engineer, DevOps , Data Scientist

DOELSTELLING:

Deze cursus introduceert Apache Spark . De studenten leren hoe Spark past in het Big Data ecosysteem en hoe Spark gebruikt kan worden voor data-analyse. De cursus behandelt Spark shell voor interactieve gegevensanalyse, Spark internals, Spark API's, Spark SQL , Spark streaming en machine learning en graphX.

PUBLIEK :

Ontwikkelaars / gegevensanalisten

In deze door een instructeur geleide, live training in Nederland, leren deelnemers hoe ze Python en Spark samen kunnen gebruiken om big data te analyseren terwijl ze werken aan praktische oefeningen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Leer hoe u Spark kunt gebruiken met Python om Big Data te analyseren.
• Werk aan oefeningen die gevallen uit de echte wereld nabootsen.
• Gebruik verschillende tools en technieken voor big data-analyse met behulp van PySpark.

Spark SQL is de module van Apache Spark voor het werken met gestructureerde en ongestructureerde gegevens. Spark SQL geeft informatie over de structuur van de gegevens en de berekeningen die worden uitgevoerd. Deze informatie kan worden gebruikt om optimalisaties uit te voeren. Twee veel voorkomende toepassingen voor Spark SQL zijn:
- om SQL query's uit te voeren.
- om gegevens van een bestaande Hive installatie te lezen.

In deze door een instructeur geleide, live training (op locatie of op afstand), leren deelnemers hoe ze verschillende soorten gegevenssets kunnen analyseren met Spark SQL .

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Spark SQL .
• Voer gegevensanalyse uit met Spark SQL .
• Query-gegevenssets in verschillende indelingen.
• Visualiseer gegevens en queryresultaten.

Indeling van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefenen.
• Praktische implementatie in een live-labomgeving.

Cursusaanpassingsopties

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

MLlib is Spark's machine learning (ML) bibliotheek. Het doel is om praktische machine learning schaalbaar en eenvoudig te maken. Het bestaat uit algemene leeralgoritmen en hulpprogramma's, waaronder classificatie, regressie, clustering, collaboratieve filtering, vermindering van de dimensionaliteit, evenals optimalisatieprimitieven op een lager niveau en pijplijn-API's op een hoger niveau.

Het is verdeeld in twee pakketten:

• spark.mllib bevat de originele API gebouwd bovenop RDD's.

• spark.ml biedt een API op een hoger niveau gebouwd bovenop DataFrames voor het construeren van ML-pijpleidingen.

Publiek

Deze cursus is bedoeld voor ingenieurs en ontwikkelaars die een ingebouwde machinebibliotheek voor Apache Spark