Apache Spark Training Courses

Python is een schaalbare, flexibele en veelgebruikte programmeringsspraak voor data wetenschap en machine learning. Spark is een gegevensverwerkingsmachine die wordt gebruikt bij het zoeken, analyseren en transformeren van grote gegevens, terwijl Hadoop een software bibliotheek framework is voor grootschalige gegevensopslag en verwerking. Deze instructeur geleide, live training (online of on-site) is gericht op ontwikkelaars die Spark, Hadoop en Python willen gebruiken en integreren om grote en complexe data sets te verwerken, te analyseren en te transformeren. Aan het einde van deze training zullen de deelnemers in staat zijn:

Stel de nodige omgeving op om te beginnen met het verwerken van grote gegevens met Spark, Hadoop, en Python. Begrijp de kenmerken, kerncomponenten en architectuur van Spark en Hadoop. Leer hoe je Spark, Hadoop, en Python kunt integreren voor big data verwerking. Ontdek de tools in het Spark-ecosysteem (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka en Flume). Maak samenwerkingsfilter aanbevelingssystemen vergelijkbaar met Netflix, YouTube, Amazon, Spotify en Google. Gebruik Apache Mahout om machine learning-algoritmen te scalen.

Format van de cursus

Interactieve lezingen en discussie. Veel oefeningen en oefeningen. Hand-on implementatie in een live-lab-omgeving.

Cursus aanpassingsopties

Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

Python is een programmeertaal op hoog niveau die bekend staat om zijn duidelijke syntaxis en leesbaarheid van code. Spark is een gegevensverwerkingsengine die wordt gebruikt voor het opvragen, analyseren en transformeren van big data. PySpark kunnen gebruikers Spark koppelen met Python . In deze door een instructeur geleide live training leren deelnemers hoe ze Python en Spark samen kunnen gebruiken om big data te analyseren terwijl ze aan hands-on oefeningen werken. Aan het einde van deze training kunnen deelnemers:

• Leer hoe u Spark met Python kunt gebruiken om Big Data te analyseren.
• Werk aan oefeningen die echte omstandigheden nabootsen.
• Gebruik verschillende tools en technieken voor big data-analyse met behulp van PySpark .

Formaat van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen

Alluxio is een open-source virtueel gedistribueerd opslagssysteem dat verschillende opslagssystemen verenigt en toepassingen in staat stelt om met gegevens op geheugen snelheid te communiceren. Het wordt gebruikt door bedrijven zoals Intel, Baidu en Alibaba. In deze instructeur geleide, live training, zullen de deelnemers leren hoe te gebruiken Alluxio om verschillende computationele kaders te branden met opslagssystemen en efficiënt te beheren multi-petabyte scale gegevens terwijl ze door de creatie van een applicatie met Alluxio stappen. Aan het einde van deze training zullen de deelnemers in staat zijn:

Ontwikkelen van een applicatie met Alluxio Connect big data-systemen en applicaties terwijl één naamruimte wordt bewaard Efficiënt waarde extraheren van big data in elk opslagformaat Verbetering van de werkbelastingprestaties Ontwikkelen en beheren Alluxio afzonderlijk of geclassificeerd

Het publiek

Data wetenschapper Ontwikkelaar Systemadministratie

Format van de cursus

Deel lezing, deel discussie, oefeningen en zware praktijken

Big data-analyse omvat het proces van het onderzoeken van grote hoeveelheden gevarieerde gegevenssets om correlaties, verborgen patronen en andere nuttige inzichten te ontdekken. De gezondheidsindustrie heeft enorme hoeveelheden complexe heterogene medische en klinische gegevens. Het toepassen van big data-analyses op gezondheidsgegevens biedt een enorm potentieel voor het verkrijgen van inzichten voor het verbeteren van de gezondheidszorg. De enorme omvang van deze datasets vormt echter grote uitdagingen bij analyses en praktische toepassingen in een klinische omgeving. In deze door een instructeur geleide, live training (op afstand), leren deelnemers hoe ze big data-analyses in gezondheid kunnen uitvoeren terwijl ze een reeks praktische live-laboefeningen doorlopen. Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer big data-analysehulpmiddelen zoals Hadoop MapReduce en Spark
• Begrijp de kenmerken van medische gegevens
• Pas big data-technieken toe om met medische gegevens om te gaan
• Bestudeer big data-systemen en algoritmen in het kader van gezondheidstoepassingen

Publiek

• ontwikkelaars
• Data Scientists

Indeling van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen.

Notitie

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Apache Hadoop is een populaire gegevensverwerkingskader voor het verwerken van grote dataset over veel computers. Deze instructeur geleide, live training (online of on-site) is gericht op systeemadministratoren die willen leren hoe te installeren, implementeren en beheren Hadoop clusters binnen hun organisatie. Aan het einde van deze training zullen de deelnemers in staat zijn:

Installeren en configureren van Apache Hadoop. Begrijp de vier belangrijke componenten van het Hadoop ecosysteem: HDFS, MapReduce, YARN en Hadoop Common. Gebruik het Distributed File System (HDFS) om een cluster te scalen tot honderden of duizenden knooppunten.   Installeer HDFS om te werken als opslagmachine voor on-premise Spark deployments. Installeer Spark om toegang te krijgen tot alternatieve opslagoplossingen zoals Amazon S3 en NoSQL databasesystemen zoals Redis, Elasticsearch, Couchbase, Aerospike, etc. Het uitvoeren van administratieve taken zoals het verstrekken, beheren, monitoren en beveiligen van een Apache Hadoop cluster.

Format van de cursus

Interactieve lezingen en discussie. Veel oefeningen en oefeningen. Hand-on implementatie in een live-lab-omgeving.

Cursus aanpassingsopties

Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

Hortonworks Data Platform (HDP) is een open-source Apache Hadoop ondersteuningsplatform dat een stabiele basis biedt voor het ontwikkelen van big data-oplossingen op het Apache Hadoop ecosysteem. Deze instructeur-geleide, live training (op locatie of op afstand) introduceert Hortonworks Data Platform (HDP) en Hortonworks Data Platform (HDP) deelnemers door de implementatie van de Spark + Hadoop oplossing. Aan het einde van deze training kunnen deelnemers:

• Gebruik Hortonworks om Hadoop op grote schaal betrouwbaar te runnen.
• Breng de capaciteiten van Hadoop van beveiliging, beheer en operaties samen met de agile analytische workflows van Spark.
• Gebruik Hortonworks om alle componenten in een Spark-project te onderzoeken, valideren, certificeren en ondersteunen.
• Verwerk verschillende soorten gegevens, waaronder gestructureerd, ongestructureerd, in beweging en in rust.

Indeling van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefenen.
• Praktische implementatie in een live-labomgeving.

Cursusaanpassingsopties

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Stream Processing verwijst naar de realtime verwerking van "gegevens in beweging", dat wil zeggen het uitvoeren van berekeningen op gegevens terwijl deze worden ontvangen. Dergelijke gegevens worden gelezen als continue stromen van gegevensbronnen zoals sensorgebeurtenissen, website-gebruikersactiviteit, financiële transacties, creditcardbewegingen, klikstromen, enz. Stream Processing frameworks kunnen grote hoeveelheden inkomende gegevens lezen en bieden vrijwel onmiddellijk waardevolle inzichten. In deze door een instructeur geleide, live training (op locatie of op afstand), leren deelnemers hoe ze verschillende Stream Processing frameworks kunnen opzetten en integreren met bestaande big data-opslagsystemen en gerelateerde softwareapplicaties en microservices. Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming.
• Begrijp en selecteer het meest geschikte kader voor de taak.
• Verwerking van gegevens continu, gelijktijdig en op recordniveau.
• Integreer Stream Processing oplossingen met bestaande databases, datawarehouses, datameren, etc.
• Integreer de meest geschikte stroomverwerkingsbibliotheek met bedrijfstoepassingen en microservices.

Publiek

• ontwikkelaars
• Software architecten

Indeling van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen

Notes

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Magellan is een open-source gedistribueerde uitvoeringssysteem voor geospatiale analyse van big data. Geïmplementeerd boven Apache Spark, breidt het Spark SQL uit en biedt een relatieve abstractie voor geospatiale analyses. Deze instructeur geleide, live training introduceert de concepten en benaderingen voor de implementatie van geospatiale analyses en wandelt deelnemers door middel van de creatie van een predictieve analyse toepassing met behulp van Magellan op Spark. Aan het einde van deze training zullen de deelnemers in staat zijn:

Efficiënt zoeken, parsen en deelgenomen geospatiale dataset op schaal Implementatie van geospatiale gegevens in business intelligence en predictive analytics toepassingen Gebruik ruimtecontext om de capaciteiten van mobiele apparaten, sensoren, logs en draagbare apparaten uit te breiden

Format van de cursus

Interactieve lezingen en discussie. Veel oefeningen en oefeningen. Hand-on implementatie in een live-lab-omgeving.

Cursus aanpassingsopties

Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

Apache Spark is een gedistribueerde verwerkingsmachine voor het analyseren van zeer grote datasets. Het kan gegevens in batches en in real-time verwerken, evenals machine learning, ad-hoc queries en grafische verwerking uitvoeren. .NET voor Apache Spark is een gratis, open-source en cross-platform big data analytics framework dat toepassingen ondersteunt die in C# of F# zijn geschreven. Deze instructeur geleide, live training (online of onsite) is gericht op ontwikkelaars die Big Data-analyse willen uitvoeren met behulp van Apache Spark in hun.NET-toepassingen. Aan het einde van deze training zullen de deelnemers in staat zijn:

Installeer en configureren Apache Spark. Begrijp hoe.NET Spark APIs implementeert zodat ze van een.NET-applicatie kunnen worden toegankelijk. Ontwikkel gegevensverwerking toepassingen met behulp van C# of F#, in staat om gegevens sets waarvan de grootte wordt gemeten in terabytes en pedabytes. Ontwikkelen van machine learning functies voor een.NET-applicatie met behulp van Apache Spark mogelijkheden. Uitvoeren van exploratoire analyse met behulp van SQL queries op big data sets.

Format van de cursus

Interactieve lezingen en discussie. Veel oefeningen en oefeningen. Hand-on implementatie in een live-lab-omgeving.

Cursus aanpassingsopties

Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

SMACK is een verzameling van gegevensplatformsoftware, namelijk Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, en Apache Kafka. Met behulp van de SMACK stack kunnen gebruikers gegevensverwerkingsplatforms creëren en scalen. Deze instructeur geleide, live training (online of on-site) is gericht op data wetenschappers die de SMACK stack willen gebruiken om gegevensverwerkingsplatforms voor big data oplossingen te bouwen. Aan het einde van deze training zullen de deelnemers in staat zijn:

Het implementeren van een data pipeline architectuur voor het verwerken van grote gegevens. Ontwikkel een clusterinfrastructuur met Apache Mesos en Docker. Analyseer gegevens met Spark en Scala. Het beheer van onstructureerde gegevens met Apache Cassandra.

Format van de cursus

Interactieve lezingen en discussie. Veel oefeningen en oefeningen. Hand-on implementatie in een live-lab-omgeving.

Cursus aanpassingsopties

Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

Apache Spark is een analytische motor ontworpen om gegevens over een cluster te distribueren om deze in parallel te verwerken. Het bevat modules voor streaming, SQL, machine learning en grafische verwerking. Deze instructeur geleide, live training (online of on-site) is gericht op ingenieurs die een systeem willen implementeren voor het verwerken van zeer grote hoeveelheden gegevens. Aan het einde van deze training zullen de deelnemers in staat zijn:

Installeer en configureren Apache Spark. Begrijp het verschil tussen Apache Spark en Hadoop MapReduce en wanneer te gebruiken. Snel lezen in  en analyseren zeer grote data sets. Integreren Apache Spark met andere machine learning tools.

Format van de cursus

Interactieve lezingen en discussie. Veel oefeningen en oefeningen. Hand-on implementatie in een live-lab-omgeving.

Cursus aanpassingsopties

Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

Apache Spark leercurve van Apache Spark neemt in het begin langzaam toe, het kost veel inspanning om het eerste rendement te behalen. Deze cursus is bedoeld om door het eerste moeilijke gedeelte te springen. Na het volgen van deze cursus zullen de deelnemers de basisprincipes van Apache Spark begrijpen, ze zullen RDD duidelijk onderscheiden van DataFrame, ze zullen Python en Scala API leren kennen, ze zullen uitvoerders en taken begrijpen, etc. Ook volgens de best practices richt deze cursus zich sterk op cloud-implementatie, Databricks en AWS. De studenten zullen ook de verschillen begrijpen tussen AWS EMR en AWS Glue, een van de nieuwste Spark-services van AWS. PUBLIEK: Data Engineer, DevOps , Data Scientist

DOELSTELLING: Deze cursus introduceert Apache Spark . De studenten leren hoe Spark past in het Big Data ecosysteem en hoe Spark gebruikt kan worden voor data-analyse. De cursus behandelt Spark shell voor interactieve gegevensanalyse, Spark internals, Spark API's, Spark SQL , Spark streaming en machine learning en graphX. PUBLIEK : Ontwikkelaars / gegevensanalisten

Spark NLP is an open source library, built on Apache Spark, for natural language processing with Python, Java, and Scala. It is widely used for enterprise and industry verticals, such as healthcare, finance, life science, and recruiting. This instructor-led, live training (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines. By the end of this training, participants will be able to:

• Set up the necessary development environment to start building NLP pipelines with Spark NLP.
• Understand the features, architecture, and benefits of using Spark NLP.
• Use the pre-trained models available in Spark NLP to implement text processing.
• Learn how to build, train, and scale Spark NLP models for production-grade projects.
• Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Scala is een verkorte versie van Java voor grootschalige functionele en objectgeoriënteerde programmering. Apache Spark Streaming is een uitgebreid onderdeel van de Spark API voor het verwerken van big data-sets als realtime streams. Spark Streaming en Scala zorgen samen voor het streamen van big data. Deze instructeur-geleide, live training (op locatie of op afstand) is gericht op software-ingenieurs die big data willen streamen met Spark Streaming en Scala . Aan het einde van deze training kunnen deelnemers:

• Maak Spark-applicaties met de Scala programmeertaal.
• Gebruik Spark Streaming om continue gegevensstromen te verwerken.
• Verwerk realtime gegevensstromen met Spark Streaming.

Indeling van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefenen.
• Praktische implementatie in een live-labomgeving.

Cursusaanpassingsopties

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Spark SQL is de module van Apache Spark voor het werken met gestructureerde en ongestructureerde gegevens. Spark SQL geeft informatie over de structuur van de gegevens en de berekeningen die worden uitgevoerd. Deze informatie kan worden gebruikt om optimalisaties uit te voeren. Twee veel voorkomende toepassingen voor Spark SQL zijn:
- om SQL query's uit te voeren.
- om gegevens van een bestaande Hive installatie te lezen. In deze door een instructeur geleide, live training (op locatie of op afstand), leren deelnemers hoe ze verschillende soorten gegevenssets kunnen analyseren met Spark SQL . Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Spark SQL .
• Voer gegevensanalyse uit met Spark SQL .
• Query-gegevenssets in verschillende indelingen.
• Visualiseer gegevens en queryresultaten.

Indeling van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefenen.
• Praktische implementatie in een live-labomgeving.

Cursusaanpassingsopties

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

MLlib is Spark's machine learning (ML) bibliotheek. Het doel is om praktische machine learning schaalbaar en eenvoudig te maken. Het bestaat uit algemene leeralgoritmen en hulpprogramma's, waaronder classificatie, regressie, clustering, collaboratieve filtering, vermindering van de dimensionaliteit, evenals optimalisatieprimitieven op een lager niveau en pijplijn-API's op een hoger niveau. Het is verdeeld in twee pakketten:

• spark.mllib bevat de originele API gebouwd bovenop RDD's.
• spark.ml biedt een API op een hoger niveau gebouwd bovenop DataFrames voor het construeren van ML-pijpleidingen.

Publiek Deze cursus is bedoeld voor ingenieurs en ontwikkelaars die een ingebouwde machinebibliotheek voor Apache Spark

Veel echte problemen kunnen in grafieken worden beschreven. Bijvoorbeeld de webgrafiek, de sociale netwerkgrafiek, de treinnetwerkgrafiek en de taalgrafiek. Deze grafieken zijn meestal extreem groot; om ze te verwerken is een gespecialiseerde set tools en processen vereist - deze tools en processen kunnen Graph Computing (ook wel Graph Analytics genoemd). In deze door een instructeur geleide, live training leren deelnemers over het technologische aanbod en de implementatiebenaderingen voor het verwerken van grafische gegevens. Het doel is om objecten uit de praktijk, hun kenmerken en relaties te identificeren, vervolgens deze relaties te modelleren en ze als gegevens te verwerken met behulp van een Graph Computing aanpak (ook wel Graph Analytics genoemd). We beginnen met een breed overzicht en gaan dieper in op specifieke tools terwijl we een reeks casestudy's, praktische oefeningen en live implementaties doorlopen. Aan het einde van deze training kunnen deelnemers:

• Begrijp hoe grafische gegevens worden bewaard en doorlopen.
• Selecteer het beste framework voor een bepaalde taak (van grafische databases tot batch-processing frameworks).
• Implementeer Hadoop , Spark, GraphX en Pregel om graph computing uit te voeren op vele machines parallel.
• Bekijk real-world big data-problemen in termen van grafieken, processen en traversals.

Formaat van de cursus

• Deelcollege, deelbespreking, oefeningen en zware praktijkoefeningen