Course Outline
Introductie
Scala Programming Diepgaand onderzoek
- Syntaxis en structuur
- Debietregeling en functies
Spark-internals
- Veerkrachtige gedistribueerde datasets (RDD)
- Spark-script naar grafiek naar cluster
Overzicht van Spark Streaming
- Streaming architectuur
- Intervallen in streaming
- Fouttolerantie
Voorbereiding van de ontwikkelingsomgeving
- Installeren en configureren Apache Spark
- De Scala IDE installeren en configureren
- JDK installeren en configureren
Spark Streaming Beginner tot gevorderd
- Werken met sleutel/waarde RDD's
- RDD's filteren
- Spark-scripts verbeteren met reguliere expressies
- Gegevens delen op een cluster
- Werken met netwerkdatasets
- Implementatie van BFS-algoritmen
- Scripts voor Spark-stuurprogramma's maken
- Tracking in real-time met scripts
- Schrijven van doorlopende applicaties
- Lineaire regressie streamen
- Spark Machine Learning Library gebruiken
Vonk en clusters
- Afhankelijkheden en Spark-scripts bundelen met behulp van het SBT-hulpprogramma
- EPD gebruiken voor het illustreren van clusters
- Optimaliseren door RDD's te partitioneren
- Spark-logboeken gebruiken
Integratie in Spark Streaming
- Integreren Apache Kafka en werken met Kafka-onderwerpen
- Integratie van Apache Fume en werken met pull-based/push-based Flume-configuraties
- Het schrijven van een aangepaste ontvangerklasse
- Integratie Cassandra en ontsluiting van gegevens als real-time services
In productie
- Een applicatie verpakken en uitvoeren met Spark-Submit
- Problemen oplossen, afstemmen en fouten opsporen in Spark Jobs en clusters
Samenvatting en conclusie
Requirements
- Programming en scriptervaring
Publiek
- Software-ingenieurs
Getuigenissen (4)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Cursus - Python and Spark for Big Data (PySpark)
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Cursus - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Cursus - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.