Course Outline
Introductie
Scala Programming Diepgaand onderzoek
- Syntaxis en structuur
- Debietregeling en functies
Spark-internals
- Veerkrachtige gedistribueerde datasets (RDD)
- Spark-script naar grafiek naar cluster
Overzicht van Spark Streaming
- Streaming architectuur
- Intervallen in streaming
- Fouttolerantie
Voorbereiding van de ontwikkelingsomgeving
- Installeren en configureren Apache Spark
- De Scala IDE installeren en configureren
- JDK installeren en configureren
Spark Streaming Beginner tot gevorderd
- Werken met sleutel/waarde RDD's
- RDD's filteren
- Spark-scripts verbeteren met reguliere expressies
- Gegevens delen op een cluster
- Werken met netwerkdatasets
- Implementatie van BFS-algoritmen
- Scripts voor Spark-stuurprogramma's maken
- Tracking in real-time met scripts
- Schrijven van doorlopende applicaties
- Lineaire regressie streamen
- Spark Machine Learning Library gebruiken
Vonk en clusters
- Afhankelijkheden en Spark-scripts bundelen met behulp van het SBT-hulpprogramma
- EPD gebruiken voor het illustreren van clusters
- Optimaliseren door RDD's te partitioneren
- Spark-logboeken gebruiken
Integratie in Spark Streaming
- Integreren Apache Kafka en werken met Kafka-onderwerpen
- Integratie van Apache Fume en werken met pull-based/push-based Flume-configuraties
- Het schrijven van een aangepaste ontvangerklasse
- Integratie Cassandra en ontsluiting van gegevens als real-time services
In productie
- Een applicatie verpakken en uitvoeren met Spark-Submit
- Problemen oplossen, afstemmen en fouten opsporen in Spark Jobs en clusters
Samenvatting en conclusie
Requirements
- Programming en scriptervaring
Publiek
- Software-ingenieurs
Getuigenissen (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Cursus - Python and Spark for Big Data (PySpark)
Veel praktijkvoorbeelden, verschillende manieren om hetzelfde probleem aan te pakken, en soms niet zo voor de hand liggende trucs om de huidige oplossing te verbeteren
Rafał - Nordea
Cursus - Apache Spark MLlib
Machine Translated
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Cursus - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
Cursus - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.