Course Outline

Introductie

Scala Programming Diepgaand onderzoek

  • Syntaxis en structuur
  • Debietregeling en functies

Spark-internals

  • Veerkrachtige gedistribueerde datasets (RDD)
  • Spark-script naar grafiek naar cluster

Overzicht van Spark Streaming

  • Streaming architectuur
  • Intervallen in streaming
  • Fouttolerantie

Voorbereiding van de ontwikkelingsomgeving

  • Installeren en configureren Apache Spark
  • De Scala IDE installeren en configureren
  • JDK installeren en configureren

Spark Streaming Beginner tot gevorderd

  • Werken met sleutel/waarde RDD's
  • RDD's filteren
  • Spark-scripts verbeteren met reguliere expressies
  • Gegevens delen op een cluster
  • Werken met netwerkdatasets
  • Implementatie van BFS-algoritmen
  • Scripts voor Spark-stuurprogramma's maken
  • Tracking in real-time met scripts
  • Schrijven van doorlopende applicaties
  • Lineaire regressie streamen
  • Spark Machine Learning Library gebruiken

Vonk en clusters

  • Afhankelijkheden en Spark-scripts bundelen met behulp van het SBT-hulpprogramma
  • EPD gebruiken voor het illustreren van clusters
  • Optimaliseren door RDD's te partitioneren
  • Spark-logboeken gebruiken

Integratie in Spark Streaming

  • Integreren Apache Kafka en werken met Kafka-onderwerpen
  • Integratie van Apache Fume en werken met pull-based/push-based Flume-configuraties
  • Het schrijven van een aangepaste ontvangerklasse
  • Integratie Cassandra en ontsluiting van gegevens als real-time services

In productie

  • Een applicatie verpakken en uitvoeren met Spark-Submit
  • Problemen oplossen, afstemmen en fouten opsporen in Spark Jobs en clusters

Samenvatting en conclusie

Requirements

  • Programming en scriptervaring

Publiek

  • Software-ingenieurs
  21 Hours
 

Getuigenissen (4)

Related Courses

Related Categories