Course Outline

Invoering

Overzicht van Spark Streaming functies en architectuur

  • Ondersteunde gegevensbronnen
  • Kern-API's

De omgeving voorbereiden

  • Afhankelijkheden
  • Spark- en streamingcontext
  • Verbinding maken met Kafka

Berichten verwerken

  • Parseren van inkomende berichten als JSON
  • ETL-processen
  • De streamingcontext starten

Een venster uitvoeren Stream Processing

  • Dia-interval
  • Checkpoint-bezorgconfiguratie
  • Het milieu lanceren

Prototyping van de verwerkingscode

  • Verbinding maken met een Kafka-onderwerp
  • JSON ophalen uit gegevensbron met behulp van Paw
  • Variaties en aanvullende bewerkingen

De code streamen

  • Taakcontrolevariabelen
  • Waarden definiëren die overeenkomen
  • Functies en voorwaarden

Stream-uitvoer verkrijgen

  • Tellers
  • Kafka-uitvoer (gematcht en niet-gematcht)

Probleemoplossen

Samenvatting en conclusie

Requirements

  • Ervaring met Python en Apache Kafka
  • Bekendheid met streamverwerkingsplatforms

Publiek

  • Data-ingenieurs
  • Datawetenschappers
  • Programmeurs
  7 Hours
 

Getuigenissen (4)

Related Courses

Related Categories