Course Outline
Invoering
Overzicht van Spark Streaming functies en architectuur
- Ondersteunde gegevensbronnen
- Kern-API's
De omgeving voorbereiden
- Afhankelijkheden
- Spark- en streamingcontext
- Verbinding maken met Kafka
Berichten verwerken
- Parseren van inkomende berichten als JSON
- ETL-processen
- De streamingcontext starten
Een venster uitvoeren Stream Processing
- Dia-interval
- Checkpoint-bezorgconfiguratie
- Het milieu lanceren
Prototyping van de verwerkingscode
- Verbinding maken met een Kafka-onderwerp
- JSON ophalen uit gegevensbron met behulp van Paw
- Variaties en aanvullende bewerkingen
De code streamen
- Taakcontrolevariabelen
- Waarden definiëren die overeenkomen
- Functies en voorwaarden
Stream-uitvoer verkrijgen
- Tellers
- Kafka-uitvoer (gematcht en niet-gematcht)
Probleemoplossen
Samenvatting en conclusie
Requirements
- Ervaring met Python en Apache Kafka
- Bekendheid met streamverwerkingsplatforms
Publiek
- Data-ingenieurs
- Datawetenschappers
- Programmeurs
Getuigenissen (4)
De trainer was zeer beschikbaar om alle vragen die ik deed te beantwoorden
Caterina - Stamtech
Cursus - Developing APIs with Python and FastAPI
Machine Translated
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
Cursus - Build REST APIs with Python and Flask
Overdracht van praktische kennis en ervaring van de trainer.
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
Cursus - GUI Programming with Python and PyQt
Machine Translated
As I was the only participant the training could be adapted to my needs.