Apache Beam is een open source, uniform programmeermodel voor het definiëren en uitvoeren van parallelle pijplijnen voor gegevensverwerking De kracht zit hem in de mogelijkheid om zowel batch- als streamingpijplijnen uit te voeren, waarbij de uitvoering wordt uitgevoerd door een van Beam's ondersteunde backends voor gedistribueerde verwerking: Apache Apex, Apache Flink, Apache Spark en Google Cloud Dataflow Apache Beam is nuttig voor ETL-taken (Extract, Transform en Load), zoals het verplaatsen van gegevens tussen verschillende opslagmedia en gegevensbronnen, het transformeren van gegevens in een meer wenselijk formaat en het laden van gegevens op een nieuw systeem In deze live training met instructor (op locatie of op afstand) leren deelnemers hoe de Apache Beam SDK's in een Java- of Python-toepassing kunnen worden geïmplementeerd die een gegevensverwerkingspijplijn definieert voor het decomposeren van een grote dataset in kleinere chunks voor onafhankelijke, parallelle verwerking Aan het einde van deze training kunnen deelnemers: Installeer en configureer Apache Beam Gebruik een enkel programmeermodel om zowel batch- als streamverwerking uit te voeren met behulp van hun Java- of Python-toepassing Voer pijpleidingen uit in meerdere omgevingen Publiek ontwikkelaars Formaat van de cursus Gedeeltelijke lezing, deelbespreking, oefeningen en zware handsonoefeningen Notitie Deze cursus zal in de toekomst beschikbaar zijn voor Scala Neem contact met ons op om dit te regelen .
Machine Translated
Introduction
- Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm and Flink
Installing and Configuring Apache Beam
Overview of Apache Beam Features and Architecture
- Beam Model, SDKs, Beam Pipeline Runners
- Distributed processing back-ends
Understanding the Apache Beam Programming Model
- How a pipeline is executed
Running a sample pipeline
- Preparing a WordCount pipeline
- Executing the Pipeline locally
Designing a Pipeline
- Planning the structure, choosing the transforms, and determining the input and output methods
Creating the Pipeline
- Writing the driver program and defining the pipeline
- Using Apache Beam classes
- Data sets, transforms, I/O, data encoding, etc.
Executing the Pipeline
- Executing the pipeline locally, on remote machines, and on a public cloud
- Choosing a runner
- Runner-specific configurations
Testing and Debugging Apache Beam
- Using type hints to emulate static typing
- Managing Python Pipeline Dependencies
Processing Bounded and Unbounded Datasets
Making Your Pipelines Reusable and Maintainable
Create New Data Sources and Sinks
- Apache Beam Source and Sink API
Integrating Apache Beam with other Big Data Systems
- Apache Hadoop, Apache Spark, Apache Kafka
Troubleshooting
Summary and Conclusion
.jpg "procter & gamble (p&g)")
.png "european space agency (esa)")
.jpg "international air transport association (iata)")
