Cursusaanbod
Herculisatie van de basisconcepten binnen Apache Airflow
- Kernprincipes: DAG's, operators en uitvoeringsstroom;
- Architectuur en componenten van Airflow;
- Inzicht in complexere gebruiksscenario’s en workflows.
Het creëren van aangepaste operators
- Basisstructuur van een Airflow-operator begrijpen;
- Zelf aangepaste operators ontwikkelen voor specifieke taken;
- Testen en debuggen van deze zelfgemaakte operators.
Aangepaste hooks en sensoren
- Hooks implementeren ter verbinding met externe systemen;
- Sensoren creëren om gebeurtenissen van buitenaf te detecteren;
- Workflows verrijken door het gebruik van aangepaste sensoren.
Het ontwikkelen van Airflow-plugins
- Inzicht krijgen in de pluginarchitectuur;
- Plugins ontwerpen ter uitbreiding van Airflow's functionaliteiten;
- Goede praktijken toepassen bij het beheren en implementeren van plugins.
Het verbinden van Airflow met externe systemen
- Airflow koppelen aan databases, API's en cloud-diensten;
- Gebruik van Airflow voor ETL-workflows en realtime dataverwerking;
- Afhankelijkheden tussen Airflow en externe systemen beheren.
Geavanceerd debuggen en monitoring
- Logbestanden en metingen binnen Airflow inzetten voor probleemoplossing;
- Meldingen en alerts instellen ter waarschuwing bij eventuele problemen;
- Buitenstaande monitoringtools integreren met het platform.
Performance optimalisatie en schaalbaarheid
- Airflow schaalbaar maken door toepassing van Celery- en Kubernetes-executors;
- Zorgen voor efficiënt gebruik van resources in complexe workflows;
- Methoden om hoge beschikbaarheid te waarborgen en fouttolerantie te realiseren.
Case studies en praktijkvoorbeelden
- Het verkennen van geavanceerde toepassingen binnen datamanagement en DevOps;
- Casusstudie: Ontwikkeling van een aangepaste operator voor grootschalige ETL-implementaties;
- Best practices voor het beheren van enterprise-level workflows.
Samenvatting en vervolgstappen
Vereisten
- Gedegen kennis van de basisconcepten binnen Apache Airflow, zoals DAG's, operators en uitvoeringsarchitectuur;
- Beheersing van de Python-programmeertaal;
- Ervaring met het integreren van datasysteeminfrastructuur en workflow-orchestratie.
Doelgroep
- Data-engineers;
- DevOps-engineers;
- Software-architecten.
Aangepaste bedrijfsopleiding
Opleidingsoplossingen ontworpen exclusief voor bedrijven.
- Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
- Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
- Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Prijs per privégroep, online live training, startend vanaf 4800 € + BTW*
Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen
Reviews (1)
De instructeur heeft de training aangepast aan het niveau van de deelnemers en reageerde op alle vragen. Hij was zeer communicatief, waardoor het gemakkelijk was om met hem te interacteren. Ik heb de opbouw van de training erg gewaardeerd, die veel praktische oefeningen bevatte. In het algemeen was het een zeer aangrijpende en goed georganiseerde sessie.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Cursus - Apache Airflow: Building and Managing Data Pipelines
Automatisch vertaald
