Cursusaanbod
Inleiding tot Apache Airflow
- Wat houdt workflow-orchestratie in?
- De belangrijkste kenmerken en voordelen van Apache Airflow
- Verbeteringen in Airflow 2.x en een overzicht van het ecosysteem
Architectuur en kernconcepten
- Scheduler, webserver en worker-processen
- DAG’s, taken en operators
- Executors en backends (Local, Celery, Kubernetes)
Installatie en configuratie
- Airflow installeren in lokale en cloud-omgevingen
- Airflow configureren met verschillende executors
- Metadata-databases en verbindingen instellen
Navigeren door de Airflow-interface en CLI
- De webinterface van Airflow verkennen
- DAG-uitvoeringen, taken en logs monitoren
- Het Airflow CLI gebruiken voor beheerdoeleinden
Het maken en beheren van DAG’s
- DAG’s creëren met de TaskFlow API
- Operators, sensors en hooks toepassen
- Afhankelijkheden beheren en planninginterval instellen
Integratie met data-bronnen en cloud-diensten
- Verbinding maken met databases, API’s en berichtenwachtrijen
- ETL-pipelines draaien via Airflow
- Integratie met cloud-diensten: operators voor AWS, GCP en Azure
Monitoring en observability
- Taaklogs en real-time monitoring
- Metingen met behulp van Prometheus en Grafana
- Waarschuwingen en notificaties via e-mail of Slack
Beveiliging van Apache Airflow
- Rolgebaseerd toegangsbeheer (RBAC)
- Authenticatie met LDAP, OAuth en SSO
- Beheer van gevoelige informatie via Vault en cloudgebaseerde secret stores
Opschalen van Apache Airflow
- Parallelisme, concurrentie en taakwachtrijen
- Werken met CeleryExecutor en KubernetesExecutor
- Airflow implementeren op Kubernetes met Helm
Best practices voor productieomgevingen
- Versiebeheer en CI/CD voor DAG’s
- Testen en debuggen van DAG’s
- De betrouwbaarheid en prestaties op grote schaal behouden
Probleemoplossing en optimalisatie
- Fouten in DAG’s en taken oplossen
- De prestaties van DAG’s verbeteren
- Veelvoorkomende valkuilen en hoe deze te vermijden
Samenvatting en vervolgstappen
Vereisten
- Ervaring met programmeren in Python
- Kennis van begrippen op het gebied van data engineering of DevOps
- Begrip van ETL-processen en workflow-orchestratie
Doelgroep
- Data scientists
- Data engineers
- DevOps- en infrastructuurengineers
- Softwareontwikkelaars
Aangepaste bedrijfsopleiding
Opleidingsoplossingen ontworpen exclusief voor bedrijven.
- Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
- Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
- Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Prijs per privégroep, online live training, startend vanaf 4800 € + BTW*
Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen
Reviews (7)
De instructeur heeft de training aangepast aan het niveau van de deelnemers en reageerde op alle vragen. Hij was zeer communicatief, waardoor het gemakkelijk was om met hem te interacteren. Ik heb de opbouw van de training erg gewaardeerd, die veel praktische oefeningen bevatte. In het algemeen was het een zeer aangrijpende en goed georganiseerde sessie.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Cursus - Apache Airflow: Building and Managing Data Pipelines
Automatisch vertaald
De training was perfect. Zeer nuttige theorie en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was op alle aspecten zeer goed. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect in alle opzichten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect op alle aspecten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was uitstekend op alle aspecten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
De training was perfect in alle opzichten. Nuttige theoretische aspecten en oefeningen.
Vladimir - PUBLIC COURSE
Cursus - Apache Airflow
Automatisch vertaald
