Cursusaanbod

Inleiding tot Apache Airflow

  • Wat is workflow orchestratie
  • Belangrijke kenmerken en voordelen van Apache Airflow
  • Verbeteringen en overzicht van de Airflow 2.x-ecosysteem

Architectuur en Core Concepts

  • Scheduler, web server, en worker processen
  • DAGs, taken, en operators
  • Executors en backends (Local, Celery, Kubernetes)

Installatie en Instelling

  • Installeren van Airflow in lokale en cloudomgevingen
  • Configureren van Airflow met verschillende executors
  • Opzetten van metadata databases en verbindingen

Navigeren door de Airflow UI en CLI

  • De Airflow webinterface verkennen
  • DAG runs, taken, en logs monitoren
  • Het gebruik van de Airflow CLI voor beheer

Het schrijven en beheren van DAGs

  • Het maken van DAGs met de TaskFlow API
  • Het gebruik van operators, sensors, en hooks
  • Het beheren van afhankelijkheden en planningintervallen

Integratie van Airflow met data- en cloudservices

  • Verbinding maken met databases, APIs, en berichtenwachtrijen
  • ETL-pijplijnen uitvoeren met Airflow
  • Cloud-integraties: AWS, GCP, Azure operators

Monitoring en observabiliteit

  • Taaklogs en real-time monitoring
  • Metrics met Prometheus en Grafana
  • Waarschuwingen en meldingen via e-mail of Slack

Beveiliging van Apache Airflow

  • Rolgebaseerde toegangskontrole (RBAC)
  • Authenticatie met LDAP, OAuth, en SSO
  • Geheimenbeheer met Vault en cloudsecretstores

Schalen van Apache Airflow

  • Parallelisme, concurrentie, en taakwachtrijen
  • Het gebruik van CeleryExecutor en KubernetesExecutor
  • Deploys van Airflow op Kubernetes met Helm

Beste praktijken voor productie

  • Versiebeheer en CI/CD voor DAGs
  • Het testen en debuggen van DAGs
  • Betrouwbaarheid en prestaties op schaal onderhouden

Probleemoplossing en optimalisatie

  • Het debuggen van mislukte DAGs en taken
  • Het optimaliseren van DAG-prestaties
  • Veelvoorkomende valkuilen en hoe deze te vermijden

Samenvatting en volgende stappen

Vereisten

  • Ervaring met Python-programmeren
  • Kennis van data engineering of DevOps-concepten
  • Begrip van ETL of workfloworchestratie

Doelgroep

  • Datawetenschappers
  • Data engineers
  • DevOps en infrastructuur engineers
  • Softwareontwikkelaars
 21 Uren

Leveringsopties

PRIVÉGROEPSTRAINING

Onze identiteit draait om het leveren van precies wat onze klanten nodig hebben.

  • Pre-cursusgesprek met uw trainer
  • Aanpassing van de leerervaring om uw doelen te bereiken -
    • Op maat gemaakte overzichten
    • Praktische, praktische oefeningen met gegevens / scenario's die herkenbaar zijn voor de cursisten
  • Training gepland op een datum naar keuze
  • Gegeven online, op locatie/klaslokaal of hybride door experts die ervaring uit de echte wereld delen

Private Group Prices RRP from €6840 online delivery, based on a group of 2 delegates, €2160 per additional delegate (excludes any certification / exam costs). We recommend a maximum group size of 12 for most learning events.

Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen


OPENBARE TRAINING

Kijk op onze public courses

Reviews (7)

Voorlopige Aankomende Cursussen

Gerelateerde categorieën