Kafka voor beheerders Training Cursus

De basisprincipes van Kafka-beheer

• Waar Kafka past binnen moderne dataplatforms en welke verantwoordelijkheden men in productie heeft
• Kernconcepten voor beheerders: brokers, topics, partities, offsets en consumer groups
• Grondbeginselen van replicatie: leiders en volgers, in-sync replicas, evenals de balans tussen beschikbaarheid en betrouwbaarheid
• Belangrijke beheeraspecten van Kafka en veelgebruikte terminologie uit runbooks

KRaft-modus en clusterontwerp

• Inleiding tot KRaft: controllers, metadata-quorum, verkiezingen en de operationele betekenis ervan
• Plannen van implementaties: schalen op basis van doorvoer, aantal partities, retentieperiode en toekomstige groei
• Rollen van nodes in het cluster: gecombineerde of gescheiden controllers, overwegingen met betrekking tot foutdomeinen
• Lab: bestuderen van KRaft-metadata, controleren van de gezondheid van het quorum en lezen van controller-logs

Installatie, configuratie en dagelijkse beheeractiviteiten

• Installatiemethoden (pakketten, tarball of containers) en wat er in bedrijfsomgevingen gestandaardiseerd dient te worden
• Belangrijke brokerconfiguratie-instellingen die de betrouwbaarheid beïnvloeden: listeners, replicatie, logdirectory’s en retentiebeleid
• Veilige bediening van de service: volgorde bij opstarten, zorgvuldig afsluiten en controleren van configuraties
• Lab: implementeren van een meerknoopscluster, verifiëren dat brokers correct worden geregistreerd en testen of data productie en consumptie normaal functioneren

Beheer van topics, partities en gegevensverdeling

• Levenscyclus van topics via de Kafka CLI: aanmaken, beschrijven, configuratie wijzigen en verwijderen
• Keuze van geschikte partities en replicatiefactoren voor reële werkbelastingen; ook aandacht voor veelgemaakte fouten
• Reassignments en balancering: wanneer partities verplaatsen en hoe voortgang veilig controleren
• Lab: maken van topics, uitvoeren van een reassignment, simuleren van een broker-uitval en bevestigen dat het cluster herstelt

Beveiliging van Kafka in productieomgevingen

• TLS voor verkeer tussen clients en brokers: certificaten, vertrouwensketens en validatiestappen
• Authenticatie via SASL: keuze van geschikte mechanismen en voorkomen van configuratiefouten
• Autorisatie met ACL’s: toepassing van het principe van minimaal vereiste rechten voor beheerders, producers en consumers
• Lab: inschakelen van TLS en SASL, controleren van verbindingen door clients en toewijzen van ACL’s aan applicatierollen

Observability, betrouwbaarheid en troubleshooten

• Belangrijke aspecten van monitoring: gezondheid van controllers, partities zonder voldoende replicas, aanvraagvertraging, evenals schijf- en netwerkbelasting
• Loganalyse en metingen: lezen van broker-logs en weergeven van statistieken via JMX-exporteur naar gangbare observability-stacks
• Operationele werkwijzen: geleidelijk herstarten van services, veilig wijzigen van configuraties en aanpakken bij schijfvol of problemen met ISR’s
• Lab: opstellen van basiswaarschuwingen, identificeren van een minder goed functionerend cluster en herstellen van de gewenste replicatiekwaliteit

Upgrades en voorbereiding op calamiteitenherstel

• Plannen van Kafka-upgrades: compatibiliteitscontroles, proefimplementaties en strategie voor terugdraaien
• Back-ups en verwachtingen rond herstel: wat wel en niet kan worden geback-upt en basisprincipes van configuratieherstel
• Inleiding tot cross-cluster replicatie en wanneer MirrorMaker 2 geschikt is voor calamiteitenbeheer of migraties
• Afsluiting: controlelijst voor beheer, overdrachtsdocumentatie en volgende stappen bij implementatie in productie