Course Outline

1: HDFS (17%)

  • Beschrijf de functie van HDFS-daemons
  • Beschrijf de normale werking van een Apache Hadoop-cluster, zowel bij gegevensopslag als bij gegevensverwerking.
  • Identificeer de huidige kenmerken van computersystemen die een systeem als Apache motiveren Hadoop.
  • Classificeer de belangrijkste doelen van HDFS-ontwerp
  • Identificeer op basis van een scenario de juiste use case voor HDFS Federation
  • Identificeer componenten en daemon van een HDFS HA-Quorum cluster
  • Analyseer de rol van HDFS-beveiliging (Kerberos)
  • Bepaal de beste keuze voor gegevensserialisatie voor een bepaald scenario
  • Lees- en schrijfpaden voor bestanden beschrijven
  • Identificeer de opdrachten om bestanden te manipuleren in de Hadoop File System Shell

2: YARN en MapReduce versie 2 (MRv2) (17%)

  • Begrijpen hoe het upgraden van een cluster van Hadoop 1 naar Hadoop 2 van invloed is op clusterinstellingen
  • Begrijpen hoe u MapReduce v2 (MRv2 / YARN) implementeert, inclusief alle YARN-daemons
  • Inzicht in de basisontwerpstrategie voor MapReduce v2 (MRv2)
  • Bepaal hoe YARN omgaat met de toewijzing van middelen
  • Identificeer de workflow van MapReduce-taken die op YARN worden uitgevoerd
  • Bepaal welke bestanden u moet wijzigen en hoe u een cluster wilt migreren van MapReduce versie 1 (MRv1) naar MapReduce versie 2 (MRv2) die op YARN draait.

3: Hadoop Clusterplanning (16%)

  • Belangrijkste aandachtspunten bij het kiezen van de hardware en besturingssystemen voor het hosten van een Apache Hadoop-cluster.
  • Analyseer de keuzes bij het selecteren van een besturingssysteem
  • Inzicht in kernel tuning en disk swapping
  • Op basis van een scenario en een workloadpatroon moet u een hardwareconfiguratie identificeren die geschikt is voor het scenario
  • Bepaal op basis van een scenario de ecosysteemonderdelen die uw cluster moet uitvoeren om aan de SLA te voldoen
  • Clustergrootte: op basis van een scenario en uitvoeringsfrequentie identificeert u de specifieke kenmerken voor de workload, inclusief CPU, geheugen, opslag, schijf-I/O
  • Schijfgrootte en -configuratie, inclusief JBOD versus RAID, SAN's, virtualisatie en vereisten voor schijfgrootte in een cluster
  • Netwerktopologieën: inzicht in het netwerkgebruik in Hadoop (voor zowel HDFS als MapReduce) en belangrijke netwerkontwerpcomponenten voor een bepaald scenario voorstellen of identificeren

4: Hadoop Clusterinstallatie en -beheer (25%)

  • Bepaal op basis van een scenario hoe het cluster schijf- en computerfouten afhandelt
  • Een bestandsindeling voor logboekregistratie en logboekconfiguratie analyseren
  • Inzicht in de basisprincipes van Hadoop metrische gegevens en bewaking van de clusterstatus
  • Identificeer de functie en het doel van beschikbare tools voor clusterbewaking
  • In staat zijn om alle ecosysteemcomponenten in CDH 5 te installeren, inclusief (maar niet beperkt tot): Impala, Flume, Oozie, Hue, Manager, Sqoop, Hive en Pig
  • Identificeer de functie en het doel van de beschikbare tools voor het beheer van het Apache Hadoop-bestandssysteem

5: Bron Management (10%)

  • Inzicht in de algemene ontwerpdoelen van elk van Hadoop planners
  • Bepaal op basis van een scenario hoe de FIFO-planner clusterresources toewijst
  • Bepaal op basis van een scenario hoe de Fair Scheduler clusterresources toewijst onder YARN
  • Bepaal op basis van een scenario hoe de capaciteitsplanner clusterresources toewijst

6: Bewaking en logboekregistratie (15%)

  • Inzicht in de functies en kenmerken van de mogelijkheden voor het verzamelen van metrische gegevens van Hadoop
  • Analyseer de webinterfaces van NameNode en JobTracker
  • Begrijpen hoe u clusterdaemons kunt bewaken
  • Identificeer en bewaak het CPU-gebruik op hoofdknooppunten
  • Beschrijf hoe u swap en geheugentoewijzing op alle knooppunten kunt bewaken
  • Bepalen hoe u de logbestanden van Hadoop kunt weergeven en beheren
  • Een logbestand interpreteren

Requirements

  • Basis Linux administratieve vaardigheden
  • Basis programmeervaardigheden
 35 Hours

Getuigenissen (3)

Related Courses

Related Categories