Course Outline
Invoering
- Inleiding tot Cloud Computing en Big Data oplossingen
- Overzicht van Apache Hadoop Functies en architectuur
Opstellen Hadoop
- Een Hadoop cluster plannen (on-premise, cloud, enz.)
- Het besturingssysteem en Hadoop distributie selecteren
- Voorzieningen voor resources (hardware, netwerk, etc.)
- Het downloaden en installeren van de software
- Het cluster op maat maken voor flexibiliteit
Werken met HDFS
- Inzicht in het Hadoop gedistribueerde bestandssysteem (HDFS)
- Overzicht van HDFS-opdrachtreferentie
- AccessHDFS inschakelen
- Basisbestandsbewerkingen uitvoeren op HDFS
- S3 gebruiken als aanvulling op HDFS
Overzicht van de MapReduce
- Gegevensstroom begrijpen in het MapReduce Framework
- In kaart brengen, shuffle, sorteren en verkleinen
- Demo: Computing-topsalarissen
Werken met GAREN
- Inzicht in hulpbronnenbeheer in Hadoop
- Werken met ResourceManager, NodeManager, Applicatiemaster
- Taken plannen onder YARN
- Planning voor grote aantallen knooppunten en clusters
- Demo: Taakplanning
Integratie van Hadoop met Spark
- Opslag instellen voor Spark (HDFS, Amazon, S3, NoSQL, etc.)
- Veerkrachtige gedistribueerde datasets (RDD's) begrijpen
- Een RDD maken
- Implementatie van RDD-transformaties
- Demo: implementatie van een tekstprogramma Search voor filmtitels
Beheer van een Hadoop cluster
- Toezicht Hadoop
- Het beveiligen van een Hadoop cluster
- Knooppunten toevoegen en verwijderen
- Het uitvoeren van een prestatiebenchmark
- Een Hadoop cluster afstemmen op het optimaliseren van de prestaties
- Back-up-, herstel- en bedrijfscontinuïteitsplanning
- Zorgen voor hoge beschikbaarheid (HA)
Een Hadoop cluster upgraden en migreren
- Beoordelen van de werklastvereisten
- Upgraden Hadoop
- Van on-premise naar de cloud en vice versa
- Herstellen van mislukkingen
Probleemoplossen
Samenvatting en conclusie
Requirements
- Ervaring met systeembeheer
- Ervaring met de opdrachtregel Linux.
- Een goed begrip van big data-concepten
Publiek
- Systeembeheerders
- DBA's
Getuigenissen (7)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Cursus - Python and Spark for Big Data (PySpark)
Veel praktijkvoorbeelden, verschillende manieren om hetzelfde probleem aan te pakken, en soms niet zo voor de hand liggende trucs om de huidige oplossing te verbeteren
Rafał - Nordea
Cursus - Apache Spark MLlib
Machine Translated
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Cursus - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Cursus - Data Analysis with Hive/HiveQL
Sufficient hands on, trainer is knowledgable
Chris Tan
Cursus - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Cursus - Big Data Analytics in Health
Having hands on session / assignments