Big Data Trainingen in Enschede TU

Stratio is een datacentrisch platform dat big data, AI en governance integreert in een enkele oplossing. De Rocket- en Intelligence-modules maken snel data-ontdekking, transformatie en geavanceerde analyse mogelijk in bedrijfsumgevingen.Deze door een docent geleide live-training (online of op locatie) is bedoeld voor data-professionals op intermediair niveau die de Rocket- en Intelligence-modules in Stratio effectief willen gebruiken met PySpark, met een focus op lusstructuren, door de gebruiker gedefinieerde functies en geavanceerde datalogica.Op het einde van deze training zullen de deelnemers in staat zijn om:- Te navigeren en te werken binnen het Stratio-platform met behulp van de Rocket- en Intelligence-modules.- PySpark toe te passen in het kader van data-inname, transformatie en analyse.- Lussen en voorwaardelijke logica te gebruiken om datawerkstromen en feature-engineering taken te beheren.- Door de gebruiker gedefinieerde functies (UDFs) te creëren en te beheren voor herbruikbare data-operaties in PySpark.**Opzet van de cursus**- Interactieve colleges en discussies.- Veel oefeningen en praktijk.- Handson-implementatie in een live-labomgeving.**Opties voor cursusaanpassing**- Om een aangepaste training voor deze cursus aan te vragen, neem contact met ons op om dit te regelen.

Data Warehousing is the practice of designing, building, and operating centralized data repositories that support analytics, reporting, and decision-making.

This instructor-led, live training (online or onsite) is aimed at intermediate-level data professionals who wish to model dimensional data, build robust ETL pipelines, and optimize analytical workloads.

By the end of this training, participants will be able to:

• Explain core data warehousing concepts and architectures.
• Design dimensional models and choose between star and snowflake schemas.
• Build and orchestrate ETL and ELT pipelines reliably.
• Differentiate OLTP versus OLAP workloads and optimize for analytics.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Deelnemers die deze door een instructeur geleide, live training in Enschede TU voltooien, krijgen een praktisch, real-world begrip van Big Data en de bijbehorende technologieën, methodologieën en hulpmiddelen.

Deelnemers krijgen de kans om deze kennis in de praktijk te brengen door middel van praktische oefeningen. Groepsinteractie en feedback van de instructeur vormen een belangrijk onderdeel van de klas.

De cursus begint met een inleiding tot elementaire concepten van Big Data en gaat vervolgens verder met de programmeertalen en methodologieën die worden gebruikt om uit te voeren Data Analysis. Ten slotte bespreken we de tools en infrastructuur die Big Data opslag, gedistribueerde verwerking en Scalabiliteit mogelijk maken.

Greenplum is een open-source massively parallel processing (MPP) dataplatform ontworpen voor analytics en omgevingen met grote hoeveelheden data.

Deze door instructeurs geleide live training (online of ter plaatse) is gericht op technische gebruikers op intermediair tot gevorderd niveau die de interne architectuur van Greenplum willen begrijpen, geoptimaliseerde datamodellen willen opbouwen en high-performance SQL willen toepassen in verdeelde omgevingen.

Aan het einde van deze training zullen de deelnemers in staat zijn om:

• De shared-nothing architectuur van Greenplum en het parallelisme model te begrijpen.
• Verdeelde tabellestructuren en partitions te ontwerpen die geoptimaliseerd zijn voor queryprestaties.
• Indexstrategieën, opslagformaten en technieken voor fysiek ontwerp te gebruiken.
• EXPLAIN-plannen te interpreteren en queries te optimaliseren met behulp van beste praktijken.

Opzet van de cursus

• Interactieve lezingen en discussies.
• Veel oefeningen en praktijkopdrachten.
• Handen-aan implementatie in een live-labomgeving.

Opties voor cursusaanpassing

• Neem contact met ons op om een aangepaste training voor deze cursus te verzoeken.

Greenplum is een open-source massief parallelle dataplatform gebaseerd op PostgreSQL, ontworpen voor geavanceerde analyse en grootschalige data opslag.

Deze instructeurgeleide, live training (online of on-site) is bedoeld voor administratieve medewerkers op intermediair niveau die een Greenplum-omgeving willen installeren, configureren en beheren, inclusief het beheren van systeemupdates en bibliotheken.

Na afloop van deze training kunnen de deelnemers:

• Een productie-ready Greenplum-cluster installeren en configureren.
• Systeemupdates beheren en patches veilig toepassen.
• Greenplum-bibliotheekbeheer voor analyse en extensies afhandelen.
• Greenplum-systemen oplossen en bewaken.

Opzet van de cursus

• Interactieve lezingen en discussies.
• Praktijkervaring met Greenplum in een gecontroleerde labomgeving.
• Begeleide oefeningen gericht op clusteropstelling, upgradewerkstromen en systeemextensies.

Opties voor cursusaanpassing

• Om een aangepaste training voor deze cursus aan te vragen op basis van uw omgeving of dataplatform, neem dan contact met ons op om dit te regelen.

Deze door een instructeur geleide, live training in Enschede TU (online of op locatie) is bedoeld voor dataprofessionals op gevorderd niveau die dataverwerkingsworkflows willen optimaliseren, data-integriteit willen waarborgen en robuuste data lakehouse-oplossingen willen implementeren die de complexiteit van moderne big data-applicaties aankunnen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Krijg een diepgaand inzicht in de architectuur van Iceberg, inclusief metadatabeheer en bestandslay-out.
• Configureer Iceberg voor optimale prestaties in verschillende omgevingen en integreer het met meerdere gegevensverwerkingsengines.
• Beheer grootschalige Iceberg-tabellen, voer complexe schemawijzigingen uit en behandel de evolutie van partities.
• Beheers technieken om de queryprestaties en de efficiëntie van gegevensscans voor grote datasets te optimaliseren.
• Implementeer mechanismen om gegevensconsistentie te waarborgen, transactiegaranties te beheren en storingen in gedistribueerde omgevingen af te handelen.

Deze live training onder leiding van een instructeur in Enschede TU (online of op locatie) is bedoeld voor dataprofessionals op beginnersniveau die de kennis en vaardigheden willen verwerven die nodig zijn om Apache Iceberg effectief te gebruiken voor het beheren van grootschalige datasets, het waarborgen van data-integriteit en het optimaliseren van dataverwerkingsworkflows.

Aan het einde van deze training zijn de deelnemers in staat om:

• Krijg een grondig inzicht in de architectuur, functies en voordelen van Apache Iceberg.
• Meer informatie over tabelindelingen, partitionering, schema-evolutie en mogelijkheden voor tijdreizen.
• Installeer en configureer Apache Iceberg in verschillende omgevingen.
• Maak, beheer en manipuleer ijsbergtabellen.
• Inzicht in het proces van het migreren van gegevens van andere tabelindelingen naar Iceberg.

Deze live training in Enschede TU (online of op locatie) onder leiding van een instructeur is bedoeld voor IT-professionals van gemiddeld niveau die hun vaardigheden op het gebied van data-architectuur, governance, cloud computing en big data-technologieën willen verbeteren om grote datasets effectief te beheren en te analyseren voor datamigratie binnen hun organisaties.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp de fundamentele concepten en componenten van verschillende data-architecturen.
• Krijg een uitgebreid inzicht in de principes van gegevensbeheer en het belang ervan in regelgevingsomgevingen.
• Implementeer en beheer kaders voor gegevensbeheer, zoals Dama en Togaf.
• Maak gebruik van cloudplatforms voor efficiënte gegevensopslag, -verwerking en -beheer.

Deze live training onder leiding van een instructeur in Enschede TU (online of op locatie) is bedoeld voor data-engineers van gemiddeld niveau die willen leren hoe ze Azure Data Lake Storage Gen2 kunnen gebruiken voor effectieve oplossingen voor data-analyse.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp de architectuur en de belangrijkste functies van Azure Data Lake Storage Gen2.
• Optimaliseer gegevensopslag en -toegang op basis van kosten en prestaties.
• Integreer Azure Data Lake Storage Gen2 met andere Azure services voor analyse en gegevensverwerking.
• Ontwikkel oplossingen met behulp van de Azure Data Lake Storage Gen2 API.
• Los veelvoorkomende problemen op en optimaliseer opslagstrategieën.

Big Data en Geavanceerde Analytische Oplossingen is het toepassen van geavanceerde technieken en hulpmiddelen om grote, complexe datasets te analyseren voor handelbare inzichten en strategische besluitvorming.

Deze instructeurgeleide, live training (online of ter plaatse) is bedoeld voor geavanceerde dataprofessionals die geavanceerde analytische methoden en big data technologieën willen benutten voor voorspellende, voorschrijvende en real-time analytische oplossingen.

Aan het einde van deze training zullen deelnemers in staat zijn om:

• Grootschalige dataverwerkingspijplijnen te ontwerpen en implementeren voor gestructureerde en ongestructureerde data.
• Geavanceerde machine learning- en deep learningtechnieken toe te passen op grote datasets.
• Verdeelde rekenkaders te benutten voor real-time analytische oplossingen en data streaming.
• Big data analytische oplossingen te integreren in business intelligence- en besluitvormingssystemen.

Formaat van de Cursus

• Interactieve lezingen en discussies.
• Veel oefeningen en praktijkopdrachten.
• Handson implementatie in een live-labomgeving.

Opties voor Cursusaanpassing

• Om een aangepaste training voor deze cursus aan te vragen, neem contact met ons op om te regelen.

Deze door een instructeur geleide, live training (ter plaatse of op afstand) is gericht op IT-professionals met een gemiddeld niveau die een uitgebreid begrip willen hebben van IBM DataStage vanuit zowel een administratief als een ontwikkelingsperspectief, zodat ze dit kunnen beheren en gebruiken. effectief in te zetten op hun respectievelijke werkplekken.

Aan het einde van deze training kunnen deelnemers:

• Begrijp de kernconcepten van DataStage.
• Leer hoe u DataStage-omgevingen effectief installeert, configureert en beheert.
• Maak verbinding met verschillende gegevensbronnen en extraheer gegevens efficiënt uit databases, platte bestanden en externe bronnen.
• Implementeer effectieve technieken voor het laden van gegevens.

Dit door een instructeur geleide live training in Enschede TU (online of op locatie) is gericht op middelmatige big data professionals die Apache Kylin willen gebruiken om real-time gegevenswarehouses te bouwen en multidimensionale analyses uit te voeren op grote datasets.

Na deze training zullen de deelnemers in staat zijn:

• Apache Kylin in te stellen en te configureren met real-time streaming datasources.
• OLAP-cubes ontwerpen en bouwen voor zowel batch- als streamingdata.
• Gecompliceerde query's uitvoeren met subsecondaire latentie via Kylin's SQL interface.
• Kylin integreren met BI-tools voor interactieve gegevensvisualisatie.
• De prestaties optimaliseren en de resources effectief beheren in Kylin.

Deelnemers die deze door een instructeur geleide, live training voltooien in Enschede TU zullen een praktisch, realistisch inzicht verwerven in Big Data en de gerelateerde technologieën, methodologieën en hulpmiddelen.

Deelnemers krijgen de kans om deze kennis in de praktijk te brengen door middel van praktische oefeningen. Groepsinteractie en feedback van de instructeur vormen een belangrijk onderdeel van de les.

De cursus begint met een inleiding tot de elementaire concepten van Big Data en gaat vervolgens verder met de programmeertalen en methodologieën die worden gebruikt om data-analyse uit te voeren. Ten slotte bespreken we de tools en infrastructuur die Big Data-opslag, gedistribueerde verwerking en Scalamogelijkheden mogelijk maken.

In deze door een instructeur geleide, live training in Enschede TU, leren deelnemers hoe ze Python en Spark samen kunnen gebruiken om big data te analyseren terwijl ze werken aan praktische oefeningen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Leer hoe u Spark kunt gebruiken met Python om Big Data te analyseren.
• Werk aan oefeningen die gevallen uit de echte wereld nabootsen.
• Gebruik verschillende tools en technieken voor big data-analyse met behulp van PySpark.

Deze cursus behandelt het gebruik van Hive SQL taal (AKA: Hive HQL, SQL on Hive , Hive QL) voor mensen die gegevens uit Hive

Deze door een instructeur geleide, live-training in Enschede TU (online of op locatie) is bedoeld voor databasebeheerders, ontwikkelaars en analisten met een tussenniveau die geavanceerde SQL functionaliteiten voor complexe data-operaties en databasebeheer willen meesteren.

Aan het einde van deze training zullen de deelnemers in staat zijn om:

• Geavanceerde querytechnieken uit te voeren met behulp van unions, subqueries en complexe joins.
• Gegevens, tabellen, views en indexes met precisie toe te voegen, bij te werken en te verwijderen.
• Gegevensintegriteit te waarborgen via transacties en database-structuren te manipuleren.
• Databases efficiënt te creëren en te beheren voor robuuste opslag en opslagoproep van gegevens.

Dremio is een open-source "self-service data platform" die de zoekopdracht van verschillende soorten gegevensbronnen versnelt. Dremio wordt geïntegreerd met relatieve databases, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, en andere gegevensbronnen. Het ondersteunt SQL en biedt een web-UI voor bouwvragen.

In deze instructeur geleide, live training leren de deelnemers hoe te installeren, configureren en gebruiken Dremio als een verenigende laag voor data-analyse-tools en de onderliggende data-opslagruimten.

Aan het einde van deze training zullen de deelnemers in staat zijn:

• Installeer en installeer Dremio
• Uitvoeren van vragen tegen meerdere gegevensbronnen, ongeacht locatie, grootte of structuur
• Integreren Dremio met BI en gegevensbronnen zoals Tableau en Elasticsearch

Het publiek

• Data wetenschappers
• Business De analisten
• Data ingenieurs

Format van de cursus

• Deel lezing, deel discussie, oefeningen en zware praktijken

Nootjes

• Om een aangepaste training voor deze cursus te vragen, neem dan contact met ons op om te organiseren.

Deze instructeur-geleide, live training (op locatie of op afstand) is gericht op softwareontwikkelaars, managers en bedrijfsanalisten die big data-systemen willen gebruiken om grote hoeveelheden data op te slaan en op te halen.

Aan het einde van deze training kunnen deelnemers:

• Vraag grote hoeveelheden gegevens efficiënt op.
• Begrijp hoe Big Data systeem Big Data opslaat en ophaalt
• Gebruik de nieuwste beschikbare big data-systemen
• Wrangle data van datasystemen naar rapportagesystemen
• Leer SQL vragen te schrijven in:
  • My SQL
  • postgres
  • Hive Query Language ( Hive QL / HQL)
  • Redshift

Indeling van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefenen.
• Praktische implementatie in een live-labomgeving.

Cursusaanpassingsopties

• Neem contact met ons op om een aangepaste training voor deze cursus aan te vragen.

Deze live training onder leiding van een instructeur in Enschede TU (online of ter plaatse) is bedoeld voor databaseprofessionals op gemiddeld niveau die hun vaardigheden op het gebied van Oracle SQL ontwikkeling en beheer willen verbeteren.

Aan het einde van deze training zijn de deelnemers in staat om:

• Bouw en optimaliseer complexe SQL query's.
• Beheer databases efficiënt met behulp van Oracle SQL tools.
• Pas best practices toe bij de ontwikkeling en het onderhoud van databases.
• Beheer gebruikerstoegang en databasebeveiliging in een Oracle-omgeving.

Apache Accumulo is een gesorteerde, gedistribueerde sleutel-/waardeopslag die robuuste, schaalbare gegevensopslag en -opvraging biedt. Het is gebaseerd op het ontwerp van Google's BigTable en wordt aangedreven door Apache Hadoop, Apache Zookeeper en Apache Thrift.

Deze live cursussen onder leiding van een instructeur behandelen de werkingsprincipes achter Accumulo en begeleiden deelnemers bij de ontwikkeling van een voorbeeldtoepassing op Apache Accumulo.

Vorm van de cursus

• Deels lezing, deels discussie, hands-on ontwikkeling en implementatie, af en toe tests om het begrip te peilen

Dit cursus richt zich op ontwikkelaars en datawetenschappers die kunstmatige intelligentie willen begrijpen en implementeren in hun toepassingen. Er is speciale aandacht voor data-analyse, gedistribueerde kunstmatige intelligentie en natuurlijke taalverwerking.

Amazon Redshift is een cloudgebaseerde datawarehouse-service op petabyte-schaal in AWS.

In deze live training onder leiding van een instructeur leren deelnemers de basisprincipes van Amazon Redshift.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeren en configureren Amazon Redshift
• Gegevens laden, configureren, implementeren, opvragen en visualiseren met Amazon Redshift

Audiëntie

• Ontwikkelaars
• IT-professionals

Vorm van de cursus

• Deels lezing, deels discussie, oefeningen en zware hands-on oefening

Notitie

• Om een training op maat voor deze cursus aan te vragen, neem dan contact met ons op om een afspraak te maken.

Technologische vooruitgang en de toenemende hoeveelheid informatie transformeren de manier waarop zaken worden gedaan in veel sectoren, waaronder de overheid. GoDe snelheid waarmee gegevens worden gegenereerd en digitaal wordt gearchiveerd, neemt toe als gevolg van de snelle groei van mobiele apparaten en applicaties, slimme sensoren en apparaten, cloud computing-oplossingen en op de burger gerichte portalen. Naarmate digitale informatie zich uitbreidt en complexer wordt, worden informatiebeheer, -verwerking, -opslag, -beveiliging en -dispositie ook complexer. Nieuwe tools voor vastleggen, zoeken, ontdekken en analyseren helpen organisaties inzichten te verkrijgen uit hun ongestructureerde gegevens. De overheidsmarkt bevindt zich op een omslagpunt en realiseert zich dat informatie een strategisch bezit is, en dat de overheid zowel gestructureerde als ongestructureerde informatie moet beschermen, benutten en analyseren om de missievereisten beter te kunnen bedienen en vervullen. Terwijl overheidsleiders ernaar streven datagestuurde organisaties te ontwikkelen om hun missie succesvol te volbrengen, leggen zij de basis voor het correleren van afhankelijkheden tussen gebeurtenissen, mensen, processen en informatie.

Hoogwaardige overheidsoplossingen zullen worden gecreëerd uit een mix van de meest ontwrichtende technologieën:

Mobiele apparaten en applicaties Clouddiensten Sociale bedrijfstechnologieën en netwerken Big Data en analyses

IDC voorspelt dat de IT-industrie in 2020 een waarde van $5 biljoen zal bereiken, ongeveer $1,7 biljoen meer dan nu, en dat 80% van de groei van de industrie zal worden aangedreven door deze derdeplatformtechnologieën. Op de lange termijn zullen deze technologieën cruciale instrumenten zijn om met de complexiteit van de toegenomen digitale informatie om te gaan. Big Data is een van de intelligente industriële oplossingen en stelt de overheid in staat betere beslissingen te nemen door actie te ondernemen op basis van patronen die aan het licht komen door het analyseren van grote hoeveelheden gegevens – gerelateerd en niet-gerelateerd, gestructureerd en ongestructureerd.

Maar om deze prestaties te verwezenlijken is veel meer nodig dan alleen maar het verzamelen van enorme hoeveelheden data. “Het begrijpen van deze hoeveelheden Big Data vereist geavanceerde tools en technologieën die nuttige kennis kunnen analyseren en extraheren uit enorme en diverse informatiestromen”, aldus Tom Kalil en Fen Zhao van het Witte Huis Office of Science and Technology Policy schreef in een bericht op de OSTP Blog.

Het Witte Huis zette een stap in de richting van het helpen van instanties deze technologieën te vinden toen het in 2012 het National Big Data Research and Development Initiative oprichtte. Het initiatief omvatte meer dan $200 miljoen om het meeste te halen uit de explosie van Big Data en de tools die nodig zijn om analyseer het.

De uitdagingen die Big Data met zich meebrengt zijn bijna net zo ontmoedigend als de belofte ervan bemoedigend is. Gegevens efficiënt opslaan is een van deze uitdagingen. Zoals altijd zijn de budgetten krap, dus moeten bureaus de opslagprijs per megabyte minimaliseren en de gegevens gemakkelijk toegankelijk houden, zodat gebruikers deze kunnen verkrijgen wanneer zij dat willen en hoe zij die nodig hebben. Het maken van back-ups van enorme hoeveelheden gegevens vergroot de uitdaging.

Een andere grote uitdaging is het effectief analyseren van de gegevens. Veel bureaus maken gebruik van commerciële tools waarmee ze de bergen aan gegevens kunnen doorzoeken en trends kunnen ontdekken die hen kunnen helpen efficiënter te werken. (Uit een recent onderzoek van MeriTalk is gebleken dat federale IT-managers denken dat Big Data bureaus kan helpen meer dan 500 miljard dollar te besparen en tegelijkertijd de missiedoelstellingen te verwezenlijken.)

Met op maat ontwikkelde Big Data tools kunnen agentschappen ook tegemoetkomen aan de noodzaak om hun gegevens te analyseren. De Computational Data Analytics Group van het Oak Ridge National Laboratory heeft bijvoorbeeld zijn Piranha-data-analysesysteem beschikbaar gesteld aan andere instanties. Het systeem heeft medische onderzoekers geholpen een link te vinden die artsen kan waarschuwen voor aorta-aneurysmata voordat deze toeslaan. Het wordt ook gebruikt voor meer alledaagse taken, zoals het doorzoeken van cv's om sollicitanten in contact te brengen met personeelsmanagers.

Apache Beam is een open source, uniform programmeermodel voor het definiëren en uitvoeren van parallelle gegevensverwerkingspijplijnen. De kracht ligt in de mogelijkheid om zowel batch- als streaming-pijplijnen uit te voeren, waarbij de uitvoering wordt uitgevoerd door een van de ondersteunde gedistribueerde verwerkingsback-ends van Beam: Apache Apex, Apache Flink, Apache Spark en Google Cloud Dataflow. Apache Beam is handig voor ETL-taken (Extract, Transform en Load), zoals het verplaatsen van gegevens tussen verschillende opslagmedia en gegevensbronnen, het transformeren van gegevens naar een meer wenselijk formaat en het laden van gegevens op een nieuw systeem.

In deze live training onder leiding van een instructeur (op locatie of op afstand) leren deelnemers hoe ze de Apache Beam SDK's kunnen implementeren in een Java of Python applicatie die een gegevensverwerkingspijplijn definieert voor het opsplitsen van een grote dataset in kleinere brokken voor onafhankelijke, parallelle verwerking.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Apache Beam.
• Gebruik een enkel programmeermodel om zowel batch- als streamverwerking uit te voeren vanuit hun Java of Python toepassing.
• Voer pijplijnen uit in meerdere omgevingen.

Vorm van de cursus

• Deels lezing, deels discussie, oefeningen en zware hands-on oefening

Notitie

• Deze cursus zal in de toekomst beschikbaar zijn Scala. Neem contact met ons op om dit te regelen.

Dag 1 - biedt een overzicht op hoog niveau van essentiële Big Data onderwerpgebieden. De module is verdeeld in een reeks secties, die elk vergezeld gaan van een praktische oefening.

Dag 2 - onderzoekt een reeks onderwerpen die betrekking hebben op analysepraktijken en hulpmiddelen voor Big Data omgevingen. Het gaat niet over implementatie- of programmadetails, maar houdt in plaats daarvan dekking op een conceptueel niveau, gericht op onderwerpen die deelnemers in staat stellen een uitgebreid begrip te ontwikkelen van de gemeenschappelijke analysefuncties en functies die door Big Data oplossingen worden aangeboden.

Dag 3 - biedt een overzicht van de fundamentele en essentiële onderwerpgebieden met betrekking tot de platformarchitectuur voor Big Data oplossingen. Het omvat Big Data mechanismen die nodig zijn voor de ontwikkeling van een Big Data oplossingsplatform en architecturale opties voor het samenstellen van een gegevensverwerkingsplatform. Er worden ook algemene scenario's gepresenteerd om een basiskennis te geven van hoe een Big Data oplossingsplatform in het algemeen wordt gebruikt.

Dag 4 - bouwt voort op dag 3 door geavanceerde onderwerpen te verkennen die betrekking hebben op de platformarchitectuur voor Big Data oplossingen. In het bijzonder worden verschillende architecturale lagen die deel uitmaken van het Big Data oplossingsplatform geïntroduceerd en besproken, waaronder gegevensbronnen, gegevensinvoer, gegevensopslag, gegevensverwerking en beveiliging.

Dag 5 - behandelt een aantal oefeningen en problemen die zijn ontworpen om het vermogen van de afgevaardigden om kennis van onderwerpen die op dag 3 en 4 zijn behandeld toe te passen, te testen.

In deze instructeursgeleide, live training in Enschede TU, leren de deelnemers de mindset waarmee ze Big Data technologieën kunnen benaderen, de impact op bestaande processen en beleidslijnen kunnen evalueren, en deze technologieën kunnen implementeren om criminële activiteiten te identificeren en criminaliteit te voorkomen. Case studies van handhavingsorganisaties over de hele wereld zullen worden onderzocht om inzichten te krijgen in hun adoptiebenaderingen, uitdagingen en resultaten.

Aan het einde van deze training zullen de deelnemers in staat zijn om:

• Big Data technologie combineren met traditionele processen voor gegevensverzameling om een verhaal samen te voegen tijdens een onderzoek.
• Industriële big data-opslag- en verwerkingsoplossingen implementeren voor data-analyse.
• Een voorstel voor te bereiden voor de adoptie van de meest geschikte tools en processen om een datagestuurde aanpak van strafrechtelijk onderzoek mogelijk te maken.

Big Data is een term die verwijst naar oplossingen die zijn bedoeld voor het opslaan en verwerken van grote gegevenssets. Go eerste instantie ontwikkeld door Go ogle, hebben deze Big Data oplossingen andere vergelijkbare projecten ontwikkeld en geïnspireerd, waarvan vele beschikbaar zijn als open-source. R is een populaire programmeertaal in de financiële sector.

Wanneer traditionele opslagtechnologieën niet omgaan met de hoeveelheid gegevens die u moet opslaan, zijn er honderden alternatieven. Deze cursus probeert de deelnemers te begeleiden wat alternatieven zijn voor het opslaan en analyseren van Big Data en wat hun voor- en nadelen zijn.

Deze cursus is vooral gericht op discussie en presentatie van oplossingen, hoewel praktische oefeningen op aanvraag beschikbaar zijn.

De cursus maakt deel uit van de vaardigheden van Data Scientist (Domain: Data and Technology).

Deze klassikale trainingssessie onderzoekt Big Data. Afgevaardigden krijgen computergebaseerde voorbeelden en casestudy-oefeningen die ze kunnen uitvoeren met relevante big data-tools

Deze instructeur-geleide, live training (ter plaatse of op afstand) is gericht op ingenieurs die Confluent (een distributie van Kafka) willen gebruiken om een realtime gegevensverwerkingsplatform voor hun toepassingen te bouwen en te beheren.

Aan het einde van deze training kunnen deelnemers:

• Confluent Platform installeren en configureren.
• Confluents beheertools en -diensten gebruiken om Kafka makkelijker te runnen.
• Inkomende stroomgegevens opslaan en verwerken.
• Kafka-clusters optimaliseren en beheren.
• Datastromen beveiligen.

Indeling van de cursus

• Interactieve colleges en discussies.
• Veel oefeningen en praktijk.
• Praktische implementatie in een live-labomgeving.

Opties voor cursusaanpassing

• Deze cursus is gebaseerd op de open-source versie van Confluent: Confluent Open Source.
• Voor een aangepaste training voor deze cursus, neem contact met ons op om dit te regelen.

Publiek

Als u de gegevens waartoe u toegang heeft, wilt begrijpen of ongestructureerde gegevens op het internet wilt analyseren (zoals Twitter, Linked in, enz ...), is deze cursus iets voor u.

Het is vooral bedoeld voor besluitvormers en mensen die moeten kiezen welke gegevens het verzamelen waard zijn en wat het analyseren waard is.

Het is niet gericht op mensen die de oplossing configureren, die mensen zullen echter profiteren van het grote geheel.

Bezorgingsmodus

Tijdens de cursus krijgen de deelnemers werkvoorbeelden van voornamelijk open source-technologieën.

Korte lezingen worden gevolgd door een presentatie en eenvoudige oefeningen door de deelnemers

Gebruikte inhoud en software

Alle gebruikte software wordt elke keer dat de cursus wordt uitgevoerd bijgewerkt, dus we controleren de nieuwste versies mogelijk.

Het omvat het proces van het verkrijgen, formatteren, verwerken en analyseren van de gegevens, om uit te leggen hoe het besluitvormingsproces kan worden geautomatiseerd met machine learning.

In deze live training onder leiding van een instructeur in Enschede TU leren deelnemers hoe ze een Data Vault kunnen bouwen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp de architectuur- en ontwerpconcepten achter Data Vault 2.0 en de interactie met Big Data, NoSQL en AI.
• Gebruik technieken voor het opslaan van gegevens om controles, traceringen en inspecties van historische gegevens in een datawarehouse mogelijk te maken.
• Ontwikkel een consistent en herhaalbaar ETL-proces (Extract, Transform, Load).
• Bouw en implementeer zeer schaalbare en herhaalbare magazijnen.

Deze live training onder leiding van een instructeur in Enschede TU (online of ter plaatse) is bedoeld voor architecten, ontwikkelaars en beheerders die Denodo Platform willen gebruiken om gegevensbeheer te optimaliseren en te versnellen door middel van gegevensvirtualisatie.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Denodo Platform.
• Begrijp de functies en architectuur van Denodo Platform.
• Krijg inzicht in de belangrijkste concepten, voordelen en gebruiksscenario's voor gegevensvirtualisatie.
• Meer informatie over het configureren en beheren van de Denodo Platform-server.
• Implementeer gegevensbeveiliging, gebruikerstoegang en serviceverificatie.
• Pas de tools en technieken toe voor operationele monitoring en prestatie-optimalisatie.

Apache Druid is een open-source, kolomgeoriënteerde, gedistribueerde gegevensopslag geschreven in Java . Het is ontworpen om snel enorme hoeveelheden gebeurtenisgegevens op te nemen en OLAP-query's met lage latentie op die gegevens uit te voeren. Druid wordt vaak gebruikt in business intelligence-toepassingen om grote hoeveelheden realtime en historische gegevens te analyseren. Het is ook zeer geschikt voor het aansturen van snelle, interactieve, analytische dashboards voor eindgebruikers. Druid wordt gebruikt door bedrijven zoals Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal en Yahoo.

In deze door een instructeur geleide live cursus verkennen we enkele van de beperkingen van datawarehouse-oplossingen en bespreken we hoe Druid deze technologieën kan aanvullen om een flexibele en schaalbare streaming analytics-stack te vormen. We nemen vele voorbeelden door en bieden deelnemers de kans om op druïden gebaseerde oplossingen in een laboratoriumomgeving te implementeren en te testen.

Indeling van de cursus

• Deelcollege, deelbespreking, zware praktijkoefeningen, incidentele testen om begrip te peilen

Big data zijn datasets die zo omvangrijk en complex zijn dat traditionele applicatiesoftware voor gegevensverwerking onvoldoende is om hiermee om te gaan. Big data-uitdagingen zijn onder meer het vastleggen van gegevens, gegevensopslag, gegevensanalyse, zoeken, delen, overdragen, visualiseren, opvragen, bijwerken en informatieprivacy.

Deze live training onder leiding van een instructeur in Enschede TU (online of ter plaatse) introduceert de principes en benaderingen achter gedistribueerde stream- en batchgegevensverwerking, en begeleidt deelnemers bij het maken van een real-time toepassing voor gegevensstreaming in Apache Flink.

Aan het einde van deze training zijn de deelnemers in staat om:

• Zet een omgeving op voor het ontwikkelen van toepassingen voor data-analyse.
• Begrijp hoe de grafische verwerkingsbibliotheek van Apache Flink (Gelly) werkt.
• Verpak, voer uit en bewaak op Fusen gebaseerde, fouttolerante toepassingen voor gegevensstreaming.
• Beheer diverse workloads.
• Voer geavanceerde analyses uit.
• Stel een Flink-cluster met meerdere knooppunten in.
• Meet en optimaliseer prestaties.
• Integreer Flink met verschillende Big Data systemen.
• Vergelijk de mogelijkheden van Flink met die van andere frameworks voor de verwerking van big data.

In deze door een instructeur geleide, live training in Enschede TU, leren deelnemers over het technologieaanbod en de implementatiebenaderingen voor het verwerken van grafiekgegevens. Het doel is om objecten uit de echte wereld, hun kenmerken en relaties te identificeren, deze relaties vervolgens te modelleren en ze als gegevens te verwerken met behulp van een Graph Computing (ook bekend als Graph Analytics) benadering. We beginnen met een breed overzicht en beperken ons tot specifieke tools terwijl we een reeks casestudy's, hands-on oefeningen en live implementaties doorlopen.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp hoe grafiekgegevens worden bewaard en doorkruist.
• Selecteer het beste framework voor een bepaalde taak (van graph databases tot batch processing frameworks).
• Implementeer Hadoop, Spark, GraphX en Pregel om grafiekberekeningen op veel machines parallel uit te voeren.
• Bekijk real-world big data-problemen in termen van grafieken, processen en traversals.

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op beheerders die business intelligence- en datawarehousing-oplossingen willen opzetten Greenplum Database.

Aan het einde van deze training kunnen deelnemers:

• Verwerkingsbehoeften aanpakken met Greenplum.
• ETL-operaties uitvoeren voor gegevensverwerking.
• Bestaande query-verwerkingsinfrastructuren benutten.

Deze live training onder leiding van een instructeur in Enschede TU (online of ter plaatse) introduceert Hortonworks Data Platform (HDP) en leidt deelnemers door de implementatie van de Spark + Hadoop-oplossing.

Aan het einde van deze training zijn de deelnemers in staat om:

• Gebruik Hortonworks om op grote schaal betrouwbaar Hadoop uit te voeren.
• Integreer de beveiligings-, governance- en operationele mogelijkheden van Hadoop met de flexibele analytische workflows van Spark.
• Gebruik Hortonworks om elk van de componenten in een Spark-project te onderzoeken, te valideren, te certificeren en te ondersteunen.
• Verwerk verschillende soorten gegevens, waaronder gestructureerde, ongestructureerde, in-beweging en stilstaande gegevens.

Cloudera Impala is een open source massively parallel processing (MPP) SQL query engine voor Apache Hadoop clusters.

Impala stelt gebruikers in staat om SQL query's met lage latentie uit te voeren op gegevens die zijn opgeslagen in Hadoop Distributed File System en Apache Hbase zonder dat gegevensverplaatsing of -transformatie nodig is.

Audiëntie

Deze cursus is bedoeld voor analisten en datawetenschappers die analyses uitvoeren op gegevens die zijn opgeslagen in Hadoop via Business Intelligence of SQL tools.

Na afloop van deze cursus zijn de deelnemers in staat om

• Haal zinvolle informatie uit Hadoop clusters met Impala.
• Schrijf specifieke programma's om Business Intelligentie in Impala SQL Dialect te vergemakkelijken.
• Problemen oplossen Impala.

In deze door een instructeur geleide, live training in Enschede TU (op locatie of op afstand), leren deelnemers hoe ze verschillende Stream Processing raamwerken kunnen opzetten en integreren met bestaande big data-opslagsystemen en gerelateerde softwareapplicaties en microservices.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer verschillende Stream Processing frameworks, zoals Spark Streaming en Kafka Streaming.
• Begrijp en selecteer het meest geschikte raamwerk voor de taak.
• Verwerken van gegevens continu, gelijktijdig en record voor record.
• Integreer Stream Processing oplossingen met bestaande databases, datawarehouses, datameren, enz.
• Integreer de meest geschikte bibliotheek voor streamverwerking met bedrijfsapplicaties en microservices.

Kafka Streams is een client-side bibliotheek voor het bouwen van applicaties en microservices waarvan de gegevens worden doorgegeven aan en van een Kafka-berichtensysteem. Traditioneel vertrouwde Apache Kafka op Apache Spark of Apache Storm om gegevens tussen berichtproducenten en consumenten te verwerken. Door de Kafka Streams API vanuit een applicatie aan te roepen, kunnen gegevens direct in Kafka worden verwerkt, waardoor de noodzaak om de gegevens naar een afzonderlijk cluster te sturen voor verwerking wordt omzeild.

In deze live training onder leiding van een instructeur leren deelnemers hoe ze Kafka Streams kunnen integreren in een reeks voorbeeld Java applicaties die gegevens van en naar Apache Kafka doorgeven voor stroomverwerking.

Aan het einde van deze training kunnen deelnemers:

• De functies en voordelen van Kafka Streams begrijpen in vergelijking met andere stroomverwerkingsframeworks
• Stroomgegevens direct binnen een Kafka-cluster verwerken
• Een Java of Scala applicatie of microservice schrijven die geïntegreerd is met Kafka en Kafka Streams
• Concis code schrijven die invoer Kafka-onderwerpen omzet in uitvoer Kafka-onderwerpen
• De applicatie bouwen, pakketteren en implementeren

Publiek

• Ontwikkelaars

Formaat van de cursus

• Gedeeltelijk college, gedeeltelijk discussie, oefeningen en veel praktijk

Notes

• Om een aangepaste training voor deze cursus aan te vragen, neem dan contact met ons op om dit te regelen

Deze live training onder leiding van een instructeur in Enschede TU (online of ter plaatse) is bedoeld voor ontwikkelaars die Apache Kafka streamverwerking willen implementeren zonder code te schrijven.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Confluent KSQL.
• Stel een stroomverwerkingspijplijn in met alleen SQL opdrachten (geen Java of Python codering).
• Voer gegevensfiltering, transformaties, aggregaties, joins, windowing en sessionization volledig uit in SQL.
• Ontwerp en implementeer interactieve, continue query's voor streaming ETL en realtime analyses.

Deze door een instructeur geleide, live training (ter plaatse of op afstand) is gericht op technische personen die willen leren hoe ze een machine learning-strategie kunnen implementeren en tegelijkertijd het gebruik van big data kunnen maximaliseren.

Aan het einde van deze training zullen de deelnemers:

• Begrijp de evolutie en trends op het gebied van machine learning.
• Weet hoe machine learning in verschillende industrieën wordt gebruikt.
• Raak vertrouwd met de tools, vaardigheden en diensten die beschikbaar zijn om machine learning binnen een organisatie te implementeren.
• Begrijp hoe machine learning kan worden gebruikt om datamining en analyse te verbeteren.
• Ontdek wat een data middle-backend is en hoe deze door bedrijven wordt gebruikt.
• Begrijp de rol die big data en intelligente toepassingen in verschillende sectoren spelen.

In deze live training onder leiding van een instructeur in Enschede TU (ter plaatse of op afstand) leren deelnemers hoe ze Apache NiFi kunnen implementeren en beheren in een live labomgeving.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Apachi NiFi.
• Bron, transformeer en beheer gegevens uit ongelijksoortige, gedistribueerde gegevensbronnen, waaronder databases en big data lakes.
• Automatiseer gegevensstromen.
• Schakel streaminganalyse in.
• Pas verschillende benaderingen toe voor gegevensopname.
• Transformeer Big Data en naar zakelijke inzichten.

In deze door een instructeur geleide, live training in Enschede TU leren deelnemers de basisprincipes van flow-based programmeren terwijl ze een aantal demo-extensies, componenten en processors ontwikkelen met behulp van Apache NiFi.

Aan het einde van deze training zijn de deelnemers in staat om:

• Begrijp de architectuur en dataflowconcepten van NiFi.
• Ontwikkel extensies met behulp van NiFi en API's van derden.
• Op maat ontwikkelen van hun eigen Apache Nifi processor.
• Neem real-time gegevens op en verwerk ze uit ongelijksoortige en ongebruikelijke bestandsindelingen en gegevensbronnen.

Deze live training onder leiding van een instructeur in Enschede TU (online of ter plaatse) is bedoeld voor data-engineers, datawetenschappers en programmeurs die Spark Streaming functies willen gebruiken bij het verwerken en analyseren van realtime gegevens.

Aan het einde van deze training zijn deelnemers in staat om Spark Streaming te gebruiken om live datastromen te verwerken voor gebruik in databases, bestandssystemen en live dashboards.

MLlib is Spark's machine learning (ML) bibliotheek. Het doel is om praktische machine learning schaalbaar en eenvoudig te maken. Het bestaat uit algemene leeralgoritmen en hulpprogramma's, waaronder classificatie, regressie, clustering, collaboratieve filtering, vermindering van de dimensionaliteit, evenals optimalisatieprimitieven op een lager niveau en pijplijn-API's op een hoger niveau.

Het is verdeeld in twee pakketten:

• spark.mllib bevat de originele API gebouwd bovenop RDD's.

• spark.ml biedt een API op een hoger niveau gebouwd bovenop DataFrames voor het construeren van ML-pijpleidingen.

Publiek

Deze cursus is bedoeld voor ingenieurs en ontwikkelaars die een ingebouwde machinebibliotheek voor Apache Spark

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op technische personen die Talend Open Studio voor Big Data willen inzetten om het proces van het lezen en verwerken van Big Data te vereenvoudigen.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Talend Open Studio voor Big Data.
• Maak verbinding met Big Data-systemen zoals Cloudera, HortonWorks, MapR, Amazon EMR en Apache.
• Begrijp en installeer de big data-componenten en connectoren van Open Studio.
• Configureer parameters om automatisch MapReduce-code te genereren.
• Gebruik de drag-and-drop-interface van Open Studio om Hadoop-taken uit te voeren.
• Prototype van big data-pijplijnen.
• Automatiseer big data-integratieprojecten.

Deze live training onder leiding van een instructeur introduceert de concepten achter interactieve data-analyse en leidt deelnemers door de implementatie en het gebruik van Zeppelin in een omgeving met één of meerdere gebruikers.

Aan het einde van deze training zijn de deelnemers in staat om:

• Installeer en configureer Zeppelin
• Ontwikkel, organiseer, voer uit en deel gegevens in een browsergebaseerde interface
• Visualiseer resultaten zonder te verwijzen naar de opdrachtregel of clusterdetails
• Lange workflows uitvoeren en eraan samenwerken
• Werk met een aantal plug-in taal-/gegevensverwerkende backends, zoals Scala (met Apache Spark), Python (met Apache Spark), Spark SQL, JDBC, Markdown en Shell.
• Integreer Zeppelin met Spark, Flink en Map Reduce
• Beveilig multi-user instances van Zeppelin met Apache Shiro