Inzicht in diepe neurale netwerken Training Cursus

Deel 1 – Deep Learning en concepten rond DNN’s

Inleiding tot AI, Machine Learning & Deep Learning

• Geschiedenis, basisconcepten en veelvoorkomende toepassingen van kunstmatige intelligentie, los van de fantasieën die erover bestaan
• Collectieve Intelligentie: het bundelen van kennis van talrijke virtuele agenten
• Genetische algoritmen: selectieprocedure voor het laten evolueren van een populatie virtuele agenten
• Definitie van lerende systemen
• Type taken: supervised learning, unsupervised learning en reinforcement learning
• Typen acties: classificatie, regressie, clustering, dichtheidsschatting en dimensiereductie
• Voorbeelden van machine learning-algoritmen: lineaire regressie, Naive Bayes, willekeurige bomen
• Machine Learning versus Deep Learning: welke problemen worden door Machine Learning nog steeds het best opgelost (Random Forests & XGBoosts)

Basisconcepten van neurale netwerken (toepassing: meerdere-laags perceptron)

• Herinnering aan wiskundige grondslagen
• Definitie van een neuronennetwerk: standaardarchitectuur, activatiefuncties en
• gewichten voor eerdere activeringen, diepte van het netwerk
• Leren door neurale netwerken: kostfuncties, backpropagatie, stochastische afgeleide optimalisatie en maximumwaarschijnlijkheid
• Modellering van een neuronennetwerk: input- en outputdata aanpassen aan het probleemtype (regressie, classificatie...). Het probleem van hoge dimensionaliteit.
• Onderscheid tussen meerdere kenmerken en signalen. Kies een kostfunctie afhankelijk van de data.
• Het benaderen van een functie door een neuronennetwerk: presentatie en voorbeelden
• Het benaderen van een verdeling door een neuronennetwerk: presentatie en voorbeelden
• Data-augmentatie: hoe een dataset te balanceren
• Generalisatie van resultaten afkomstig uit een neuronennetwerk
• Initialisatie en regularisatie van neurale netwerken: L1/L2-regularisatie, batchnormalisatie
• Optimalisatie- en convergentiealgoritmen

Standaard tools voor Machine Learning / Deep Learning

Er wordt een eenvoudige presentatie gegeven van de voordelen, nadelen en positionering binnen het ecosysteem, evenals gebruikswijzen.

• Data-beheer tools: Apache Spark, Apache Hadoop Tools
• Machine Learning: Numpy, Scipy, Sci-kit
• High-level Deep Learning-frameworks: PyTorch, Keras, Lasagne
• Low-level Deep Learning-frameworks: Theano, Torch, Caffe, TensorFlow

Convolutionele neurale netwerken (CNN’s).

• Introductie van CNN’s: fundamentele principes en toepassingen
• Basisprincipes van een CNN: convolutional layer, gebruik van kernels,
• Padding en stappenverhouding, genereren van feature maps, pooling-lagen. Uitbreiding naar 1D-, 2D- en 3D-vormen.
• Overzicht van de meest bepalende CNN-architecturen die momenteel leidend zijn in classificatie
• Voorbeelden: LeNet, VGG-netwerken, Network-in-Network, Inception en ResNet. Presentatie van innovaties per architectuur en hun bredere toepassingen (convolutie 1x1 of residuale verbindingen)
• Het gebruik van attention-modellen.
• Toepassing in een veelvoorkomende classificatiecontext (tekst of afbeelding)
• CNN’s voor generatie: superresolutie, pixel-naar-pixel segmentatie. Presentatie van
• voornaamste strategieën om feature maps uit te breiden voor afbeeldingsgeneratie.

Recurrente neurale netwerken (RNN’s).

• Introductie van RNN’s: fundamentele principes en toepassingen.
• Basisprincipes van een RNN: verborgen activaties, backpropagatie in de tijd en uitgevouwen variant.
• Evolutie naar Gated Recurrent Units (GRU’s) en LSTM (Long Short Term Memory).
• Verschillende toestanden binnen deze architectuur en hun ontwikkelingen.
• Convergentieproblemen en het fenomeen van verdwijnende afgeleiden
• Standaardarchitecturen: voorspellen van tijdreeksen, classificatie...
• RNN-Encoder-Decoder architectuur. Het gebruik van een attention-model.
• Toepassingen binnen NLP: codering van woorden/tekens en vertaling.
• Video-toepassingen: voorspellen welke afbeelding in een videosequentie volgt.

Generatieve modellen: Variational AutoEncoder (VAE) en Generative Adversarial Networks (GAN).

• Introductie van generatieve modellen, hun relatie tot CNN’s
• Auto-encoder: dimensionaliteitsreductie en beperkte generatiecapaciteit
• Variational Auto-Encoder: het concept van een generatief model, schatting van de onderliggende verdeling. Definitie en gebruik van latent ruimte. Reparametriseringstruuk. Toepassingen en bekende beperkingen.
• Generative Adversarial Networks: grondprincipes.
• Duale netwerkarchitectuur (generator en discriminator) met wisselend leren, diverse kostfuncties beschikbaar.
• Convergentieproblemen bij GAN’s en veelvoorkomende uitdagingen.
• Geavanceerde convergentiestrategieën: Wasserstein GAN, Began, Earth Moving Distance.
• Toepassingen op het gebied van beeld-, tekstgeneratie en superresolutie.

Deep Reinforcement Learning.

• Introductie tot reinforcement learning: besturing van een agent binnen een vooraf gedefinieerde omgeving
• Op basis van huidige toestand en mogelijke acties
• Gebruik van een neurale netwerk om de waardefunctie te schatten
• Deep Q Learning: hergebruik van ervaringen, toepassing bij het besturen van videospellen.
• Optimalisatie van leerbeleid. On-policy en off-policy methoden. Actor-Critic architectuur en A3C.
  
• Toepassingen: besturing van videospelletjes of digitale systemen.

Deel 2 – Theano voor Deep Learning

Grondbeginselen van Theano

• Introductie
• Installatie en configuratie

TheanoFunctions

• inputs, outputs, updates, givens

Trainen en optimaliseren van een neuronennetwerk met Theano

• Modellering van een neuronennetwerk
• Logistische regressie
• Verborgen lagen implementeren
• Netwerk trainen
• Berekeningen en classificatieprocessen uitvoeren
• Optimalisatiestrategieën toepassen
• Log Loss berekenen

Testen van het model

Deel 3 – DNN-ontwikkeling met TensorFlow

Grondbeginselen van TensorFlow

• Variabelen in TensorFlow aanmaken, initialiseren, opslaan en herstellen
• Data invoeren, lezen en vooraf laden met TensorFlow
• Hoe de infrastructuur van TensorFlow te gebruiken om modellen op grote schaal te trainen
• Visualisatie en evaluatie van modellen via TensorBoard

Mechanica van TensorFlow

• Voorbereiden van de benodigde data
• Data downloaden en laden
• Invoerparameters definiëren en placeholders aanmaken
• Het grafiekmodel construeren
  
  • Inferentie uitvoeren
  • Kostfunctie berekenen
  • Training implementeren
• Het model trainen
  
  • Graafstructuur verwerken
  • Session starten en gebruiken
  • Trainingslus instellen en uitvoeren
• Het model evalueren
  
  • Eval-grafiek opbouwen
  • Resultaten verwerken en weergeven

De perceptron

• Activatiefuncties toepassen
• De leeralgoritme van de perceptron
• Binaire classificatie met behulp van een perceptron
• Documentclassificatie middels de perceptron
• Beperkingen van het perceptron-concept

Van perceptron naar Support Vector Machines

• Kernels en de kernel-trick
  
• Maximaal margin-classificatie en de bijbehorende support vectors

Artificiële neurale netwerken

• Niet-lineaire beslissingsgrenzen implementeren
• Forward- en feedback-routes in neuronennetwerken definiëren
• Meerdere-laags perceptronen bouwen
  
• Kostfunctie minimaliseren
  
• Forward propagatie toepassen
  
• Backpropagatie uitvoeren
  
• Lerefficiëntie verbeteren in neuronennetwerken
  

Convolutionele neurale netwerken

• Doelstellingen en verwachtingen bepalen
• Modelarchitectuur ontwerpen
  
• Fundamentele principes verduidelijken
  
• Code-organisatie plannen
  
• Model initialiseren, opstarten en trainen
  
• Prestaties van het model beoordelen
  

Korte introductie tot de volgende onderwerpen (afhankelijk van beschikbare tijd):

Geavanceerd gebruik van TensorFlow

• Threading en wachtrijen
• Verspreide TensorFlow-implementaties
  
• Documentatie schrijven en modellen delen
• Aanpassing van data-invoerprocedures
  
• Wijzigen van TensorFlow-modelbestanden
  

TensorFlow Serving

• Introductie tot het onderwerp
  
• Basisles over het gebruik van TensorFlow Serving
• Gevorderde technieken binnen TensorFlow Serving
  
• Toepassing: Inception-model serveren met deze methode