Course Outline

De cursus is opgedeeld in drie verschillende dagen, waarvan de derde optioneel is.

Dag 1 - Machine Learning & Deep Learning: theoretische concepten

1. Inleiding IA, Machine Learning & Deep Learning

- Geschiedenis, fundamentele concepten en gebruikelijke toepassingen van kunstmatige intelligentie, ver verwijderd van de fantasieën die door dit vakgebied worden gedragen

- Collectieve intelligentie: geaggregeerde kennis gedeeld door talloze virtuele agenten

- Genetische algoritmen: het ontwikkelen van een populatie van virtuele agenten door selectie

- Machine Learning gebruikelijk: definitie.

- Types de tâches: begeleid leren, onbegeleid leren, versterkend leren

- Soorten acties: classificatie, regressie, clustering, schatting van de dichtheid, vermindering van de dimensionaliteit

- Voorbeelden van algoritmen Machine Learning: Lineaire regressie, Naive Bayes, Random Tree

- Machine learning VS Deep Learning: problemen waarvoor Machine Learning vandaag de dag nog steeds de stand van zaken is (Random Forests & XGBoosts)

2. Fundamentele concepten van een neuraal netwerk (Toepassing: meerlaagse perceptron)

- Herinnering aan wiskundige basisprincipes.

- Definitie van een neuraal netwerk: klassieke architectuur, activerings- en wegingsfuncties van eerdere activeringen, diepte van een netwerk

- Definitie van het leren van een neuraal netwerk: kostenfuncties, back-propagatie, stochastische gradiëntdaling, maximale waarschijnlijkheid.

- Modellering van een neuraal netwerk: modellering van invoer- en uitvoergegevens volgens het type probleem (regressie, classificatie, enz.). Vloek van de dimensionaliteit. Onderscheid tussen gegevens met meerdere functies en signaal. Keuze van een kostenfunctie op basis van de gegevens.

- Benader een functie met behulp van een neuraal netwerk: presentatie en voorbeelden

- Benadering van een distributie met behulp van een neuraal netwerk: presentatie en voorbeelden

- Data-augmentatie: hoe breng je een dataset in balans

- Generalisatie van de resultaten van een neuraal netwerk.

- Initialisaties en regularisaties van een neuraal netwerk: L1/L2-regularisatie, Batch-normalisatie...

- Optimalisaties en convergentie-algoritmen.

3. Algemene ML/DL-tools

Er is een eenvoudige presentatie gepland met voordelen, nadelen, positie in het ecosysteem en gebruik.

- Hulpmiddelen voor gegevensbeheer: Apache Spark, Apache Hadoop

- Gebruikelijke hulpmiddelen Machine Learning: Numpy, Scipy, Sci-kit

- Frameworks DL vandaag niveau: PyTorch, Keras, Lasagne

- DL-frameworks op laag niveau: Theano, Torch, Caffe, Tensorflow

 

Dag 2 – Convolutionele en terugkerende netwerken

4. Convolutioneel Neural Networks (CNN).

- Presentatie van CNN's: fundamentele principes en toepassingen

- Fundamentele werking van een CNN: convolutionele laag, gebruik van een kernel, opvulling & stride, genereren van feature maps, 'pooling'-type lagen. 1D-, 2D- en 3D-extensies.

- Presentatie van de verschillende CNN-architecturen die de nieuwste stand van de techniek op het gebied van beeldclassificatie hebben gebracht: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentatie van de innovaties die elke architectuur met zich meebrengt en hun meer globale toepassingen (1x1 convolutie of resterende verbindingen)

- Gebruik van een aandachtsmodel.

- Toepassing op een gebruikelijk classificatiescenario (tekst of afbeelding)

- CNN's voor generatie: superresolutie, pixel-voor-pixel segmentatie. Presentatie van de belangrijkste strategieën voor het uitbreiden van feature maps voor het genereren van een afbeelding.

5. Terugkerend Neural Networks (RNN).

- Presentatie van RNN's: fundamentele principes en toepassingen.

- Fonctionnement fondamental du RNN: verborgen activering, voortplanting door de tijd, uitgevouwen versie.

- Ontwikkelingen richting GRU (Gated Recurrent Units) en LSTM (Long Short Term Memory). Presentatie van de verschillende toestanden en de ontwikkelingen die deze architecturen teweegbrengen

- Convergentie- en verdwijnende gradiëntproblemen

- Soorten klassieke architecturen: voorspelling van een tijdreeks, classificatie...

- RNN Encoder Architectuur van het decodertype. Het gebruik van een aandachtsmodel.

- Toepassingen NLP: woord-/tekencodering, vertaling.

- Videotoepassingen: voorspelling van het volgende gegenereerde beeld van een videosequentie.

 

Dag 3 – Generatiemodellen en Reinforcement Learning

6. Generatiemodellen: Variational AutoEncoder (VAE) en Generative Adversarial Networks (GAN).

- Presentatie van generatiemodellen, link met CNN's gezien op dag 2

- Auto-encode: dimensionaliteitsreductie en beperkte generatie

- Variationele auto-encoder: generatiemodel en benadering van de distributie van gegevens. Definitie en gebruik van latente ruimte. Truc voor het opnieuw parametriseren. Toepassingen en waargenomen limieten

- Generatieve vijandige netwerken: fundamentele principes. Architectuur met twee netwerken (generator en discriminator) met afwisselend leren, kostenfuncties beschikbaar.

- Convergentie van een GAN en ondervonden moeilijkheden.

- Verbeterde convergentie: Wasserstein GAN, BeGAN. Aardeverplaatsingsafstand.

- Toepassingen voor het genereren van afbeeldingen of foto's, het genereren van tekst, superresolutie.

7. Diep Reinforcement Learning.

- Presentatie van versterkend leren: controle van een agent in een omgeving gedefinieerd door een staat en mogelijke acties

- Gebruik van een neuraal netwerk om de toestandsfunctie te benaderen

- Deep Q Learning: ervaar herhaling en toepassing op de besturing van een videogame.

- Optimalisaties van het leerbeleid. Binnen het beleid en& buiten het beleid. Acteur kritische architectuur. A3C.

- Toepassingen: besturing van een eenvoudig videospel of een digitaal systeem.

Requirements

Ingenieur niveau

  21 Hours
 

Related Courses

Related Categories