Course Outline
De cursus is opgedeeld in drie verschillende dagen, waarvan de derde optioneel is.
Dag 1 - Machine Learning & Deep Learning: theoretische concepten
1. Inleiding IA, Machine Learning & Deep Learning
- Geschiedenis, fundamentele concepten en gebruikelijke toepassingen van kunstmatige intelligentie, ver verwijderd van de fantasieën die door dit vakgebied worden gedragen
- Collectieve intelligentie: geaggregeerde kennis gedeeld door talloze virtuele agenten
- Genetische algoritmen: het ontwikkelen van een populatie van virtuele agenten door selectie
- Machine Learning gebruikelijk: definitie.
- Types de tâches: begeleid leren, onbegeleid leren, versterkend leren
- Soorten acties: classificatie, regressie, clustering, schatting van de dichtheid, vermindering van de dimensionaliteit
- Voorbeelden van algoritmen Machine Learning: Lineaire regressie, Naive Bayes, Random Tree
- Machine learning VS Deep Learning: problemen waarvoor Machine Learning vandaag de dag nog steeds de stand van zaken is (Random Forests & XGBoosts)
2. Fundamentele concepten van een neuraal netwerk (Toepassing: meerlaagse perceptron)
- Herinnering aan wiskundige basisprincipes.
- Definitie van een neuraal netwerk: klassieke architectuur, activerings- en wegingsfuncties van eerdere activeringen, diepte van een netwerk
- Definitie van het leren van een neuraal netwerk: kostenfuncties, back-propagatie, stochastische gradiëntdaling, maximale waarschijnlijkheid.
- Modellering van een neuraal netwerk: modellering van invoer- en uitvoergegevens volgens het type probleem (regressie, classificatie, enz.). Vloek van de dimensionaliteit. Onderscheid tussen gegevens met meerdere functies en signaal. Keuze van een kostenfunctie op basis van de gegevens.
- Benader een functie met behulp van een neuraal netwerk: presentatie en voorbeelden
- Benadering van een distributie met behulp van een neuraal netwerk: presentatie en voorbeelden
- Data-augmentatie: hoe breng je een dataset in balans
- Generalisatie van de resultaten van een neuraal netwerk.
- Initialisaties en regularisaties van een neuraal netwerk: L1/L2-regularisatie, Batch-normalisatie...
- Optimalisaties en convergentie-algoritmen.
3. Algemene ML/DL-tools
Er is een eenvoudige presentatie gepland met voordelen, nadelen, positie in het ecosysteem en gebruik.
- Hulpmiddelen voor gegevensbeheer: Apache Spark, Apache Hadoop
- Gebruikelijke hulpmiddelen Machine Learning: Numpy, Scipy, Sci-kit
- Frameworks DL vandaag niveau: PyTorch, Keras, Lasagne
- DL-frameworks op laag niveau: Theano, Torch, Caffe, Tensorflow
Dag 2 – Convolutionele en terugkerende netwerken
4. Convolutioneel Neural Networks (CNN).
- Presentatie van CNN's: fundamentele principes en toepassingen
- Fundamentele werking van een CNN: convolutionele laag, gebruik van een kernel, opvulling & stride, genereren van feature maps, 'pooling'-type lagen. 1D-, 2D- en 3D-extensies.
- Presentatie van de verschillende CNN-architecturen die de nieuwste stand van de techniek op het gebied van beeldclassificatie hebben gebracht: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentatie van de innovaties die elke architectuur met zich meebrengt en hun meer globale toepassingen (1x1 convolutie of resterende verbindingen)
- Gebruik van een aandachtsmodel.
- Toepassing op een gebruikelijk classificatiescenario (tekst of afbeelding)
- CNN's voor generatie: superresolutie, pixel-voor-pixel segmentatie. Presentatie van de belangrijkste strategieën voor het uitbreiden van feature maps voor het genereren van een afbeelding.
5. Terugkerend Neural Networks (RNN).
- Presentatie van RNN's: fundamentele principes en toepassingen.
- Fonctionnement fondamental du RNN: verborgen activering, voortplanting door de tijd, uitgevouwen versie.
- Ontwikkelingen richting GRU (Gated Recurrent Units) en LSTM (Long Short Term Memory). Presentatie van de verschillende toestanden en de ontwikkelingen die deze architecturen teweegbrengen
- Convergentie- en verdwijnende gradiëntproblemen
- Soorten klassieke architecturen: voorspelling van een tijdreeks, classificatie...
- RNN Encoder Architectuur van het decodertype. Het gebruik van een aandachtsmodel.
- Toepassingen NLP: woord-/tekencodering, vertaling.
- Videotoepassingen: voorspelling van het volgende gegenereerde beeld van een videosequentie.
Dag 3 – Generatiemodellen en Reinforcement Learning
6. Generatiemodellen: Variational AutoEncoder (VAE) en Generative Adversarial Networks (GAN).
- Presentatie van generatiemodellen, link met CNN's gezien op dag 2
- Auto-encode: dimensionaliteitsreductie en beperkte generatie
- Variationele auto-encoder: generatiemodel en benadering van de distributie van gegevens. Definitie en gebruik van latente ruimte. Truc voor het opnieuw parametriseren. Toepassingen en waargenomen limieten
- Generatieve vijandige netwerken: fundamentele principes. Architectuur met twee netwerken (generator en discriminator) met afwisselend leren, kostenfuncties beschikbaar.
- Convergentie van een GAN en ondervonden moeilijkheden.
- Verbeterde convergentie: Wasserstein GAN, BeGAN. Aardeverplaatsingsafstand.
- Toepassingen voor het genereren van afbeeldingen of foto's, het genereren van tekst, superresolutie.
7. Diep Reinforcement Learning.
- Presentatie van versterkend leren: controle van een agent in een omgeving gedefinieerd door een staat en mogelijke acties
- Gebruik van een neuraal netwerk om de toestandsfunctie te benaderen
- Deep Q Learning: ervaar herhaling en toepassing op de besturing van een videogame.
- Optimalisaties van het leerbeleid. Binnen het beleid en& buiten het beleid. Acteur kritische architectuur. A3C.
- Toepassingen: besturing van een eenvoudig videospel of een digitaal systeem.
Requirements
Ingenieur niveau