CONTACT ONS

Cursusaanbod

Inleiding tot grote taalmodellen (LLM's)

  • Overzicht van LLM's
  • Definitie en belang ervan
  • Huidige toepassingen in de kunstmatige intelligentie

Architectuur van transformatoren

  • Wat is een transformer en hoe werkt die?
  • Belangrijkste onderdelen en kenmerken
  • Embeddings en positiecoderingen
  • Meervoudige aandachtsmechanismen
  • Feed-forward neuronale netwerken
  • Normalisatie en residuale verbindingen

Transformer-modellen

  • Het zelf-aandachtmechanisme
  • Encoder-decoderarchitectuur
  • Positie-embeddings
  • BERT (Bidirectional Encoder Representations from Transformers)
  • GPT (Generative Pretrained Transformer)

Prestatieoptimalisatie en veelgemaakte valkuilen

  • Grenzen van contextlengte
  • Mamba- en state-space-modellen
  • Flash attention-technologie
  • Sparse transformatoren
  • Vision transformers
  • Het belang van kwantisatie bij modellering

Het verbeteren van transformatoren

  • Retrieval-augmented tekstgeneratie
  • Gebruik van meerdere modellen in combinatie
  • Tree of Thoughts-benadering

Fijnafstemming

  • Principes achter low-rank adaptation
  • Hoe LLM's fijnaf te stellen met QLora

Scalingsregels en optimalisatie bij LLM's

  • Waarom scalingsregels cruciaal zijn voor grote taalmodellen
  • Schaalbaarheid van data en modelgrootte
  • Computatieve schaalvergroting
  • Hoe parameter-efficiëntie te verbeteren

Optimalisatie

  • Hoe modelgrootte, hoeveelheid beschikbare data en rekenkracht samenwerken met vereisten voor inferentie
  • Beste manieren om prestaties te optimaliseren
  • Tools en aanbevelingen voor training en fine-tuning

Training en fijnafstemming van LLM's

  • Hoe een groot taalmodel van scratch op te bouwen
  • Verzameling en onderhoud van data
  • De eisen aan opslagcapaciteit, verwerkingselementen en geheugen
  • Praktische optimalisatieproblemen die kunnen optreden
  • Een overzicht van open-source LLM-oplossingen

Kernprincipes van referentiele leertechnieken (RL)

  • Inleiding tot het concept van referentiele leertechnieken
  • Leermogelijkheden door positieve beloning
  • Grondbeginselen en definities binnen dit vakgebied
  • Het Markhov-decisiemodel (MDP)
  • Dynamic programming-technieken
  • Monte Carlo-berekeningsmethoden
  • Tijdsafhankelijke leermechanismen

Diepe referentiele leertechnieken

  • Deep Q-Networks (DQN)
  • Proximal Policy Optimization (PPO)
  • Basiselementen van referentiele leerprocessen

Integratie van LLM's en RL-technieken

  • Hoe beide vormen samen te combineren
  • Rol van RL bij het verbeteren van taalmodellen
  • Referentiele leertechnieken met menselijke feedback (RLHF)
  • Alternatieven voor RLHF-benaderingen

Praktische toepassingen en casestudy's

  • Hoe grote taalmodellen in de praktijk gebruikt worden
  • Gelukte implementaties en gerelateerde beperkingen

Geavanceerde onderwerpen

  • Nieuwe, gevorderde technieken binnen het domein
  • Moderne optimalisatiestrategieën voor zowel LLM's als RL-modellen
  • Actuele ontwikkelingen in academisch onderzoek en praktische toepassingen

Samenvatting en vervolgstappen

Vereisten

  • Basiskennis van machine learning

Doelgroep

  • Data scientists
  • Softwareontwikkelaars
 21 Uren

Aangepaste bedrijfsopleiding

Opleidingsoplossingen ontworpen exclusief voor bedrijven.

  • Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
  • Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
  • Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Investering

Prijs per privégroep, online live training, startend vanaf 4800 € + BTW*

Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen

Voorlopige Aankomende Cursussen

Gerelateerde categorieën