Course Outline

Invoering

  • Overzicht van uitdagingen op het gebied van deep learning-schaling
  • Overzicht van DeepSpeed en zijn functies
  • DeepSpeed versus andere gedistribueerde deep learning-bibliotheken

Aan de slag

  • Het opzetten van de ontwikkelomgeving
  • PyTorch en DeepSpeed installeren
  • DeepSpeed configureren voor gedistribueerde training

DeepSpeed-optimalisatiefuncties

  • DeepSpeed-trainingspijplijn
  • ZeRO (geheugenoptimalisatie)
  • Activeringscontrolepunten
  • Verloopcontrolepunten
  • Parallellisme in de pijpleiding

Modellen schalen met DeepSpeed

  • Basisschaling met DeepSpeed
  • Geavanceerde schaaltechnieken
  • Prestatieoverwegingen en best practices
  • Debug- en probleemoplossingstechnieken

Geavanceerde DeepSpeed-onderwerpen

  • Geavanceerde optimalisatietechnieken
  • DeepSpeed gebruiken met gemengde precisietraining
  • DeepSpeed op verschillende hardware (bijv. GPUs, TPU's)
  • DeepSpeed met meerdere trainingsknooppunten

DeepSpeed integreren met PyTorch

  • Integratie van DeepSpeed met PyTorch-workflows
  • DeepSpeed gebruiken met PyTorch Lightning

Probleemoplossen

  • Veelvoorkomende DeepSpeed-problemen opsporen
  • Monitoren en loggen

Samenvatting en volgende stappen

  • Samenvatting van de belangrijkste concepten en functies
  • Best practices voor het gebruik van DeepSpeed in productie
  • Verdere bronnen om meer te leren over DeepSpeed

Requirements

  • Gemiddelde kennis van deep learning-principes
  • Ervaring met PyTorch of vergelijkbare deep learning-frameworks
  • Kennis van programmeren in Python

Publiek

  • Datawetenschappers
  • Machine learning-ingenieurs
  • Ontwikkelaars
 21 Hours

Related Courses

Related Categories