Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Invoering
- Overzicht van uitdagingen op het gebied van deep learning-schaling
- Overzicht van DeepSpeed en zijn functies
- DeepSpeed versus andere gedistribueerde deep learning-bibliotheken
Aan de slag
- Het opzetten van de ontwikkelomgeving
- PyTorch en DeepSpeed installeren
- DeepSpeed configureren voor gedistribueerde training
DeepSpeed-optimalisatiefuncties
- DeepSpeed-trainingspijplijn
- ZeRO (geheugenoptimalisatie)
- Activeringscontrolepunten
- Verloopcontrolepunten
- Parallellisme in de pijpleiding
Modellen schalen met DeepSpeed
- Basisschaling met DeepSpeed
- Geavanceerde schaaltechnieken
- Prestatieoverwegingen en best practices
- Debug- en probleemoplossingstechnieken
Geavanceerde DeepSpeed-onderwerpen
- Geavanceerde optimalisatietechnieken
- DeepSpeed gebruiken met gemengde precisietraining
- DeepSpeed op verschillende hardware (bijv. GPUs, TPU's)
- DeepSpeed met meerdere trainingsknooppunten
DeepSpeed integreren met PyTorch
- Integratie van DeepSpeed met PyTorch-workflows
- DeepSpeed gebruiken met PyTorch Lightning
Probleemoplossen
- Veelvoorkomende DeepSpeed-problemen opsporen
- Monitoren en loggen
Samenvatting en volgende stappen
- Samenvatting van de belangrijkste concepten en functies
- Best practices voor het gebruik van DeepSpeed in productie
- Verdere bronnen om meer te leren over DeepSpeed
Requirements
- Gemiddelde kennis van deep learning-principes
- Ervaring met PyTorch of vergelijkbare deep learning-frameworks
- Kennis van programmeren in Python
Publiek
- Datawetenschappers
- Machine learning-ingenieurs
- Ontwikkelaars
21 Hours