Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Introductie tot EXO en lokaal AI-clusteren
- Overzicht van het EXO-framework en het exo-explore-ecosysteem
- Vergelijken van gecentraliseerde cloud-inferentie versus gedistribueerde lokale inferentie
- Architectuur: libp2p-apparaatdiscoverie, MLX-backend, dashboard en API-laag
- Hardwarevereisten: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, gedeelde opslag
EXO installeren op macOS
- Opzetten van Xcode, Metal ToolChain en macOS-voorwaarden
- Installatie van uv, Node.js en de nightly-versie van de Rust-toolchain
- Installatie van de vastgelegde macmon-fork voor Apple Silicon-monitoring
- Kloon het repository en bouw het dashboard met npm
- EXO uitvoeren vanuit broncode en het dashboard op localhost:52415 verifiëren
EXO installeren op Linux
- Installeren van afhankelijkheden via apt of Homebrew op Linux
- Configureren van uv, Node.js 18+ en nightly-versie van Rust
- Bouwen van het dashboard en uitvoeren van EXO in alleen-CPU-modus
- Bestandsindeling: XDG Base Directory-pad voor configuratie, gegevens, cache en logboeken
Automatische apparaatdiscoverie en clustervorming
- Het werken begrijpen met automatische discoverie gebaseerd op libp2p over lokale netwerken
- Op maat gemaakte namespaces configureren met EXO_LIBP2P_NAMESPACE voor clusterisolatie
- Verifiëren van knooppuntledenchap in de clusterview van het dashboard
- Hanteren van discoveriefouten en problemen met netwerksegmentatie
RDMA over Thunderbolt 5 inschakelen
- RDMA-architectuur en de bewering van 99 procent reductie in latentie
- RDMA inschakelen in de macOS Recovery-modus met rdma_ctl
- Kabeleisen en beperkingen voor poorttopologie op Mac Studio
- Zorgen dat macOS-versies op alle clusterknooppunten overeenkomen
- Problemen oplossen bij RDMA-discoverie en DHCP-configuratie
Modellen uit de topsector implementeren
- Gebruikmaken van het dashboard om DeepSeek v3.1, Qwen3-235B en de Llama-familie te laden en te sharding
- Voorbeelden van instantieplaatsingen bekijken via het API-eindpunt /instance/previews
- Modelinstanties aanmaken met pipeline- of tensor-parallelle sharding
- Aangepaste modelkaarten configureren van de HuggingFace-hub
Bewaking en probleemoplossing
- EXO-logboeken lezen en gedistribueerde tracing begrijpen
- De gezondheidsstatus van het cluster interpreteren in de clusterview van het dashboard
- Werkknoppelfouten en herkoppelingsgedrag diagnosticeren
- EXO_TRACING_ENABLED gebruiken voor analyse van prestatieknelpunten
Clustersonderhoud en updates
- EXO-binaries updaten en procedures voor het herbouwen van het dashboard
- Modelcaches migreren en vooraf gedownloade modellen beheren via NFS
- Knooppunten op een gecontroleerde manier verwijderen en werkbelastingen herbannen
Vereisten
- Kennis van de basisprincipes van netwerken (IP, subnetting, firewalls)
- Ervaring met command line-administratie op macOS of Linux
- Vertrouwdheid met Python-pakketbeheer (pip/uv) en Node.js-tools
Doelgroep
- Systeembeheerders
- DevOps-engineers
- Architecten voor AI-infrastructuur die verantwoordelijk zijn voor on-premise LLM-implementatie
21 Uren
Aangepaste bedrijfsopleiding
Opleidingsoplossingen ontworpen exclusief voor bedrijven.
- Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
- Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
- Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Prijs per privégroep, online live training, startend vanaf 4800 € + BTW*
Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen