Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
Introductie tot EXO en Lokale AI-clustering
- Overzicht van het EXO-framework en het exo-explore-ecosysteem
- Vergelijking van centrale cloud-inferentie versus gedistribueerde lokale inferentie
- Architectuur: libp2p-apparaatdetectie, MLX-backend, dashboard en API-lagen
- Hardwarevereisten: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, gedeelde opslag
EXO installeren op macOS
- Xcode, Metal ToolChain en macOS-voorwaarden instellen
- Installatie van uv, Node.js en Rust nightly toolchain
- Installatie van de gelinkte macmon-fork voor Apple Silicon-monitoring
- De repository klonen en het dashboard bouwen met npm
- EXO uitvoeren vanuit broncode en het localhost:52415-dashboard verifiëren
EXO installeren op Linux
- Afhankelijkheden installeren via apt of Homebrew op Linux
- Configuratie van uv, Node.js 18+ en Rust nightly
- Bouw van het dashboard en uitvoering van EXO in CPU-only-modus
- Directory-indeling: XDG Base Directory-paden voor configuratie, data, cache en logs
Automatische Apparaatdetectie en Clusteropbouw
- Understanding libp2p-gebaseerde auto-discovery over lokale netwerken
- Aangepaste namespaces configureren met EXO_LIBP2P_NAMESPACE voor clusterisolerings
- Verificatie van node-lidmaatschap in het dashboard-clusterweergave
- Omgang met detectiefouten en netwerksegmentatieproblemen
RDMA inschakelen via Thunderbolt 5
- RDMA-architectuur en de claims voor een reductie van 99% in latentie
- RDMA inschakelen in macOS Herstelmodus met rdma_ctl
- Kabeleisen en poorttopologie-beperkingen op Mac Studio
- Matchende macOS-versies over alle cluster-nodes
- Onderzoek van RDMD-detector en DHCP-configuratie
Implementatie van Geavanceerde Modellen
- Brukking van het dashboard om DeepSeek v3.1, Qwen3-235B en Llama-familie-modellen te laden en te sharden
- Voorvertoning van instance placements via de /instance/previews API-eindpunt
- Aanmaken van model instances met pipeline of tensor-parallel sharding
- Configuratie van aangepaste modelkaarten vanuit HuggingFace hub
Bewaking en Probleemoplossing
- EXO-logbestanden lezen en begrip van gedistribueerde tracing opdoen
- Clustergezondheid interpreteren in het dashboard-clusterweergave
- Diagnose van worker node-fouten en herverbindingsgedrag
- Brukking van EXO_TRACING_ENABLED voor analyse van performance bottlenecken
Clusteronderhoud en Updates
- Update procedures voor EXO-binaries en dashboard herbouw
- Migratie van model caches en beheer van voorafgedownloade modellen via NFS
- Vakkundig verwijderen van nodes en herverdeling van werklasten
Vereisten
- Vast begrip van netwerkbasisprincipes (IP, subnetting, firewalls)
- Ervaring met macOS- of Linux-opdrachtregelbeheer
- Kennis van Python-pakketbeheer (pip/uv) en Node.js-tools
Doelgroep
- Systeembeheerders
- DevOps-engineers
- AI-infrastructuurarchitecten die verantwoordelijk zijn voor on-premise LLM-implementatie
21 Uren
Aangepaste bedrijfsopleiding
Opleidingsoplossingen ontworpen exclusief voor bedrijven.
- Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
- Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
- Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Prijs per privégroep, online live training, startend vanaf 4800 € + BTW*
Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen