CONTACT ONS

Cursusaanbod

Introductie tot EXO en lokaal AI-clusteren

  • Overzicht van het EXO-framework en het exo-explore-ecosysteem
  • Vergelijken van gecentraliseerde cloud-inferentie versus gedistribueerde lokale inferentie
  • Architectuur: libp2p-apparaatdiscoverie, MLX-backend, dashboard en API-laag
  • Hardwarevereisten: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, gedeelde opslag

EXO installeren op macOS

  • Opzetten van Xcode, Metal ToolChain en macOS-voorwaarden
  • Installatie van uv, Node.js en de nightly-versie van de Rust-toolchain
  • Installatie van de vastgelegde macmon-fork voor Apple Silicon-monitoring
  • Kloon het repository en bouw het dashboard met npm
  • EXO uitvoeren vanuit broncode en het dashboard op localhost:52415 verifiëren

EXO installeren op Linux

  • Installeren van afhankelijkheden via apt of Homebrew op Linux
  • Configureren van uv, Node.js 18+ en nightly-versie van Rust
  • Bouwen van het dashboard en uitvoeren van EXO in alleen-CPU-modus
  • Bestandsindeling: XDG Base Directory-pad voor configuratie, gegevens, cache en logboeken

Automatische apparaatdiscoverie en clustervorming

  • Het werken begrijpen met automatische discoverie gebaseerd op libp2p over lokale netwerken
  • Op maat gemaakte namespaces configureren met EXO_LIBP2P_NAMESPACE voor clusterisolatie
  • Verifiëren van knooppuntledenchap in de clusterview van het dashboard
  • Hanteren van discoveriefouten en problemen met netwerksegmentatie

RDMA over Thunderbolt 5 inschakelen

  • RDMA-architectuur en de bewering van 99 procent reductie in latentie
  • RDMA inschakelen in de macOS Recovery-modus met rdma_ctl
  • Kabeleisen en beperkingen voor poorttopologie op Mac Studio
  • Zorgen dat macOS-versies op alle clusterknooppunten overeenkomen
  • Problemen oplossen bij RDMA-discoverie en DHCP-configuratie

Modellen uit de topsector implementeren

  • Gebruikmaken van het dashboard om DeepSeek v3.1, Qwen3-235B en de Llama-familie te laden en te sharding
  • Voorbeelden van instantieplaatsingen bekijken via het API-eindpunt /instance/previews
  • Modelinstanties aanmaken met pipeline- of tensor-parallelle sharding
  • Aangepaste modelkaarten configureren van de HuggingFace-hub

Bewaking en probleemoplossing

  • EXO-logboeken lezen en gedistribueerde tracing begrijpen
  • De gezondheidsstatus van het cluster interpreteren in de clusterview van het dashboard
  • Werkknoppelfouten en herkoppelingsgedrag diagnosticeren
  • EXO_TRACING_ENABLED gebruiken voor analyse van prestatieknelpunten

Clustersonderhoud en updates

  • EXO-binaries updaten en procedures voor het herbouwen van het dashboard
  • Modelcaches migreren en vooraf gedownloade modellen beheren via NFS
  • Knooppunten op een gecontroleerde manier verwijderen en werkbelastingen herbannen

Vereisten

  • Kennis van de basisprincipes van netwerken (IP, subnetting, firewalls)
  • Ervaring met command line-administratie op macOS of Linux
  • Vertrouwdheid met Python-pakketbeheer (pip/uv) en Node.js-tools

Doelgroep

  • Systeembeheerders
  • DevOps-engineers
  • Architecten voor AI-infrastructuur die verantwoordelijk zijn voor on-premise LLM-implementatie
 21 Uren

Aangepaste bedrijfsopleiding

Opleidingsoplossingen ontworpen exclusief voor bedrijven.

  • Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
  • Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
  • Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Investering

Prijs per privégroep, online live training, startend vanaf 4800 € + BTW*

Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen

Voorlopige Aankomende Cursussen

Gerelateerde categorieën