CONTACT ONS

Cursusaanbod

AI-sovereiniteit en lokale implementatie van LLM's

  • Risico's van cloud-LLM's: gegevensretentie, training op invoer, buitenlandse jurisdictie.
  • Ollama-architectuur: modelservers, register en OpenAI-compatible API.
  • Vergelijking met vLLM, llama.cpp en Text Generation Inference.
  • Modellicenties: voorwaarden voor Llama, Mistral, Qwen en Gemma.

Installatie en hardware-opzet

  • Ollama installeren op Linux met CUDA- en ROCm-ondersteuning.
  • CPU-only-fallback en AVX/AVX2-optimalisatie.
  • Docker-implementatie en persistentie van volumemapping.
  • Multi-GPU-opzet en strategieën voor VRAM-toewijzing.

Modelbeheer

  • Modellen ophalen uit het Ollama-register: ollama pull llama3.
  • GGUF-modellen importeren van HuggingFace en TheBloke.
  • Kwantiseringsniveaus: afwegingen tussen Q4_K_M, Q5_K_M en Q8_0.
  • Modelwisselen en limieten voor gelijktijdig laden van modellen.

Aangepaste Modelfiles

  • Schrijven van Modelfile-syntax: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Instellen van temperatuur, top_p en repeat_penalty.
  • Systeem-promptengineering voor rol-specifiek gedrag.
  • Aangepaste modellen maken en publiceren naar het lokale register.

API-integratie

  • OpenAI-compatible /v1/chat/completions-eindpunt.
  • Streaming-antwoorden en JSON-modus.
  • Integreren met LangChain, LlamaIndex en aangepaste applicaties.
  • Authenticatie en rate limiting met reverse proxy.

Prestatieoptimalisatie

  • Grootte van contextvenster en KV-cachebeheer.
  • Batchinference en parallelle verwerking van verzoeken.
  • Toewijzing van CPU-threads en NUMA-bewustzijn.
  • Meting van GPU-belasting en geheugendruk.

Beveiliging en compliance

  • Netwerkisolatie voor modelservers-eindpunten.
  • Invoerfiltering en output-moderatiepijplijnen.
  • Auditlogboeken van prompts en completions.
  • Modelprovenance en hash-verificatie.

Vereisten

  • Gevorderde kennis van Linux en containerbeheer.
  • Inzicht in machine learning en transformermodellen op conceptueel niveau.
  • Ervaring met REST-API's en JSON.

Doelgroep

  • AI-engineers en ontwikkelaars die cloud-LLM-API's vervangen.
  • Organisaties waar gegevensgevoeligheid gebruik van cloudmodellen onmogelijk maakt.
  • Overheids- en defensieteams die luchtgescheiden taalmodellen vereisen.
 14 Uren

Aangepaste bedrijfsopleiding

Opleidingsoplossingen ontworpen exclusief voor bedrijven.

  • Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
  • Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
  • Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Investering

Prijs per privégroep, online live training, startend vanaf 3200 € + BTW*

Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen

Voorlopige Aankomende Cursussen

Gerelateerde categorieën