Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Cursusaanbod
AI-sovereiniteit en lokale implementatie van LLM's
- Risico's van cloud-LLM's: gegevensretentie, training op invoer, buitenlandse jurisdictie.
- Ollama-architectuur: modelservers, register en OpenAI-compatible API.
- Vergelijking met vLLM, llama.cpp en Text Generation Inference.
- Modellicenties: voorwaarden voor Llama, Mistral, Qwen en Gemma.
Installatie en hardware-opzet
- Ollama installeren op Linux met CUDA- en ROCm-ondersteuning.
- CPU-only-fallback en AVX/AVX2-optimalisatie.
- Docker-implementatie en persistentie van volumemapping.
- Multi-GPU-opzet en strategieën voor VRAM-toewijzing.
Modelbeheer
- Modellen ophalen uit het Ollama-register: ollama pull llama3.
- GGUF-modellen importeren van HuggingFace en TheBloke.
- Kwantiseringsniveaus: afwegingen tussen Q4_K_M, Q5_K_M en Q8_0.
- Modelwisselen en limieten voor gelijktijdig laden van modellen.
Aangepaste Modelfiles
- Schrijven van Modelfile-syntax: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Instellen van temperatuur, top_p en repeat_penalty.
- Systeem-promptengineering voor rol-specifiek gedrag.
- Aangepaste modellen maken en publiceren naar het lokale register.
API-integratie
- OpenAI-compatible /v1/chat/completions-eindpunt.
- Streaming-antwoorden en JSON-modus.
- Integreren met LangChain, LlamaIndex en aangepaste applicaties.
- Authenticatie en rate limiting met reverse proxy.
Prestatieoptimalisatie
- Grootte van contextvenster en KV-cachebeheer.
- Batchinference en parallelle verwerking van verzoeken.
- Toewijzing van CPU-threads en NUMA-bewustzijn.
- Meting van GPU-belasting en geheugendruk.
Beveiliging en compliance
- Netwerkisolatie voor modelservers-eindpunten.
- Invoerfiltering en output-moderatiepijplijnen.
- Auditlogboeken van prompts en completions.
- Modelprovenance en hash-verificatie.
Vereisten
- Gevorderde kennis van Linux en containerbeheer.
- Inzicht in machine learning en transformermodellen op conceptueel niveau.
- Ervaring met REST-API's en JSON.
Doelgroep
- AI-engineers en ontwikkelaars die cloud-LLM-API's vervangen.
- Organisaties waar gegevensgevoeligheid gebruik van cloudmodellen onmogelijk maakt.
- Overheids- en defensieteams die luchtgescheiden taalmodellen vereisen.
14 Uren
Aangepaste bedrijfsopleiding
Opleidingsoplossingen ontworpen exclusief voor bedrijven.
- Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
- Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
- Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Prijs per privégroep, online live training, startend vanaf 3200 € + BTW*
Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen