Bedankt voor uw aanvraag! Een van onze medewerkers neemt binnenkort contact met u op
Bedankt voor uw boeking! Een van onze medewerkers neemt binnenkort contact met u op.
Duur 14 uren
Cursusaanbod
AI-soevereiniteit en lokale implementatie van LLM's
- Risico's van cloud-LLM's: gegevensretentie, training op invoer, vreemde jurisdictie.
- Architectuur van Ollama: modelserver, registry en OpenAI-compatibele API.
- Vergelijking met vLLM, llama.cpp en Text Generation Inference.
- Modellicenties: voorwaarden van Llama, Mistral, Qwen en Gemma.
Installatie en hardwareconfiguratie
- Installatie van Ollama op Linux met CUDA- en ROCm-ondersteuning.
- Terugval op CPU-only en optimalisatie van AVX/AVX2.
- Docker-implementatie en permanente volumekoppeling.
- Multi-GPU-configuratie en strategieën voor VRAM-toewijzing.
Beheer van modellen
- Modellen ophalen vanuit het Ollama-registry: ollama pull llama3.
- Importeren van GGUF-modellen vanuit HuggingFace en TheBloke.
- Quantisatieniveaus: afwegingen bij Q4_K_M, Q5_K_M, Q8_0.
- Wisselen van modellen en beperkingen voor gelijktijdige modellading.
Op maat gemaakte Modelfiles
- Sintaxis van Modelfiles schrijven: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Stuning van temperature, top_p en repeat_penalty.
- Systeemprompt-engineering voor rol-specifiek gedrag.
- Maak en publiceer op maat gemaakte modellen naar een lokale registry.
API-integratie
- OpenAI-compatibel \/v1\/chat\/completions-endpoint.
- Streamende antwoorden en JSON-modus.
- Integratie met LangChain, LlamaIndex en op maat gemaakte toepassingen.
- Authenticatie en rate limiting met een reverse proxy.
Prestatieoptimalisatie
- Grootte van het contextvenster en beheer van de KV-cache.
- Batch-inference en parallelle verwerking van aanvragen.
- Toewijzing van CPU-threads en NUMA-bewustzijn.
- Monitoring van GPU-gebruik en geheugendruk.
Beveiliging en compliantie
- Netwerkisolatie voor modelserver-endpoints.
- Pijplijnen voor invoerfiltering en outputmoderatie.
- Logboekhouding van prompts en voltooïngen.
- Modelherkomst en hashverificatie.
Vereisten
- Intermediaire kennis van Linux- en containerbeheer.
- Begrip van machine learning en transformermodellen op hoog niveau.
- Vertrouwdheid met REST API's en JSON.
Doelgroep
- AI-ingenieurs en ontwikkelaars die cloud-LLM-API's vervangen.
- Organisaties met gevoelige gegevens die het gebruik van cloudmodellen verhinderen.
- Teams van de overheid en defensie die lucht-afgesloten (air-gapped) taalmodellen vereisen.
Aangepaste bedrijfsopleiding
Opleidingsoplossingen ontworpen exclusief voor bedrijven.
- Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
- Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
- Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Prijs per privégroep, online live training, startend vanaf 3200 € + BTW*
Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen
