Cursusaanbod
Module 1 – Hoe breken AI-applicaties?
Labs: geen; dit is een architectuuroverzicht met discussie.
Het denkmodel voor ontwikkelaars over de aanvalsobervlakte van AI-systemen.
Behandelde onderwerpen:
- LLM-, RAG- en agentarchitecturen vanuit een ontwikkelaarsperspectief
- het verloop van een request/response bij een AI-functie
- prompt-flow: systeem-, developer-, gebruikers- en tool-berichten
- waar onbetrouwbare data het model binnendringt (of opnieuw binnendringt)
- welke vertrouwensgrenzen een ontwikkelaar onder controle heeft versus erft
- waarom AI-aanvallen semantisch van aard zijn, niet syntactisch
- de koppeling tussen de OWASP LLM Top 10 en code die je zelf schrijft
Belangrijk inzicht: elke plek waar onbetrouwbare tekst het model bereikt – of modeloutput jouw code binnenkomt – is een grens die jij moet beheren.
Module 2 – Prompt-injectie voor ontwikkelaars
Labs: Lab 01 – 01-Prompt-Injection.
Dit is het ‘SQL-injectiemoment’ voor AI; echter, volledig vermijden is onmogelijk.
Behandelde onderwerpen:
- directe versus indirecte prompt-injectie
- verborgen instructies in documenten, webpagina’s en tool-output
- ‘jailbreaks’ en rol-verwarring bij modellen
- waarom het scheiden van instructies en data cruciaal is
- defensief prompt-ontwerp: gebruik van bepaalde delimiters, structuur en minimale autorisatie
- waarom preventie slechts gedeeltelijk mogelijk is; ontwerp daarom gericht op schadebeperking
Praktische oefeningen:
- probeer zelf je chatbot te manipuleren
- negeer een eenvoudige filtermechanisme
- herstructureer het prompt-ontwerp om de risico’s te verkleinen
Module 3 – Modeloutput als onbetrouwbaar input behandelen
Labs: Lab 02 – 02-Output-Handling.
Dit is het meest onderschatte type kwetsbaarheid bij ontwikkelaars.
Behandelde onderwerpen:
- modeloutput moet worden beschouwd als onbetrouwbaar input voor de rest van de applicatie
- onveilige verwerking ervan (LLM02): risico’s zoals XSS, SSRF en command-/SQL-injectie in later processtappen
- geen raw modeloutput evalueren of uitvoeren
- structuurrijke output en schema-validatie gebruiken
- output encoderen en allowlists toepassen
- veilige rendering in web-/UI-contexten garanderen
Praktische oefeningen:
- vind en verhelp een kwetsbaarheid door onveilige outputverwerking
- stel een JSON-schema op voor modelresponsies
Module 4 – Beveiliging van RAG-systemen
Labs: Lab 03 – 03-RAG-Security.
Een van de nieuwe grote aanvalsobervlakten; jij bepaalt hoe dit wordt gebouwd.
Behandelde onderwerpen:
- bedreigingen ten aanzien van vector-databases en retrieval-mechanismen
- datasanitatie tijdens ingestieproces
- bronverificatie en vertrouwensscores voor documenten
- scope-beperking bij retrieval en metadata-isolatie
- verborgen instructies in opgehaalde data (indirecte prompt-injectie)
- mogelijkheden tot datalekken via retrieval-mechanismen
Praktische oefeningen: – probeer een RAG-pijplijn te manipuleren met een kwaadaardig document; voeg vervolgens ingestiesanitatie en scope-beperking toe om dit tegen te gaan.
Module 5 – Veiligheid van Agents en tools
Labs: Lab 04 – 04-Agent-Safety.
Hier verandert een fout in daadwerkelijke actie.
Behandelde onderwerpen:
- excessieve autorisatie van agents (LLM06) en mogelijk misbruik van tools
- het toepassen van ‘least privilege’ voor agents
- toevoegen van allowlists en argumentvalidatie voor tools
- goedkeuringsprocessen en menselijke begeleiding (human-in-the-loop)
- sandboxing van tool-uitvoering
- kortlopende, op scope-beperkte credentials voor agents
- limieten stellen aan autonome lussen en opeenvolgende acties
Praktische oefeningen:<\/p>
- beperk de autorisatie van een agent met teveel vrijheden
- voeg allowlists en goedkeuringsmechanismen toe aan een potentieel gevaarlijke tool
Module 6 – Geheime informatie, identiteit en kostenbeheer
Labs: Lab 05 – 05-Secrets-and-Cost.
Operatieve fouten die snel nadelige gevolgen hebben.
Behandelde onderwerpen:
- beheer van API-sleutels en andere geheime informatie (nooit in prompts, code of logs zetten)
- per-gebruiker authenticatie en autorisatie voor AI-functionaliteiten
- doorsturen van gebruikersidentiteit naar tools en retrieval-mechanismen
- ‘denial-of-wallet’: onbegrensd token- of kostenverbruik voorkomen
- snelheidslimieten, tokenbudgetten en timeoutregels toepassen
- logging zonder gevoelige informatie zoals sleutels of persoonsgegevens te onthullen
Praktische oefeningen:<\/p>
- verwijder alle geheime informatie uit de prompt- en code-stroom
- stel per gebruiker snelheidslimieten en een budget voor kosten in
Module 7 – Guardrail-bibliotheken
Labs: Lab 06 – 06-Guardrails.
Aankoop versus zelf ontwikkelen van input-/output-beveiliging.
Behandelde onderwerpen:
- wat guardrail-frameworks wel en niet doen
- input-guardrails: detectie van injecties, PII en ongewenste onderwerpen
- output-guardrails: validatie, filteren en verificatie tegen betrouwbare bronnen
- wanneer gebruik van een guardrail zinvol is versus je eigen beveiligingslogica implementeren
- meerdere guardrails combineren met andere maatregelen uit eerdere modules
- prestaties, foutpositieve resultaten en beperkingen van guardrails
Praktische oefeningen:<\/p>
- voeg een input-/output-guardrail-laag toe aan een AI-functionaliteit
- analyseer welke soorten bedreigingen de guardrails detecteren en wat er onopgemerkt blijft
Module 8 – Red-teaming van eigen applicaties
Labs: Lab 07 – 07-Red-Teaming.
Bouw je AI-app alsof een aanvaller deze al heeft geanalyseerd.
Behandelde onderwerpen:
- ontwikkelen van testscenario’s voor het detecteren van misbruik bij AI-functionaliteiten
- automatische tests tegen prompt-injectie en jailbreaks uitvoeren
- regressietests schrijven om guardrails en beleidswijzigingen te controleren
- AI-beveiligingstesten integreren in CI-pipelines
- modellen en afhankelijkheden uit de supply chain veilig houden (bronverificatie, pinning)
- een checklist opstellen voor beveiligingscontrole vóór het releasen van AI-functionaliteiten
Praktische oefeningen:
- schrijf geautomatiseerde red-teamtesten voor een AI-functie
- koppel deze testen aan je CI-proces
Module 9 – Beoordeling van AI-beveiliging: het SAIS-100-framework
Labs: geen; dit is een beoordelings-oefening (gebruikmakend van de Capstone-app).
Alle eerder behandelde kennis vertalen naar een meetbare score.
Behandelde onderwerpen:
- het ‘AI Security Hexagon’: zes vragen in plaats van enkel de vraag ‘is het veilig?’
- de zes beoordelingscategorieën (Data, Prompt, Agent, Supply Chain, Detectie, Governance)
- de 100-puntsrubriek met bijbehorende gewichten voor de scoreberekening
- uitslag-categorieën en regels voor prioritering van beveiligingsmaatregelen per categorie
- het Elephant Scale Secure AI Score (SAIS-100): een merkbaar, herhaalbaar meetinstrument voor beveiliging
- voorafgaande en nagesloten metingen gebruiken als indicatie van verbetering<\/li>
Praktische oefening:
- geef de Capstone-app een score op de 100-puntschaal
- noteer welke ene wijziging het meeste effect heeft gehad op deze score
Belangrijk inzicht: de drie hoogst gewogen categorieën corresponderen met de vertrouwensgrenzen die een ontwikkelaar kan beïnvloeden – zodoende meet deze score precies wat tijdens de cursus is aangeleerd.
Capstone-activiteit
Deelnemers versterken zelfstandig een bewust kwetsbaar AI-systeem van kop tot staart.
De startapplicatie bevat onder meer:
- een gemakkelijk te manipuleren prompt
- onveilige verwerking van modeloutput
- een RAG-pijplijn zonder scope-beperkingen
- een agent met overmatige vrijheden
- geheime informatie die in de prompt-stroom terechtkomt
- geen kostenbeperkingen geïmplementeerd
In praktijk passen cursisten toe:
- het herstructureren van prompts om risico’s te beperken
- valideren en encoderen van modeloutput
- sanitiseren en scope-beperkingen aanbrengen bij data-retrieval
- het toepassen van least privilege en goedkeuringsmechanismen voor de agent
- verwijderen van geheime informatie uit prompts en het instellen van kosten- en snelheidslimieten
- toevoegen van guardrails en automatische red-teamtests
Eindresultaat: een beveiligde applicatie plus een korte zelfevaluatie op basis van de OWASP LLM Top 10.
Module – Lab-overzicht
Labs worden in volgorde uitgevoerd, overeenkomstig het modulair programma. In totaal zijn er negen modules en zeven labs: Module 1 is louter een architectuuroverzicht en Module 9 behelst een beoordelings-oefening; deze hebben geen eigen lab-map.
- Lab 01 – 01-Prompt-Injection: probeer je chatbot te manipuleren en ontwerp prompt-versterking om risico’s te beperken (Module 2)
- Lab 02 – 02-Output-Handling: herstel een onveilige output-verwerking in een applicatie (Module 3)
- Lab 03 – 03-RAG-Security: manipuleer en vervolgens bescherm je een RAG-pijplijn met kwaadaardige inhoud (Module 4)
- Lab 04 – 04-Agent-Safety: beperk de vrijheden van een te ruim geautoriseerde agent (Module 5)
- Lab 05 – 05-Secrets-and-Cost: verwijder alle sleutels en voeg kostenbeperkingen toe aan je applicatie (Module 6)
- Lab 06 – 06-Guardrails: voeg een guardrail-laag toe voor input en output van AI-apps (Module 7)
- Lab 07 – 07-Red-Teaming: schrijf geautomatiseerde red-teamtests voor AI-functionaliteiten en integreer deze in je CI-processen (Module 8)
Module 1 (Hoe breken AI-applicaties?) kent geen lab; dit is louter een architectuurpresentatie. Module 9 (Beoordeling van AI-beveiliging) beschikt evenmin over een eigen lab-map, aangezien het een score-oefening betreft gebaseerd op de Capstone-app.
Vereisten
- Niveau: intermediair.
- Deelnemers dienen vertrouwd te zijn met: het bouwen en gebruiken van REST API’s, een scripts-taal (in de labs wordt Python gebruikt), basisauthenticatie in applicaties, git en command line interface.
- Een achtergrond in machine learning is niet vereist; dit is een cursus over beveiliging voor ontwikkelaars die met LLMs werken, niet voor mensen die modellen trainen.
Doelgroep
- Software- en backend-ontwikkelaars die AI-functionaliteiten bouwen
- Full-stack en API-ontwikkelaars
- AI-/ML-applicatie-ontwikkelaars
- Platform-engineers die copiloten en agents leveren
- Tech leads en senior engineers verantwoordelijk voor AI-functionaliteiten
Aangepaste bedrijfsopleiding
Opleidingsoplossingen ontworpen exclusief voor bedrijven.
- Aangepaste inhoud: We passen de syllabus en praktijkopdrachten aan naar de echte doelen en behoeften van uw project.
- Voor flexibel schema: Datums en tijden aangepast aan het rooster van uw team.
- Formaat: Online (live), In-company (bij uw kantoren) of Hybride.
Prijs per privégroep, online live training, startend vanaf 4800 € + BTW*
Neem contact met ons op voor een exacte offerte en om onze laatste promoties te horen
Reviews (2)
Ik vond het leren over AI-aanvallen en de beschikbare tools om te beginnen met oefenen en actief inzetten voor securitytesting heel waardevol. Ik heb veel kennis opgedaan die ik aan het begin nog niet had, en de cursus voldeed aan mijn verwachtingen. Het leukste deel van de training was Comet Browser; ik was verbaasd over wat deze tool kon. Dit is zeker iets waar ik dieper in wil duiken. Over het algemeen was het een uitstekende cursus, en ik heb veel genoten van het leren over de OWASP GenAI Top 10.
Patrick Collins - Optum
Cursus - OWASP GenAI Security
Automatisch vertaald
Het professionele kennis en de manier waarop hij het voor ons presenteerde
Miroslav Nachev - PUBLIC COURSE
Cursus - Cybersecurity in AI Systems
Automatisch vertaald
