OWASP GenAI Security Training Cursus

Dag 1: Grondlagen en kernbedreigingen

Module 1: Inleiding tot het OWASP GenAI Security Project (1 uur)

Leerdoelen:

• De ontwikkeling begrijpen van de OWASP Top 10 naar GenAI-specifieke beveiligingsuitdagingen
• Het ecosysteem en de hulpbronnen van het OWASP GenAI Security Project verkennen
• De belangrijkste verschillen identificeren tussen traditionele applicatiebeveiliging en AI-beveiliging

Behandelde onderwerpen:

• Overzicht van de missie en het toepassingsgebied van het OWASP GenAI Security Project
• Inleiding tot het Threat Defense COMPASS-framework
• Het AI-beveiligingslandschap en de regelgevingsvereisten begrijpen
• AI-aanvalsoppervlakken versus kwetsbaarheden in traditionele webapplicaties

Praktische oefening: Het instellen van het OWASP Threat Defense COMPASS-hulpmiddel en het uitvoeren van een initiële bedreigingsbeoordeling

Module 2: OWASP Top 10 voor LLMs - Deel 1 (2,5 uur)

Leerdoelen:

• De eerste vijf kritieke LLM-kwetsbaarheden beheersen
• Aanvalsvektoren en exploitatietechnieken begrijpen
• Praktische mitigatiestrategieën toepassen

Behandelde onderwerpen:

LLM01: Prompt Injection

• Directe en indirecte prompt injection-technieken
• Verborgen instructie-aanvallen en cross-prompt-verontreiniging
• Praktische voorbeelden: Jailbreaking van chatbots en het omzeilen van veiligheidsmaatregelen
• Verdedigingsstrategieën: Invoer-sanitisering, prompt-filtering, differentiele privacy

LLM02: Onthulling van Gevoelige Informatie

• Extractie van trainingsdata en lekkage van systeem-prompts
• Modelgedragsanalyse voor de blootstelling aan gevoelige informatie
• Privacyimplicaties en overwegingen voor regelgevingsconformiteit
• Mitigatie: Uitvoerfiltering, toegangscontroles, data-anonimisering

LLM03: Leveringsketen-kwetsbaarheden

• Afhankelijkheden van third-party-modellen en plug-in-beveiliging
• Compromitteerde trainingsdatasets en modelverontreiniging
• Risicobeoordeling van leveranciers voor AI-componenten
• Veilige modelimplementatie en verificatiepraktijken

Praktische oefening: Hands-on lab dat prompt injection-aanvallen demonstreert tegen kwetsbare LLM-toepassingen en verdedigingsmaatregelen implementeert

Module 3: OWASP Top 10 voor LLMs - Deel 2 (2 uur)

Behandelde onderwerpen:

LLM04: Data- en Modelverontreiniging

• Technieken voor het manipuleren van trainingsdata
• Wijziging van modelgedrag door verontreinigde invoer
• Backdoor-aanvallen en verificatie van data-integriteit
• Preventie: Datavalidatiepipelines, provenance-tracking

LLM05: Onjuiste Uitvoerbehandeling

• Onveilige verwerking van door LLM's gegenereerde inhoud
• Code-injectie via door AI gegenereerde outputs
• Cross-site scripting via AI-responses
• Uitvoervalidatie- en sanitiseringsframeworks

Praktische oefening: Simuleren van dataverontreinigingsaanvallen en implementeren van robuuste uitvoervalidatiemechanismen

Module 4: Geavanceerde LLM-bedreigingen (1,5 uur)

Behandelde onderwerpen:

LLM06: Excessive Agency

• Risico's van autonome besluitvorming en overtreding van grenzen
• Agent-autoriteit en beheer van machtigingen
• Onbedoelde systeeminteracties en privilege escalation
• Implementeren van guardrails en menselijke toezichtcontroles

LLM07: Lekkage van Systeem-Prompts

• Kwetsbaarheden voor de blootstelling van systeem-instructies
• Onthulling van aanmeldingsgegevens en logica via prompts
• Aanvalstechnieken voor het extraheren van systeem-prompts
• Beveiligen van systeem-instructies en externe configuratie

Praktische oefening: Ontwerpen van veilige agent-architecturen met de juiste toegangscontroles en monitoring

Dag 2: Geavanceerde bedreigingen en implementatie

Module 5: Opkomende AI-bedreigingen (2 uur)

Leerdoelen:

• Snijderspunt AI-beveiligingsbedreigingen begrijpen
• Geavanceerde detectie- en preventietechnieken implementeren
• Resiliente AI-systemen ontwerpen tegen geavanceerde aanvallen

Behandelde onderwerpen:

LLM08: Zwakheden in Vector- en Embedding

• Kwetsbaarheden in RAG-systemen en beveiliging van vector-databases
• Embedding-verontreiniging en aanvallen op het manipuleren van similariteit
• Adversarial voorbeelden in semantische zoekopdrachten
• Beveiligen van vector-opslagsystemen en implementeren van anomaliedetectie

LLM09: Misinformatie en Modelbetrouwbaarheid

• Detectie en mitigatie van hallucinaties
• Verstrekking van bias en overwegingen voor eerlijkheid
• Feitchecken en bronverificatiemechanismen
• Inhoudsvalidatie en integratie van menselijk toezicht

LLM10: Onbegrensd Verbruik

• Uitputting van bronnen en denial-of-service-aanvallen
• Strategieën voor rate limiting en bronbeheer
• Kostenoptimalisatie en budgetcontroles
• Prestatiemonitoring en alertsystemen

Praktische oefening: Bouwen van een veilige RAG-pipeline met vector-databasebeveiliging en hallucinatiedetectie

Module 6: Agentic AI Beveiliging (2 uur)

Leerdoelen:

• De unieke beveiligingsuitdagingen van autonome AI-agents begrijpen
• De OWASP Agentic AI-taxonomie toepassen op real-world systemen
• Beveiligingscontroles implementeren voor multi-agent-omgevingen

Behandelde onderwerpen:

• Inleiding tot Agentic AI en autonome systemen
• OWASP Agentic AI Bedreigingstaxonomie: Agent Design, Memory, Planning, Tool Use, Deployment
• Beveiliging en coördinatie-risico's van multi-agent-systemen
• Misbruik van tools, geheugenverontreiniging en goal hijacking-aanvallen
• Beveiligen van agentcommunicatie en besluitvormingsprocessen

Praktische oefening: Threat modeling-oefening met behulp van de OWASP Agentic AI-taxonomie op een multi-agent-klantenservicesysteem

Module 7: Implementatie van OWASP Threat Defense COMPASS (2 uur)

Leerdoelen:

• De praktische toepassing van Threat Defense COMPASS beheersen
• AI-bedreigingsbeoordeling integreren in organisatorische beveiligingsprogramma's
• Uitgebreide AI-risicobeheersstrategieën ontwikkelen

Behandelde onderwerpen:

• Diepe duik in de Threat Defense COMPASS-methode
• Integratie van de OODA Loop: Observe, Orient, Decide, Act
• Mapping van bedreigingen naar MITRE ATT&CK en ATLAS-frameworks
• Bouwen van AI Threat Resilience Strategy Dashboards
• Integratie met bestaande beveiligingstools en processen

Praktische oefening: Volledige bedreigingsbeoordeling met COMPASS voor een Microsoft Copilot-implementatiescenario

Module 8: Praktische Implementatie en Best Practices (2,5 uur)

Leerdoelen:

• Veilige AI-architecturen ontwerpen vanaf de grond
• Monitoring en incident response implementeren voor AI-systemen
• Governance-frameworks creëren voor AI-beveiliging

Behandelde onderwerpen:

Veilige AI-ontwikkelingslevenscyclus:

• Security-by-design principes voor AI-toepassingen
• Code review-praktijken voor LLM-integraties
• Testmethodologieën en kwetsbaarheids-scanning
• Implementatiebeveiliging en productie-hardening

Monitoring en Detectie:

• AI-specifieke logging- en monitoringvereisten
• Anomaliedetectie voor AI-systemen
• Incident response-procedures voor AI-veiligheidsincidenten
• Forensische en onderzoekstechnieken

Governance en Compliance:

• AI-risicobeheersframeworks en beleid
• Overwegingen voor regelgevingsconformiteit (AVG, AI Act, etc.)
• Risicobeoordeling van third-party AI-leveranciers
• Bewustzijnstraining voor AI-ontwikkelingsteams

Praktische oefening: Ontwerpen van een complete beveiligingsarchitectuur voor een enterprise AI-chatbot, inclusief monitoring, governance en incident response-procedures

Module 9: Tools en Technologieën (1 uur)

Leerdoelen:

• AI-beveiligingstools evalueren en implementeren
• Het huidige AI-beveiligingsoplossingenlandschap begrijpen
• Praktische detectie- en preventie-vaardigheden opbouwen

Behandelde onderwerpen:

• AI-beveiligingstool-ecosysteem en leverancierslandschap
• Open-source beveiligingstools: Garak, PyRIT, Giskard
• Commerciële oplossingen voor AI-beveiliging en monitoring
• Integratiepatronen en implementatiestrategieën
• Selectiecriteria en evaluatieframeworks voor tools

Praktische oefening: Hands-on demonstratie van AI-beveiligingstesttools en implementatieplanning

Module 10: Toekomstige Trenden en Samenvatting (1 uur)

Leerdoelen:

• Opkomende bedreigingen en toekomstige beveiligingsuitdagingen begrijpen
• Strategieën voor continu leren en verbeteren ontwikkelen
• Actieplannen creëren voor organisatorische AI-beveiligingsprogramma's

Behandelde onderwerpen:

• Opkomende bedreigingen: Deepfakes, geavanceerde prompt injection, model inversie
• Toekomstige ontwikkelingen en roadmap van OWASP GenAI-projecten
• Bouwen van AI-beveiligingsgemeenschappen en kennisdeling
• Continue verbetering en integratie van threat intelligence

Actieplanoefening: Ontwikkelen van een 90-daags actieplan voor de implementatie van OWASP GenAI-beveiligingspraktijken in de organisaties van de deelnemers