OWASP GenAI-beveiliging Training Cursus

Dag 1: Grondslagen en kernbedreigingen

Module 1: Inleiding tot het OWASP GenAI Security Project (1 uur)

Lerendoelstellingen:

• Inzicht krijgen in de ontwikkeling van beveiligingsuitdagingen: van de OWASP Top 10 naar specifieke uitdagingen bij Generatieve AI.
• Kennismaken met het ecosysteem en de middelen binnen het OWASP GenAI Security Project.
• De belangrijkste verschillen tussen traditionele applicatiebeveiliging en beveiliging van AI-systemen begrijpen.

Behandelde onderwerpen:

• De missie en scope van het OWASP GenAI Security Project.
• Inleiding tot het Threat Defense COMPASS-framework.
• Het AI-beveiligingslandschap en relevante regelgeving begrijpen.
• De verschillen tussen kwetsbaarheden bij AI-systemen en klassieke webapplicaties.

Praktische oefening: Instellen van het OWASP Threat Defense COMPASS-hulpmiddel en uitvoeren van een eerste dreigingsanalyse.

Module 2: De OWASP Top 10 voor LLM’s – Deel 1 (2,5 uur)

Lerendoelstellingen:

• De eerste vijf belangrijkste kwetsbaarheden bij grote taalmodellen beheersen.
• Aanvalsvormen en technieken voor misbruik leren begrijpen.
• Praktische oplossingen en mitigatiestrategieën toepassen.

Behandelde onderwerpen:

LLM01: Prompt-injectie

• Technieken voor directe en indirecte prompt-injectie.
• Aanvallen via verborgen instructies en overdracht van prompts tussen gesprekken.
• Praktische voorbeelden: Chatbots omzeilen of veiligheidsmechanismen negeren.
• Verdedigingsmaatregelen: invoersanitering, prompt-filtering en differentiële privacy.

LLM02: Openbaarmaking van gevoelige informatie

• Extractie van trainingsdata en blootstelling van systeemprompts.
• Analyseren hoe grote taalmodellen gevoelige informatie kunnen onthullen.
• Privacyaspecten en naleving van regelgeving.
• Mitigatie: Uitvoersanitering, toegangscontrole en anonimiseren van data.

LLM03: Kwetsbaarheden in de leveringsketen

• Risico’s bij derden die grote taalmodellen leveren of plug-ins.
• Bedreigingen door bezoedelde trainingsdatasets en model-poisoning.
• Beoordeling van risico's bij leveranciers van AI-componenten.
• Gebruikmaken van veilige implementatie- en verificatiemethoden voor modellen.

Praktische oefening: Uitvoeren van aanvallen via prompt-injectie op kwetsbare LLM-applicaties, gevolgd door het toepassen van verdedigingsmaatregelen.

Module 3: De OWASP Top 10 voor LLM’s – Deel 2 (2 uur)

Behandelde onderwerpen:

LLM04: Vervuiling van data en modellen

• Mogelijke manipulatie van trainingsdata.
• Hoe AI-modellen veranderen wanneer er specifieke, ‘vergiftigde’ input wordt gegeven.
• Backdoor-aanvallen en technieken ter waarborgen van data-integriteit.
• Preventie: valideringsprocessen voor data en sporen van herkomst bijhouden.

LLM05: Onjuist verwerken van uitvoer

• Risico’s door onveilige verwerking van output gegenereerd door grote taalmodellen.
• Mogelijkheid tot code-injectie via AI-uitvoeren.
• Risico’s op cross-site scripting via reacties van een AI-systeem.
• Gebruikmaken van uitvoersanitering en validatie-mechanismen.

Praktische oefening: Simuleren van data-poisoning-aanvallen en implementeren van robuuste controles op output-validatie.

Module 4: Geavanceerde LLM-bedreigingen (1,5 uur)

Behandelde onderwerpen:

LLM06: Overmatige zelfstandigheid van agenten

• Risico’s wanneer autonome AI-agents beslissingen nemen die grenzen overschrijden.
• Beheer van rechten en bevoegdheden binnen agent-systemen.
• Mogelijk onbedoelde interacties tussen systemen en privilegesverhoging.
• Implementeren van grenzen, toezichtmechanismen en menselijke controle.

LLM07: Blootstelling van systeemprompts

• Risico’s door openbaar worden van instructies binnen het AI-systeem.
• Mogelijke blootstelling van geheime informatie en logica in systemen.
• Aanvalstechnieken om systeemprompts te achterhalen.
• Verdedigingsmaatregelen voor instructies, configuraties en externe toegang.

Praktische oefening: Ontwerpen van veilige agent-architecturen met passende controlemechanismen en monitoring.

Dag 2: Geavanceerde bedreigingen en implementatie

Module 5: Nieuwe AI-bedreigingen (2 uur)

Lerendoelstellingen:

• Kennis vergaren over de meest recente beveiligingsrisico’s binnen AI.
• Praktische detectie- en preventiemethoden implementeren.
• Resiliente AI-systemen ontwerpen tegen geavanceerde aanvallen.

Behandelde onderwerpen:

LLM08: Kwetsbaarheden in vectoren en embedding-methoden

• Risico’s bij RAG-systemen en beveiliging van vector-databases.
• Embedding-poisoning en manipulatie via gelijkenisberekeningen.
• Aanvallen op semantische zoekmachines door malafide voorbeelden.
• Beschutting van vector-opslagsystemen en detectie van afwijkingen.

LLM09: Desinformatie en betrouwbaarheid van modellen

• Detectie en voorkomen van hallucinaties bij AI-modellen.
• Beïnvloeding door bias en manieren om eerlijkheid te bevorderen.
• Mogelijkheden voor feitencontrole en bronverificatie.
• Integratie van menselijke controle bij AI-responsen.

LLM10: Ongereguleerd verbruik van resources

• Risico’s door resource-exhaustie en denial-of-service-aanvallen.
• Technieken voor beperking van gebruiksfrequentie en beheer van middelen.
• Budgetbeheersing en optimalisatie bij AI-implementaties.
• Monitoring en alarmmechanismen voor systeemprestaties.

Praktische oefening: Ontwikkelen van een veilige RAG-infrastructuur inclusief bescherming van vector-databases en detectie van hallucinaties.

Module 6: Beveiliging van agentiele AI (2 uur)

Lerendoelstellingen:

• Inzicht verwerven in unieke beveiligingsproblemen bij autonome AI-agenten.
• Het OWASP Agentic AI Taxonomy toepassen op reële systemen.
• Beveiligingstechnieken implementeren voor omgevingen met meerdere agenten.

Behandelde onderwerpen:

• Inleiding tot autonome AI-agenten en hun kenmerken.
• Het OWASP Agentic AI Threat Taxonomy: ontwerp, geheugen, planningsprocessen, toolgebruik en implementatie van agenten.
• Risico’s bij samenwerking tussen meerdere agentsystemen.
• Uitdagingen zoals misbruik van tools, vervuiling van geheugen of afwijkingen in doelstellingen.
• Beveiliging van communicatie en besluitvormingsprocessen tussen agenten.

Praktische oefening: Dreigingsmodellering voor een klantenservice-systeem met meerdere AI-agenten, waarbij het OWASP Taxonomy wordt gebruikt.

Module 7: Implementatie van OWASP Threat Defense COMPASS (2 uur)

Lerendoelstellingen:

• Praktisch toepassen van de methodologie rond Threat Defense COMPASS.
• Integratie van AI-bedreigingsanalyse in beveiligingsprogramma’s van organisaties.
• Risicobeheer voor AI-systemen op strategisch niveau vormgeven.

Behandelde onderwerpen:

• Uitvoerige toelichting tot de methodiek van Threat Defense COMPASS.
• Toepassing van het OODA-cyclusmodel: Observeren, Oriënteren, Besluiten en Handelen.
• Risico’s in kaart brengen ten opzichte van MITRE ATT&CK en ATLAS-frameworks.
• Opstellen van dashboards voor het beheer van AI-beveiligingsrisico’s.
• Koppeling maken met reeds bestaande beveiligingsprocessen en -hulpmiddelen.

Praktische oefening: Volledige dreigingsanalyse uitvoeren via COMPASS, gebaseerd op een fictieve Microsoft Copilot-implementatie.

Module 8: Praktische implementatie en best practices (2,5 uur)

Lerendoelstellingen:

• Een veilige AI-architectuur vanaf scratch ontwikkelen.
• Implementeren van monitoring en incidentresponsprocessen binnen AI-systemen.
• Kaders voor governance opstellen gericht op AI-beveiliging.

Behandelde onderwerpen:

Een veilige ontwikkelcyclus voor AI:

• Principes van beveiliging ‘by design’ bij ontwikkeling van AI-toepassingen.
• Codereview-specifiek gericht op LLM-integraties.
• Testmethodieken en scanning van kwetsbaarheden in AI-systemen.
• Beveiliging tijdens implementatie en versterking in productieomgevingen.

Monitoring en detectie:

• Veiligheidslogregistratie en monitoring die specifiek nodig zijn bij AI-systemen.
• Detectie van afwijkende patronen in AI-gedragingen.
• Richtlijnen voor incidentrespons bij beveiligingsschendingen binnen AI-contexten.
• Forensische onderzoeksmethoden en technieken bij AI-incidenten.

Governance en naleving:

• Risicobeheerkaders voor implementatie van AI binnen organisaties.
• Naleving van wet- en regelgeving zoals GDPR en de Europese AI Act.
• Beoordeling van risico’s die gepaard gaan met inzet van derdepartijen bij ontwikkeling van AI-systeemdelen.
• Opleiding en bewustwording rond beveiliging binnen AI-ontwikkelteams.

Praktische oefening: Ontwerpen van een volledige beveiligingsarchitectuur voor een zakelijk chatbotsysteem, inclusief monitoring, governance en procedures ter reactie op incidenten.

Module 9: Tools en technologieën (1 uur)

Lerendoelstellingen:

• Huidige AI-beveiligingstools evalueren en implementeren.
• Overzicht krijgen van beschikbare oplossingen voor AI-beveiliging.
• Praktische detectie- en preventiemethoden ontwikkelen.

Behandelde onderwerpen:

• Overzicht van huidige beveiligingstools voor AI en leveranciers.
• Inzetbare openbron-tools zoals Garak, PyRIT en Giskard.
• Commerciële oplossingen gericht op AI-beveiliging en monitoring.
• Richtlijnen voor integratie en implementatie van deze hulpmiddelen.
• Criteria en frameworks om beveiligingstools te selecteren.

Praktische oefening: Demonstratie van het gebruik van AI-beveiligingstesttools en plannen voor implementatie in de praktijk.

Module 10: Toekomstige trends en afsluiting (1 uur)

Lerendoelstellingen:

• Inzicht krijgen in nieuwe beveiligingsrisico’s binnen AI.
• Continu verbeteren van organisatorische AI-beveiliging ontwikkelen.
• Een actieplan opstellen voor het vergroten van AI-beveiliging binnen eigen bedrijf.

Behandelde onderwerpen:

• Nieuwe dreigingen: deepfakes, geavanceerde prompt-injecties en model-reversieanalyse.
• De komende ontwikkelingen binnen het OWASP GenAI Security Project.
• Opbouwen van een community rond AI-beveiliging en kennisdeling.
• Voortdurende optimalisatie en integratie van dreigingsinformatie in beleid.

Praktische oefening: Samenstellen van een 90-dagen actieplan ter implementatie van OWASP GenAI-beveiligingsmaatregelen binnen eigen organisatie.