AI Pentest

Een AI pentest is een handmatig, adversarieel beveiligingsonderzoek van een applicatie die is gebouwd op een groot taalmodel of een ander machine-learningmodel, en dekt het modelendpoint, prompts en guardrails, retrievalpijplijnen, agents en tools en de omliggende applicatie. Het onderzoek toetst op prompt injection, gegevensexfiltratie, excessive agency, onveilige uitvoerverwerking, zwakke plekken in de supply chain en misbruik, en rapporteert uitbuitbare bevindingen met bewijs. Het verschilt van een modelevaluatie of benchmark omdat het toetst wat een aanvaller met uw implementatie kan doen, niet hoe het model losstaand scoort.

Het is de actuele OWASP-lijst van de meest kritieke risico's in LLM-applicaties: prompt injection, het prijsgeven van gevoelige informatie, supply chain, vergiftiging van data en model, onjuiste uitvoerverwerking, excessive agency, lekkage van de systeemprompt, zwakke plekken in vectoren en embeddings, misinformatie en onbegrensd verbruik. Wij gebruiken de lijst als dekkingsbasis voor elke AI pentest, samen met MITRE ATLAS, dat echte aanvalstechnieken tegen machine-learningsystemen catalogiseert, zodat u precies kunt aantonen welke risico's zijn getoetst en met welk resultaat.

Ja, en daar zitten tegenwoordig de bevindingen met de grootste impact. Wij inventariseren elke tool en Model Context Protocol-server die het model kan aanroepen, toetsen wat een geïnjecteerde instructie het kan laten doen, met welke rechten en tegen welke systemen, en of goedkeuringen met een mens in de lus kunnen worden overgeslagen of uitgeput. Een chatbot die zijn systeemprompt lekt is een bevinding; een agent die kan worden aangestuurd om e-mail te versturen of een record te wijzigen is een incident.

Prompt injection is het manipuleren van een model via onvertrouwde tekst, rechtstreeks door de gebruiker of indirect via inhoud die het model leest, zoals documenten, webpagina's of tooluitvoer. Met de huidige technologie is het op modelniveau niet volledig te voorkomen, dus een veilig ontwerp beperkt wat een gecompromitteerd model kan bereiken: tools met minimale rechten, afgebakende retrieval, validatie van uitvoer en goedkeuringsstappen voor handelingen met gevolgen. Onze test meet hoe goed die grenzen standhouden, niet of er een slimme prompt bestaat.

De EU AI-verordening (Verordening (EU) 2024/1689) eist in artikel 15 dat AI-systemen met een hoog risico een passend niveau van nauwkeurigheid, weerbaarheid en cyberbeveiliging bereiken, waarbij de belangrijkste verplichtingen voor hoog risico in 2026 en 2027 van kracht worden, en governancekaders zoals NIST AI RMF en ISO/IEC 42001 vragen om het testen en behandelen van risico's van AI-systemen. DORA en NIS2 behandelen AI-systemen als ICT-systemen en eisen dat hun beveiliging wordt getoetst zoals elk ander systeem. Een AI pentest levert het bewijs waar deze kaders om vragen, per bevinding gekoppeld.

Nee. Geautomatiseerde red-teamingtools zijn nuttig voor dekking en wij zetten ze daarvoor in, maar zij produceren weigeringen en jailbreaks in isolatie. Zij koppelen een injectie niet aan een retrievalscope om de documenten van een andere tenant te bereiken, redeneren niet over uw bedrijfslogica en weten niet welke toolaanroep ertoe doet. Elke bevinding die wij rapporteren is handmatig bevestigd, gereproduceerd en verbonden aan een concrete impact in uw systeem.

Elke test wordt op scope geoffreerd; er is geen vaste prijslijst. De factoren zijn het aantal modellen en applicaties, de retrievalbronnen en tenants, het aantal en de reikwijdte van de tools en agents, of de omliggende applicatie en API's in scope zijn, het kostenplafond voor inferentie tijdens het testen en of een hertest is inbegrepen. Na een scopinggesprek ontvangt u binnen enkele werkdagen een schriftelijk voorstel met het aantal dagen en de lead tester bij naam.