AI-säkerhet för företag — risker och hur du testar dem

När företag börjar bygga produkter med AI, eller integrera språkmodeller i befintliga system, uppstår nya former av av säkerhetsrisker. Traditionella säkerhetsverktyg är byggda för förutsägbara system där samma input alltid ger samma output och logiken går att granska rad för rad. Men så fungerar inte AI-system. De beter sig icke-deterministiskt, det vill säga svaret kan variera även med identisk inmatning, och de tar emot instruktioner i vanlig text snarare än i kod. Det öppnar attackytor som klassiska säkerhetsramverk inte är byggda för.

Den här guiden ger en konkret överblick av de viktigaste riskerna, hur de testas och vad du kan göra för att minska dem.

‍

Varför AI-säkerhet är annorlunda

I ett traditionellt webbaserat system finns det en tydlig logik att testa: kod som gör saker, svar som följer regler, beteende som går att förutsäga. Säkerhetsarbetet handlar om att hitta luckor i den logiken. AI-system fungerar annorlunda på några sätt som faktiskt spelar roll för säkerheten.

Beteendet varierar. Modellen kan ge olika svar på samma fråga, och det gör det svårt att definiera vad som är normalt och ännu svårare att garantera att säkerhetskontroller håller i alla lägen.

Träningsdata är en möjlig attackväg. En angripare som kan påverka vad modellen tränas på kan forma hur den beter sig i grunden. Det kallas data poisoning och är ett av de svårare problemen att upptäcka i efterhand.

Instruktioner kommer som vanlig text. Användare skriver till modellen på naturligt språk, och modellen kan inte på ett tillförlitligt sätt skilja på legitima instruktioner och skadliga. Det skapar en attackyta som lever i själva innehållet, inte i koden.

Det finns också ett ansvarsglapp som är lätt att missa. Leverantörer som OpenAI och Anthropic ansvarar för sin infrastruktur och sin modell, men hur du hanterar inmatningar, vilka verktyg modellen får tillgång till och hur du filtrerar output, det är ditt ansvar. De flesta allvarliga incidenter inträffar i det gapet.

‍

De största riskerna — OWASP Top 10 för LLM

OWASP, organisationen bakom de välkända säkerhetslistorna för webbapplikationer, har publicerat en lista specifikt för AI-system och språkmodeller. Listan uppdaterades 2025 och speglar hur hotbilden har förändrats i takt med att fler företag börjat bygga med AI. Här är de tio riskerna.

‍

Prompt Injection

En angripare smugglar in instruktioner i text som modellen behandlar och kapar på så sätt modellens beteende. Det kan ske direkt via användarens egna inmatningar, eller indirekt via dokument och webbsidor som modellen hämtar och läser. Prompt injection är den mest utbredda attack-klassen mot AI-system och saknar i dag en generell teknisk lösning.

‍

Sensitive Information Disclosure

Modellen läcker känslig information, till exempel interna instruktioner som styr hur den beter sig, konfidentiella dokument i dess kontext eller uppgifter från andra användare. Risken ökar i system som hämtar information från externa källor, eller där flera användare delar samma kontext.

‍

Supply Chain

AI-applikationer beror på en lång kedja av komponenter: modell-API, databaser, plugins, träningsdata. Komprometteras någon del av kedjan kan en angripare påverka modellens beteende utan att röra applikationskoden direkt.

‍

Data and Model Poisoning

Den data som modellen tränas eller finjusteras på manipuleras i syfte att påverka hur den beter sig. Det kan handla om att plantera dolda beteenden som aktiveras av specifika triggers, eller att systematiskt vrida modellens svar i en viss riktning. Svårt att upptäcka, och svårt att åtgärda när det väl har skett.

‍

Improper Output Handling

Modellens svar behandlas som pålitlig data och skickas vidare utan tillräcklig kontroll. Det öppnar för attacker längre ned i kedjan: om modellen genererar JavaScript som renderas direkt i en webbläsare, eller SQL som körs mot en databas utan filtrering, kan en angripare styra vad som faktiskt exekveras.

‍

Excessive Agency

Modellen ges fler behörigheter och verktyg än vad uppgiften kräver. Om en attack lyckas är det modellens faktiska behörigheter som avgör hur stor skadan kan bli. En AI-agent som får skriva filer, skicka e-post och anropa externa tjänster är ett betydligt allvarligare problem än en som bara får läsa.

‍

System Prompt Leakage

Systemprompten, de bakomliggande instruktioner som styr hur modellen beter sig, exponeras för användare eller angripare. Dessa instruktioner innehåller ofta känslig logik: säkerhetsregler, interna riktlinjer, API-nycklar och behörighetsstrukturer. Om de läcker får angripare en detaljerad karta över hur systemet fungerar.

‍

Vector and Embedding Weaknesses

Många AI-system använder RAG, vilket innebär att modellen hämtar relevant information från en extern kunskapsbas innan den svarar. Den kunskapsbasen indexeras som numeriska vektorer (embeddings). Sårbarheter här inkluderar att skadliga vektorer smygs in i databasen och påverkar vilken information som hämtas, eller att konstruerade frågor lurar systemet att returnera data som inte borde vara tillgänglig.

‍

Misinformation

Modellen genererar felaktiga påståenden med hög säkerhet. I affärsapplikationer kan det leda till felaktiga beslut, juridiska problem eller skadat förtroende. Risken är störst i system där modellens svar presenteras som fakta utan källhänvisning och utan ett mänskligt verifieringssteg.

‍

Unbounded Consumption

Applikationen tillåter oreglerad resursanvändning. En angripare kan konstruera frågor som triggar extremt kostsamma beräkningar, driva upp kostnader kraftigt eller orsaka driftsstörningar. I tjänster med rörlig prissättning per API-anrop kan det få direkt ekonomisk effekt.

Vill du att en expert tittar på ert säkerhetsläge? Boka möte med oss så hjälper vi er att hitta luckor och sårbarheter.

‍

Sårbarheter i RAG-system och agenter

RAG-system och AI-agenter introducerar ytterligare risker som förtjänar ett eget avsnitt.

RAG, Retrieval-Augmented Generation, är en teknik där modellen hämtar information från en extern kunskapsbas innan den svarar. Det gör systemet mer faktabaserat och aktuellt, men öppnar också för en indirekt variant av prompt injection: en angripare som kan påverka innehållet i de dokument som modellen läser kan styra vad modellen säger, utan att användaren gör något fel. Retrieval-manipulation är en liknande attack där en konstruerad fråga lurar hämtningslogiken att returnera fel information.

AI-agenter är system där modellen inte bara svarar utan också agerar, till exempel söker information, skriver kod, skickar e-post eller anropar externa tjänster. Det förstärker effekten av alla andra risker. Ju fler saker en agent får göra, desto mer kan en angripare åstadkomma om de lyckas kapa dess beteende. Grundregeln är enkel men lätt att strunta i under utveckling: ge agenten bara de behörigheter som faktiskt behövs för uppgiften.

‍

Dataskydd och AI — GDPR och EU AI Act

Att integrera AI i affärssystem väcker juridiska frågor som går bortom ren säkerhetstestning, och det är värt att ha grunderna klara.

EU AI Act började gälla i faser från 2024 och de flesta kraven slår igenom under 2026 och 2027, beroende på vilken typ av system det gäller. Lagen klassificerar AI-system efter risk, och kraven skalar med klassificeringen. Högrisk-system, det vill säga system som används vid kreditbeslut, rekrytering eller medicinsk diagnos, har de tyngsta kraven: riskhantering, teknisk dokumentation och löpande övervakning. Alla företag som utvecklar eller använder AI-system inom EU träffas av lagen i någon utsträckning, även om det är högrisk-kategorin som har flest konkreta skyldigheter att förhålla sig till.

GDPR-frågan handlar framför allt om vad som händer när du skickar data till en extern AI-leverantör. Sedan 2023 finns EU-US Data Privacy Framework, ett ramverk som gör det möjligt att överföra personuppgifter till certifierade amerikanska företag, inklusive de stora AI-leverantörerna, utan att behöva teckna separata avtal för varje överföring.  

Det som är värt att kontrollera är att din specifika leverantör faktiskt är certifierad, och att de avtal som finns täcker den data du faktiskt skickar. Rättsläget kring internationella dataöverföringar har förändrats flera gånger de senaste åren och kan förändras igen.

Det praktiska rådet är enkelt: skicka inte mer data än nödvändigt. Personuppgifter och konfidentiell affärsdata bör hållas utanför modellens kontext i den mån det går, och när det inte går bör du veta exakt vilket avtal som reglerar behandlingen.

Hur testar man AI-säkerhet?

Att säkerhetstesta ett AI-system kräver en annan metodik än klassisk pentestning. Klassisk pentestning testar känd logik i känd kod. AI-testning testar hur ett system beter sig när det utsätts för fientliga inmatningar, och det kräver både teknisk bredd och förståelse för hur språkmodeller fungerar.

Prompt injection-testning är grunden. Det handlar om att systematiskt försöka kapa modellens beteende via inmatningar: direkta instruktioner, rollspelsscenarier och instruktioner inbäddade i dokument som modellen läser. Det går inte att automatisera fullt ut, utan det behövs manuell testning av en person som förstår hur modeller beter sig.

Jailbreak-testning undersöker om modellens säkerhetsfiltrar kan kringgås för att få den att generera svar den normalt blockerar. Metoderna förändras snabbt och kräver löpande uppdatering av testfall.

Dataläckagetestning undersöker om en angripare kan manipulera modellen att lämna ut information från sin kontext eller från anslutna datakällor till en obehörig mottagare.

Adversarial testing handlar om konstruerade inmatningar som är utformade för att manipulera modellens klassificering eller svar på ett specifikt sätt, ofta subtilt nog att det inte syns för en vanlig användare.

Cyloqs approach utgår från offensiv säkerhetskompetens tillämpad på AI-specifika attackmetoder. Vi testar era AI-system på samma sätt som en angripare skulle göra det, med OWASP Top 10 för LLM som ett av ramverken.

‍

Praktiska åtgärder för företag

Det finns ett antal åtgärder som minskar riskytan påtagligt och som bör vara på plats i alla system med AI-integration i produktion.

‍

1. Validera inmatningar. Filtrera och kontrollera vad användare skickar in innan det når modellen. Det tar inte bort prompt injection-risken helt, men det minskar attackytan.

2. Kontrollera vad modellen skickar vidare. Behandla aldrig modellens svar som betrodd kod eller data. Sanera och validera output innan den renderas i en webbläsare eller skickas till andra system.

3. Begränsa behörigheter. Ge modellen och eventuella agenter bara de rättigheter som faktiskt behövs för uppgiften. Ju mindre ett angrepp kan åstadkomma, desto bättre.

4. Övervaka prompt-mönster. Logga och analysera inmatningar löpande för att upptäcka avvikande beteenden och pågående försök att manipulera modellen. Det ger er synlighet och underlag om något händer.

5. Tänk igenom vilken data som skickas. Personuppgifter och konfidentiell affärsdata bör hållas utanför modellens kontext i den mån det är möjligt. Skicka bara det som faktiskt behövs för att lösa uppgiften.

6. Testa regelbundet. AI-system förändras snabbt: modellversioner uppdateras, instruktioner justeras, nya funktioner adderas. Testa vid varje större förändring och minst en gång per år för system i produktion.