Vad myndigheten säger har hänt
Spaniens dataskyddsmyndighet AEPD har fått sin första anmälan om en personuppgiftsincident där angreppet utfördes av en AI-agent. I ett blogginlägg daterat den 14 september skriver myndigheten att agenten byggde på en välkänd språkmodell, som den inte namnger. Den uppger inte heller vilken organisation som anmälde intrånget.
Enligt AEPD letade agenten först efter svagheter i allmänna filer och loggade sedan in i systemet. Väl inne sökte den på egen hand efter sårbarheter i applikationen, och när den hittat dem kunde den ändra personuppgifter och komma åt fakturor.
Myndighetens tolkning, enligt SecurityWeek, är att en tredje part använde agenten som verktyg för att koppla ihop angreppets olika steg.
Varför AEPD lyfter ett enskilt fall
Organisationer i EU måste anmäla personuppgiftsincidenter till sin tillsynsmyndighet, och det var så fallet nådde AEPD. Myndigheten är försiktig med vad en enda anmälan kan visa. Enligt Infobae påpekar den att uppgifterna kommer från den drabbade organisationens egen anmälan och ska analyseras, och att ett enskilt fall inte räcker för att tala om en trend.
Ändå ser AEPD fallet som ett tecken på att AI-stödda angrepp inte längre är en teoretisk risk. Bloggen förklarar varför agenter förändrar läget: en agent kan få ett mål, planera delsteg, använda verktyg, köra kod, läsa källor, tolka resultat och ändra sitt agerande helt på egen hand. Det påverkar, enligt myndigheten, både sannolikheten för en incident och hur snabb och omfattande den blir.
Vad myndigheten vill att organisationer gör
AEPD anser att riskanalyser nu uttryckligen ska ta med angrepp som stöds eller utförs av AI. Myndigheten uppmanar också organisationer att:
- se över rutiner för incidenthantering som förutsätter att angriparen rör sig i mänsklig takt;
- prioritera säkerheten kring digitala identiteter och inloggningsuppgifter;
- införa automatiserad upptäckt, begränsning och respons, under mänsklig tillsyn;
- hålla fast vid grunderna: veta vilka uppgifter som behandlas, samla in mindre, begränsa åtkomst, täppa till kända brister och granska leverantörer.
Det som fortfarande är okänt
Inlägget säger inget om hur angriparen fick giltiga inloggningsuppgifter, vilken modell som användes eller hur mycket data som berördes. Simon Phillips, teknikchef på CyberVerse, sade till SecurityWeek att det kan röra sig om ett avsiktligt kringgående av en modells skydd, en agent som tagit sig ut ur en testmiljö eller otillåten användning av en egen modell byggd på en populär.
AEPD har inte sagt om den inleder en utredning av organisationen. Myndighetens analys av anmälan är nästa sak att bevaka.
