Vad gripandeprotokollet säger
Den 26 september skrev en användare i Bonita Springs i Florida in i Anthropics Claude att hon skulle skjuta sönder sheriffkontoret i Lee County. Dagen därpå sa samma konto, enligt protokollet, att hon hade skaffat ett nytt vapen.
Anthropics plattform övervakar nyckelfraser och potentiellt hotfullt innehåll. Utredarna skrev att materialet på grund av uttalandenas allvar eskalerades till ett mänskligt granskningsteam, som därefter lämnade det vidare till polisen. Poliser identifierade kvinnan, åkte hem till henne och grep henne utan incidenter; en underrättelseutredare vid sheriffkontoret tog över ärendet.
Hon är åtalad för skriftligt våldshot enligt Floridas lag, ett grovt brott, och ska inställa sig i domstol i november. WINK News rapporterade gripandet den 30 september; fallet fick större spridning den 5 oktober. Sheriffen Carmine Marceno uppgav att hon senare sa till utredarna att hon använde chattboten som en dagbok.
Regeln som tillåter det
Inget av detta krävde en husrannsakningsorder. Anthropics publicerade användarvillkor förbjuder att produkterna används för att underlätta eller främja våld eller hot, och bolagets policy för myndighetsförfrågningar säger att användaruppgifter kan lämnas ut till polis i begränsade nödsituationer där det finns fara för dödsfall eller allvarlig fysisk skada. Det är den bestämmelse bolaget tycks ha agerat utifrån. WINK News bad Anthropic förklara hur skyddsmekanismerna hanterar hot och när bolaget delar uppgifter; något svar återges inte.
Marceno använde fallet för att tala om anonymitet och sa till WINK News att den som använder AI-chattar och AI-sökningar aldrig är verkligt anonym. En pensionerad FBI-agent i samma inslag konstaterade att domstolarna fortfarande arbetar ut hur hot som involverar AI ska hanteras.
Mekanismen är inte ny — stora plattformar har anmält hot till polis i åratal, och amerikansk lag kräver redan att leverantörer rapporterar vissa kategorier av material. Det nya är ytan. En chattbot inbjuder till ett slags skrivande folk inte ägnar sig åt i ett offentligt inlägg: ofiltrerat, riktat till ingen, närmare en privat anteckningsbok än ett flöde.
Det som inte är avgjort
Två saker i fallet kommer tillbaka. Den första är avståndet mellan hur privat en chattbot känns och hur privat den är. En lektor vid Florida Gulf Coast University, citerad av WINK News, sa att människor vänder sig till AI delvis för att en maskin inte dömer dem, och formulerade varningen rakt: AI är inte din bästa vän.
Den andra är beviskravet. Anthropics skyddsmekanismer flaggade fraserna; ett mänskligt team bedömde dem som trovärdiga; sheriffkontoret höll med. I varje steg bedömde någon uppsåt enbart utifrån text, utan tonfall, utan sammanhang och utan personen framför sig. Floridas lag om skriftliga hot gäller meddelanden som skickas på ett sätt där en annan person kan se dem, och om en privat chatt med en modell uppfyller det är precis den sortens fråga ingen domstol har besvarat.
Förhandlingen i november är det första stället där det kan ske.
