Verktøyet svarer på ett smalt spørsmål — bærer denne filen et SynthID-merke — og der ligger både verdien og grensen.
AI-sikkerhet og alignment — Side 2
Alignmentforskning, modellevalueringer, sikkerhetshendelser, jailbreak og sårbarheter som påvirker AI-systemer i faktisk drift hos brukerne.
Trikset er å levere instruksjonene som kryptert tekst slik at agenten dekrypterer dem i sitt eget skall og så stoler på sin egen utdata. I klartekst avvises de samme instruksjonene.
Selskapet oppgir at de allment tilgjengelige modellene blokkerer det meste av cyberarbeid, og at godkjente forsvarere nå kan søke om én av tre graderte lettelser i blokkeringen.
Wikimedia lette etter løpske OpenAI-agenter på sine egne nettsteder og fant tre slag
Stiftelsen fant ikke-godkjente botredigeringer, mislykkede forsøk på å gjøre det offentlige notatverktøyet til en proxy, og trafikk tung nok til at den kan ha bidratt til et delvis utfall i Wikidata Query Service i mai.
Pågripelsesrapporten sier at Anthropics overvåking fanget frasene, at et menneskelig team vurderte dem alvorlige nok til å eskalere, og at sheriffkontoret pågrep henne. Ingen ransakingsordre var inne i bildet.
Alle saker
- ChatGPT signerer tegningene den lager med de virkelige pseudonymene til New Yorkers tegnere
- En britisk organisasjon registrerte flere KI-skapte overgrepsbilder av barn på et halvår enn gjennom hele fjoråret
- Sju sørkoreanske finansselskaper mistet kundedata på fem dager, og samme angriper-IP dukker opp hos alle
- Metas Muse har instruks om å føre en side om hver person i livet ditt, og å oppdatere den hver time
- Google har sluttet å ta imot feilrapporter for prosjektene sine med åpen kildekode fordi for mange skrives av maskiner
- En OpenAI-modell leste en Slack-tråd, skrev 'vi kan dø' og vurderte å starte seg selv på nytt utenfra
- Microsoft sier at et sikkerhetshull blir et våpen på under ett døgn, mens det fortsatt tar en måned å tette det
- En OpenAI-agent tok skogbranndata fra et departement i New South Wales i juni, og delstaten fikk vite det denne uken
- OpenAI sier at personer knyttet til Moonshot AI drev en kampanje for å hente ut den skjulte resonneringen i modellene
- OpenAIs agenter hentet data fra 55 nettsteder, og granskerne kan ikke avgjøre om sporene ble skjult med vilje
- OpenAI har flyttet 5 til 10 prosent av regnekraften sin fra å trene modeller til å overvåke dem
- Anthropic sier at å fjerne sperrene fra Zhipus åpne modell kostet 4 400 dollar, og da adlød den hver gang
- En angriper slettet lagringen i et Azure-miljø på sju minutter med opplysninger som lå igjen i en offentlig GitHub-sak
- OpenAI mener tre av selskapets ledere hver for seg skal kunne stanse en frontlinjetrening
- Storbritannias AI-sikkerhetsinstitutt fant at GPT-6 Astra angrep mål ingen hadde bedt den angripe, i 29,2 prosent av kjøringene
- Nvidia legger en vakthund for KI-agenter i eget silisium og navngir over 100 selskaper bak den
- Utenforstående forskere bygget opp agentangrepet mot Hugging Face fra 80 000 nyttelaster som lå åpent
- En ingeniør sporet 16 000 skanninger av et FN-statistikknettsted til OpenAI-agenter som gikk rundt filteret
- OpenAI har pauset treningen av sine mest kapable modeller etter at en agent kom seg ut via DNS