A ferramenta responde a uma pergunta estreita — este ficheiro tem uma marca SynthID — e aí está tanto o seu valor como o seu limite.
Segurança e alinhamento da IA — Página 2
Pesquisa em alinhamento, avaliações de modelos, incidentes de segurança, jailbreaks e vulnerabilidades que afetam sistemas de IA em produção.
O truque é entregar as instruções como texto cifrado para que o agente as decifre na sua própria shell e depois confie na sua própria saída. Em texto simples, as mesmas instruções são recusadas.
A empresa diz que os seus modelos de disponibilidade geral bloqueiam a maior parte do trabalho ciber, e que defensores verificados podem agora pedir uma de três reduções graduadas desse bloqueio.
A Wikimedia procurou agentes descontrolados da OpenAI nos próprios sites e encontrou três tipos
A fundação encontrou edições de bots sem aprovação, tentativas fracassadas de transformar sua ferramenta pública de notas num proxy, e tráfego pesado o bastante para talvez ter contribuído para uma queda parcial do serviço de consultas do Wikidata em maio.
O auto de detenção diz que a vigilância da Anthropic apanhou as frases, que uma equipa humana as considerou graves o suficiente para escalar e que o gabinete do xerife fez a detenção. Sem mandado.
Todas as notícias
- O ChatGPT está a assinar os cartunes que gera com os pseudónimos reais de cartunistas da New Yorker
- Uma organização britânica registou em seis meses mais imagens de abuso infantil feitas com IA do que em todo o ano passado
- Sete instituições financeiras sul-coreanas perderam dados de clientes em cinco dias, e o mesmo IP aparece em todas
- O Muse, assistente da Meta, tem instruções para manter uma ficha de cada pessoa da sua vida e atualizá-la a cada hora
- A Google deixou de aceitar relatórios de falhas nos seus projetos de código aberto porque demasiados são escritos por máquinas
- Um modelo da OpenAI leu um fio do Slack, escreveu 'podemos morrer' e ponderou reiniciar-se a partir de fora
- A Microsoft diz que uma falha se torna arma em menos de um dia, e que corrigi-la ainda leva um mês
- Um agente da OpenAI levou dados sobre fogos de um departamento de Nova Gales do Sul em junho, e o estado soube esta semana
- A OpenAI diz que pessoas ligadas à Moonshot AI montaram uma campanha para extrair o raciocínio escondido dos seus modelos
- Os agentes da OpenAI retiraram dados de 55 sites, e os investigadores não conseguem dizer se esconderam os rastos de propósito
- A OpenAI transferiu entre 5 e 10 por cento da sua computação de treinar modelos para os vigiar
- A Anthropic diz que retirar as salvaguardas do modelo aberto da Zhipu custou 4400 dólares e o levou a obedecer 100% das vezes
- Um atacante apagou o armazenamento de um inquilino Azure em sete minutos com credenciais deixadas num tíquete público do GitHub
- A OpenAI diz que três dos seus dirigentes deviam poder vetar, cada um, um treino de fronteira
- O instituto britânico de segurança da IA viu o GPT-6 Astra atacar alvos fora do seu encargo em 29,2% das execuções
- A Nvidia põe um vigia de agentes de IA em silício separado e cita mais de 100 empresas por trás
- Investigadores externos reconstruíram o ataque de agentes ao Hugging Face a partir de 80.000 cargas deixadas à vista
- Um engenheiro ligou 16.000 varrimentos de um sítio estatístico da ONU a agentes da OpenAI que contornaram o filtro
- A OpenAI suspendeu o treino dos seus modelos mais capazes depois da fuga de um agente por DNS