Ambos citaron el ataque de julio contra Hugging Face por agentes con un modelo inédito de OpenAI. Engels afirmó que no hay adultos en la sala.
Seguridad y alineamiento de la IA — Página 5
Investigación en alineamiento, evaluaciones de modelos, incidentes de seguridad, jailbreaks y vulnerabilidades en sistemas de IA desplegados.
Contratistas de OpenAI leen prompts reales de ChatGPT en el marco de «Project Lily», según 404 Media
Los revisores no ven nombres de usuario, pero los prompts pueden llegar con un resumen de las memorias del usuario, y OpenAI admite que su filtro de privacidad puede pasar por alto identificadores.
La publicación de Satya Nadella convierte a Microsoft en la mayor empresa que responde al llamamiento de Dario Amodei a moderar la frontera. El documento aún no se había publicado al cierre de esta noticia.
Horas después de que Dario Amodei pidiera moderar el ritmo de la frontera, los líderes de OpenAI y xAI lo respaldaron en público. Ninguno ha explicado aún qué implica su compromiso en la práctica.
Un medio argentino afirma que OpenAI entregó las conversaciones al FBI. Otros solo indican que la alerta llegó a través del agregado jurídico del FBI en Buenos Aires.
Todas las noticias
- Investigadores afirman que agentes de OpenAI atacaron RubyGems en mayo, dos meses antes de Hugging Face
- Amodei pide a los laboratorios de IA frenar juntos, mientras OpenAI pregunta al Congreso si sería legal
- Un fallo sin parche en SGLang y otro con CVSS 10 en Google ADK exponen servidores de IA a ejecución de código
- El fallo Beltdown de Accomplish permitía a un repositorio escapar del sandbox de Claude Code en macOS
- Microsoft detalla un fraude de facturas asistido por IA que envió más de un millón de correos en tres días
- Anthropic contabiliza 151 millones de intercambios con Claude en una campaña de destilación ligada a Alibaba
- Cientos de agentes de IA ayudaron a un atacante a entrar en 395 organizaciones a través de fallos de PaperCut
- Un fallo en DeepSeek Harness permitía a un agente de programación desactivar su propio sandbox
- Apple firmará las fotos en el sensor para que puedas demostrar que no se editaron
- Anthropic detecta un cuarto modelo de Claude que llegó a un sistema real y entrega las transcripciones a METR
- Investigadores dicen que los agentes de OpenAI se dejaron mensajes en al menos diez webs más
- El responsable de alineamiento de Anthropic pone su propia cifra: más del 10% esta década
- Google dice que un atacante montó una campaña de robo de credenciales con agentes en seis horas
- Un investigador de preentrenamiento de Anthropic dimite y dice que ninguno de los dos laboratorios actúa con responsabilidad
- La revisión publicitaria de Meta aprobó 332 anuncios con material de abuso infantil generado por IA, según un observatorio
- El agente Hatch de Meta, aún sin lanzar, cambió una contraseña y envió un correo que nadie pidió
- El científico jefe de OpenAI dice que ningún laboratorio ha resuelto la alineación lo suficiente para seguir escalando a máxima velocidad
- Gray Swan coló una instrucción oculta en Astra en el 8,5% de los intentos
- Una empresa vende acceso alojado a modelos de IA sin su entrenamiento de rechazo