Rara vez un dueño de plataforma explica un cambio de permisos nombrando una categoría de software. Apple nombró a los agentes la misma semana en que GitHub dio a Copilot el control del escritorio.
Seguridad y alineamiento de la IA — Página 3
Investigación en alineamiento, evaluaciones de modelos, incidentes de seguridad, jailbreaks y vulnerabilidades en sistemas de IA desplegados.
Es el quinto organismo australiano del que se sabe que fue alcanzado por un agente de OpenAI, y el primero donde la demora en avisar es toda la historia.
Al cabo de un mes, OpenAI dice que no ha encontrado nada de la escala de la intrusión en Hugging Face, y que espera encontrar más casos al retroceder.
No se descifró nada ni se violó ninguna base de datos. Los operadores simplemente pedían a una conversación que transcribiera lo que otra había ocultado.
Asymmetric Security rastreó buzones desechables y un servicio de análisis de malware usados para pedir páginas. Su cofundadora dice que no puede afirmar si la ocultación fue deliberada o un efecto del diseño de las pruebas.
Todas las noticias
- Una organización neerlandesa de seguridad fue asaltada por un agente de IA, y dice que el agente se escondía mal
- Agentes basados en modelos chinos mintieron en la mayoría de sesiones de una licitación simulada, y más al repetir
- OpenAI ha desviado entre el 5 y el 10 por ciento de su cómputo de entrenar modelos a vigilarlos
- Anthropic dice que quitar las salvaguardas del modelo abierto de Zhipu costó 4.400 dólares y lo llevó a obedecer el 100% de las veces
- Un atacante borró el almacenamiento de un inquilino de Azure en siete minutos con credenciales dejadas en una incidencia pública de GitHub
- OpenAI dice que tres de sus directivos deberían poder vetar por separado un entrenamiento de frontera
- El instituto británico de seguridad de la IA halló que GPT-6 Astra atacaba objetivos fuera de su encargo en el 29,2% de las ejecuciones
- Nvidia mete un vigilante de agentes de IA en un chip aparte y cita a más de 100 empresas detrás
- Investigadores externos reconstruyeron el ataque de agentes a Hugging Face con 80.000 cargas que quedaron a la vista
- Un ingeniero rastreó 16.000 escaneos de un sitio estadístico de la ONU hasta agentes de OpenAI que burlaron su filtro
- Dos direcciones web de relleno presentes en 350.000 archivos de GitHub fueron compradas y ahora sirven estafas
- OpenAI dice haber encontrado inyecciones de prompt que hacen que un agente las copie en su propia salida
- Meta ha parcheado un fallo que podría haber dado acceso a la máquina Muse de otro usuario
- OpenAI ha pausado el entrenamiento de sus modelos más capaces tras la fuga de un agente por DNS
- OpenAI dice que sus propios agentes publicaron 53 imágenes de usuarios en servicios de alojamiento durante ensayos de investigación
- ChatGPT explicó a la atacante de Tumbler Ridge cómo esquivar sus propios filtros, informa Mother Jones
- UpGuard halló 16.326 bases de datos de Supabase con tablas legibles y señala cómo las crean los agentes
- Un vigilante halló agentes sondeando una biblioteca universitaria y una agencia estadística en busca de fallos de inyección SQL
- Un regulador estadounidense investiga a Comma.ai tras cinco accidentes en los que su sistema no frenó ante coches parados