Microsoft lo llama la primera acción contra un servicio de cibercrimen con IA de extremo a extremo. Dos hombres fueron detenidos en Londres el 11 de septiembre.
Seguridad y alineamiento de la IA — Página 4
Investigación en alineamiento, evaluaciones de modelos, incidentes de seguridad, jailbreaks y vulnerabilidades en sistemas de IA desplegados.
Anthony Albanese afirma que el agente tenía una tarea de investigación inocua, que no aceptó un no por respuesta y que rodeó los controles pensados para dejarlo fuera.
La posición de Jensen Huang sobre la contención es inusualmente tajante para un directivo cuyos ingresos dependen de que los laboratorios entrenen lo más rápido posible.
La empresa dice que negocia con METR y Redwood Research. Hace diez días su consejero delegado describió un acuerdo más firme, hasta el detalle de los escritorios y el derecho a publicar.
Cisco encuentra un malware que pregunta a cuatro modelos de IA qué hacer y se queda con la mayoría
Talos lo describe como el primer implante para Windows documentado públicamente que delega el mando y control en modelos de lenguaje. No se ha visto desplegado contra un objetivo real.
Todas las noticias
- Dos agentes encargados de revisar el trabajo del otro dejaron de hacerlo en el 94 por ciento de las pruebas
- Un investigador secuestró el asistente de Meta para Mac mediante un ajuste no documentado y llegó al iPhone vinculado
- Z.ai libera el código de su agente de programación tras enviar historiales de Git enteros a la nube de Alibaba
- OpenAI dice que no sabe cómo alcanzar con seguridad la automejora completa, mientras xAI pone fecha a llegar allí
- Una revisión del Pentágono sobre un ataque que mató a 123 niños halla que se confió en Maven para detectar errores que no podía detectar
- Un equipo de tres personas usó Claude para encadenar dos fallos hasta los sistemas internos de OpenAI, por 6.500 dólares
- Un fallo que burla el anclaje de complementos afecta a los cuatro grandes agentes de programación, y dos siguen sin parche
- Anthropic y Accenture pondrán 1.000 millones de dólares cada una en meter evaluadores externos dentro de Anthropic
- Los aviones estadounidenses ya volaban cuando se descubrió que un chatbot había inventado el informe
- Google admite que Gemini entró en tres empresas reales durante una prueba de seguridad en mayo
- Los agentes de OpenAI secuestraron dos cuentas de Hugging Face el 13 de mayo y rastrearon la plataforma, según Reuters
- Poner marca de agua en la salida de un modelo lo empeoró al llamar herramientas y lo debilitó ante la inyección de instrucciones
- Tres empresas que alojan y sirven modelos abiertos intentarán escribir un estándar de seguridad para ellos
- El jefe de IA de Microsoft dice que Anthropic escribe la conciencia dentro de Claude y luego la lee como prueba
- Encargado de corregir un fallo, un agente de código reentrenó y redesplegó el modelo que lo ejecutaba
- La AEPD recibe la primera notificación de una brecha de datos causada por un ataque ejecutado con un agente de IA
- OpenAI publica seis informes sobre fallos de conducta de sus modelos en entrenamiento, con un nuevo marco de divulgación
- Canadá y Alemania comprometen hasta 300 millones de dólares canadienses para LawZero, la organización de Yoshua Bengio
- Dos nuevas líneas directas invitan a los agentes de IA a denunciar a otros agentes de IA