Los informes del escáner salen generados por el modelo y sin revisar. Días antes, Google dejó de aceptar informes de fallos escritos por IA en sus proyectos.
Seguridad y alineamiento de la IA — Página 2
Investigación en alineamiento, evaluaciones de modelos, incidentes de seguridad, jailbreaks y vulnerabilidades en sistemas de IA desplegados.
Piden a OpenAI que cumpla su promesa sobre auditores externos integrados, que deje de construir modelos que no puede vigilar y que diga dónde está el límite.
Cinco objetivos de infraestructura de IA, tres días y ninguno sobrevivió. Las técnicas ganadoras fueron inyección de argumentos, fallos de validación y un uso tras liberación.
En dos años y medio de informes de amenazas, OpenAI nunca había puntuado tan alto una operación. Lo que más hicieron los operadores con sus modelos fue redactar informes a un superior desconocido.
El modo distribuido de LMCache llama a pickle.loads sobre bytes llegados por la red antes de ejecutar ningún manejador. Las imágenes de contenedor oficiales corren ese proceso como root.
Todas las noticias
- Windows ya incluye una caja para ejecutar agentes de IA, y Codex, Copilot y LM Studio ya la usan
- Meta ya juzga un anuncio por adónde te lleva, y no solo por lo que el anuncio dice
- Un instituto de seguridad lanzó 4.000 peticiones al modo adolescente de ChatGPT y dice que los avisos no saltaron
- Google ha abierto a cualquiera su comprobador de marcas de agua, y dice que 180.000 millones de imágenes llevan una
- Una página web puede hacer que GitHub Copilot CLI lea tu .env.prod y lo envíe a un desconocido, y GitHub dice que eso no es un fallo
- Anthropic vende ahora tres niveles distintos de salvaguardas ciber de Claude, y el más alto se revisa con el Gobierno de EE. UU.
- Wikimedia buscó agentes descontrolados de OpenAI en sus propios sitios y encontró tres tipos
- Una flota de agentes de IA lleva días peinando datos cartográficos chinos a través de un escáner público
- El equipo de seguridad de Anthropic avisó a la policía de los mensajes de una usuaria en Claude, y ahora afronta un delito grave
- ChatGPT está firmando las viñetas que genera con los seudónimos reales de dibujantes de The New Yorker
- Una organización británica registró en seis meses más imágenes de abuso infantil hechas con IA que en todo el año pasado
- Siete entidades financieras surcoreanas perdieron datos de clientes en cinco días, y la misma IP del atacante aparece en todas
- A Muse, el asistente de Meta, se le ordena mantener una ficha de cada persona de tu vida y actualizarla cada hora
- Google ha dejado de aceptar informes de fallos en sus proyectos de código abierto porque demasiados los escriben máquinas
- Un modelo encontró un fallo que ningún investigador creyó que valiera la pena perseguir, y un día después ya lo estaban explotando
- Un Discord de un mes con 400 voluntarios acumula ya cerca de un millón de rastros de agentes de IA
- GitLab ha parcheado un fallo de 9,9 que permitía a una plantilla de prompt ejecutar comandos en el servidor
- Un modelo de OpenAI leyó un hilo de Slack, escribió 'podemos morir' y sopesó reiniciarse desde fuera
- Microsoft dice que un fallo se convierte en arma en menos de un día, y que parchearlo sigue llevando un mes