Pulsar, escribir, desplazar, arrastrar
GitHub ha puesto el uso del ordenador en vista previa pública en Copilot CLI y en la aplicación de escritorio de Copilot para macOS y Windows. El asistente puede ahora leer el contenido accesible y el contexto visual de las aplicaciones, pulsar controles, escribir y editar texto, pulsar teclas, desplazarse, arrastrar y moverse entre aplicaciones.
El objetivo declarado no es el software moderno. GitHub dice que la función cubre “software heredado y de solo interfaz gráfica que no ofrece API, interfaz de línea de comandos ni integración MCP”: el sistema de gastos, el portal de compras, el emulador de terminal delante de un mainframe. Todo lo que tenía API ya se podía automatizar. El sentido de manejar una pantalla es llegar a lo que nunca la tuvo.
El rastro de permisos
Copilot pide aprobación antes de controlar una aplicación, y el usuario puede revisar o restablecer las que ha decidido permitir siempre. En macOS, la función guía al usuario para conceder los permisos de Accesibilidad y Grabación de Pantalla, que es lo que hace falta para leer y pulsar la interfaz de otra aplicación. Las organizaciones pueden desactivarla por completo mediante ajustes gestionados.
Se activa de forma explícita: /computer on en la línea de comandos, o un interruptor en Ajustes dentro de la aplicación. El consejo de GitHub es describir el resultado deseado, las aplicaciones implicadas y las restricciones, y no los clics.
La misma semana, desde el otro lado
El momento es la noticia. Apple publicó el viernes una entrada para desarrolladores diciendo que añadirá nuevos controles al Acceso Total al Disco en macOS, y señaló como motivo la autonomía de los agentes: “A medida que los agentes de IA sean más capaces y autónomos, los riesgos asociados a este nivel de acceso crecerán sustancialmente”.
El Acceso Total al Disco y la Grabación de Pantalla no son el mismo permiso, pero son problemas vecinos. Uno entrega a una aplicación todos los archivos de la máquina; el otro le permite mirar y manejar todas las ventanas. Un agente de escritorio que sirva de algo necesita algo de ese barrio, y el dueño de la plataforma acaba de decir que el barrio es demasiado permisivo.
Así que los desarrolladores tienen a la vez una capacidad entrando en vista previa pública y una plataforma avisando de que piensa estrechar el terreno. Habrá que ver si los futuros controles de Apple tratan el acceso a la pantalla como está tratando el acceso al disco, y si los avisos de aprobación de GitHub sobreviven al contacto con usuarios que aprueban todo una vez y no vuelven a mirar.
