Klicka, skriva, scrolla, dra
GitHub har lagt ut datoranvändning i publik förhandsvisning i Copilot CLI och i Copilot-skrivbordsappen för macOS och Windows. Assistenten kan nu läsa tillgängligt programinnehåll och visuell kontext, klicka på kontroller, skriva och redigera text, trycka på tangenter, scrolla, dra och röra sig mellan program.
Det uttalade målet är inte modern mjukvara. GitHub skriver att funktionen täcker “äldre och enbart grafisk mjukvara som saknar API, kommandoradsgränssnitt eller MCP-integration” — reseräkningssystemet, inköpsportalen, terminalemulatorn framför en stordator. Allt med ett API gick redan att automatisera. Poängen med att styra en skärm är att nå det som aldrig fick något. Det är också den delen av företagets programvarupark som ingen vågar röra: system som fungerar, som ingen längre underhåller, och som bara går att använda genom fönstret de ritades för.
Behörighetsspåret
Copilot ber om godkännande innan den styr ett program, och användaren kan granska eller återställa de program hen valt att alltid tillåta. På macOS lotsar funktionen användaren genom att ge behörigheterna Hjälpmedel och Skärminspelning, vilket är vad som krävs för att läsa och klicka i ett annat programs gränssnitt. Organisationer kan stänga av hela funktionen via hanterade inställningar.
Den slås på uttryckligen: /computer on i kommandoraden, eller ett reglage under Inställningar i appen. GitHubs råd är att beskriva resultatet, vilka program som ingår och vilka begränsningar som gäller — inte klicken.
Samma vecka, från andra hållet
Tajmningen är nyheten. Apple publicerade på fredagen ett inlägg till utvecklare om att man ska införa nya kontroller kring Full Disk Access i macOS, och angav agenternas självständighet som skäl: “När AI-agenter blir allt kapablare och mer självständiga kommer riskerna med den här nivån av åtkomst att öka väsentligt.”
Full Disk Access och Skärminspelning är inte samma behörighet, men de är närliggande problem. Den ena lämnar över varje fil på maskinen; den andra låter programmet se och styra varje fönster. En skrivbordsagent som gör nytta behöver något i det kvarteret, och plattformsägaren har just sagt att kvarteret är för öppet.
Mönstret är bekant från mobilen. Varje gång ett operativsystem gav appar en ny förmåga följde en runda av åtstramningar när det visade sig vad förmågan användes till; skillnaden nu är att den som klickar inte är en människa som tröttnar.
Utvecklarna har alltså samtidigt en funktion på väg ut i publik förhandsvisning och en plattform som signalerar att den tänker snäva in marken under den. Det som är värt att följa är om Apples kommande kontroller behandlar skärmåtkomst som de behandlar diskåtkomst, och om GitHubs godkännandefrågor överlever mötet med användare som godkänner allt en gång och aldrig tittar igen.
