Uppsägningen
Robert O’Callahan, en Nya Zeeland-baserad mjukvaruingenjör som arbetade med verktyg för hårdvarudesign på Google DeepMind, publicerade sitt uppsägningsmejl den här veckan.
“Mitt teams mål är i slutändan att göra AI mycket billigare och med lägre latens, och jag tror inte att det är bra för människor just nu”, skrev han. “Jag är fast övertygad om att AI-utvecklingen just nu går alldeles för fort (och jag tvivlar på destinationen också).”
Han säger att han övervägde att byta projekt internt och kom fram till att han inte kunde: “Det är praktiskt taget omöjligt för mig att flytta till ett annat Google-projekt som inte skulle accelerera AI (delvis på grund av mina band till Nya Zeeland, där Google helst inte bedriver ingenjörsarbete), så mina händer är bundna.” Om huruvida en ingenjör spelar roll: “Det finns miljoner människor som bidrar till AI-accelerationen och att lyfta foten från gaspedalen kommer att få mycket liten effekt … men inte ingen effekt; en del av mina färdigheter är ovanliga.”
Varför just den här är värd att läsa
O’Callahan är inte säkerhetsforskare och utger sig inte för att vara det. Han underhåller felsökningsverktygen rr och Pernosco, är kristen, äldste och tillfällig lekmannapredikant i Auckland, och placerar sig uttryckligen utanför både branschbubblan och det han kallar den självutnämnda rationalistgemenskapen.
Hans hållning till risk är kalibrerad snarare än apokalyptisk. Han tror inte att undergången är säker: “Jag tror att risken är verklig men osäker — och det i sig är mycket oroande!” Därifrån: “risken är med störst sannolikhet hög nog för att det i sig är oansvarigt att sikta på ASI inom kort.” Han räknar upp andra farhågor vid sidan av: kognitiv kapitulation, AI-utlöst psykos och ensamhet, maktkoncentration, ekonomisk omvälvning, cybersäkerhet, bristande ansvarsutkrävande. Om han tvingades satsa skulle han satsa på att nackdelarna i dag överväger fördelarna, tillägger han, men han är osäker även om det.
Påståendet som går emot skeptikerna
Det stycke som bär tyngst handlar om motiv, och det går rakt på argumentet att labbens varningar är affärsstrategi.
“Jag är övertygad om att de människor i AI-labben som utfärdar varningar om AI i allmänhet är uppriktiga”, skrev han. “Jag har talat med många på Google DeepMind om dessa frågor och nästan alla har uppriktiga och allvarliga farhågor, oavsett om de uttrycker dem offentligt. Jag har inte sett några hårda bevis för att människor blåser upp AI-risken som ett sätt att lyfta bolagskurser eller reglera bort sina konkurrenter.” Inom parentes tillägger han att han anser att nationell och internationell reglering är desperat nödvändig.
Det är ett förstahandsvittnesmål inifrån organisationen, lämnat av någon som lämnar den och inte har någon aktiekurs att försvara. Det är inget bevis — det är en persons läsning av sina kollegor — men det är den sortens vittnesmål debatten mest har saknat.
Tidpunkten, och vad han gör härnäst
Han är uttrycklig med att avhoppet inte ingår i en våg: “Det har inget att göra med den senaste tidens uppmärksammade uppsägningar eller varningar om att bromsa AI; det är ett sammanträffande.” Datumet var satt av en sedan länge planerad tiodagars vandringstur som börjar på måndag.
Han fortsätter underhålla rr och Pernosco och tänker undersöka hur AI-system felsöker kod och om felsökningsverktyg kan hjälpa dem. “Jag vill definitivt att mitt framtida arbete ska vara otvetydigt pro-mänskligt”, skrev han.
Detaljen värd att hålla fast vid är den han började med. Han byggde inte modeller. Han gjorde kislet under dem billigare, och kom fram till att skillnaden inte överlevde kontakten med vad arbetet var till för.
