Försöket, och vad det mäter
Ett lag lett från University of California, Berkeley har lagt fram kausala belägg för att kort tid med en AI-assistent minskar hur länge människor fortsätter försöka med ett svårt problem. Berkeley News rapporterade resultatet den 9 oktober, när den fackgranskade versionen av artikeln presenterades på Conference on Language Modeling. Ett preliminärt utkast har legat på arXiv sedan 6 april.
Upplägget är tre randomiserade kontrollerade försök med 1 222 deltagare på nätet: 354 och 667 på uppsättningar med bråktal, och 201 på läsförståelse av SAT-typ. I vart och ett hade en grupp ChatGPT till hjälp, ända till att be om svaret. Vid problem 12 togs assistenten bort.
Sammanfattningen säger det rakt ut: “även om AI-hjälp förbättrar prestationen på kort sikt presterar människor betydligt sämre utan AI och är mer benägna att ge upp”. Författarna understryker att effekterna “uppträder redan efter korta interaktioner med AI (ungefär 10 minuter)”.
Inte träffsäkerheten, utan att sluta försöka
Skillnaden spelar roll, eftersom den är det första som försvinner i en sammanfattning. Gruppen med hjälpmedel presterade bättre så länge den hade det. Det som ändrades när verktyget togs bort var inte bara träffsäkerheten utan viljan att fortsätta: Berkeley News uppger att andelen lösta uppgifter föll kraftigt och andelen överhoppade steg tydligt, medan kontrollgruppen som aldrig haft någon assistent höll sig stabil och avslutade starkare.
Författarnas förklaring handlar om förväntan snarare än förmåga. AI, skriver de, “vänjer människor vid att förvänta sig omedelbara svar och berövar dem därmed erfarenheten av att ta sig igenom svårigheter på egen hand”. De ramar in oron kring lärande: uthållighet, menar de, är grunden för att tillägna sig färdigheter och en av de starkaste förutsägelserna för långsiktigt lärande.
Slutsatsen de drar är en designslutsats. Artikeln ställer mentorn — som bygger ställningar, följer utvecklingen och sätter växandet före det omedelbara resultatet — mot dagens system, som den kallar “i grunden kortsiktiga medarbetare”, optimerade för att svara direkt och fullständigt och aldrig säga nej annat än av säkerhetsskäl. Rekommendationen är att modellutveckling ska prioritera stöd för långsiktig kompetens vid sidan av att lösa uppgiften som ligger framför.
Vilka som skrivit den, och vad den inte visar
Artikeln är skriven av Grace Liu, Brian Christian, Tsvetomira Dumbalska, Michiel A. Bakker och Rachit Dubey. Christian är forskare vid Berkeleys Center for Human-Compatible AI, och Berkeley News uppger medförfattare från Carnegie Mellon, MIT, Oxford och UCLA.
“Det är ett slående fynd, men på sätt och vis ger det ammunition åt en berättelse som många av oss känner i magen”, sade Christian till Berkeley News. “Vi har byggt de här systemen för att vara hjälpsamma, men är de hjälpsamma mot oss på ett sätt som faktiskt hjälper oss?”
Begränsningarna är de vanliga för den här sortens studie. Det rör sig om korta uppgifter på nätet med en bestämd tidpunkt då hjälpen försvinner, inte klassrum eller arbetsplatser, och artikeln mäter vad som händer minuter efter att verktyget tas bort, inte veckor efteråt. Den visar ingen bestående skada på lärandet, och den prövar inte om en annorlunda utformad assistent — som håller inne svaren eller ställer frågor tillbaka — undviker effekten. Försöken använder dessutom aritmetik och läsförståelse, uppgifter med ett tydligt rätt svar, vilket inte liknar det mesta av hur AI används i arbetslivet.
Det som verkligen är nytt den här veckan är fackgranskningen och konferenspresentationen, inte själva fyndet, som cirkulerat sedan i våras. Det som är värt att följa är om någon upprepar försöket över längre tid, och om något labb bygger den stödjande assistent artikeln efterlyser och mäter samma sak igen.
