Vad Project Lily är
404 Media rapporterade på tisdagen att OpenAI har sparkat flera uppdragstagare för att de använt AI-verktyg i arbete de anlitats för att göra för hand. Arbetet är Project Lily, där hundratals uppdragstagare läser verkliga ChatGPT-användares frågor och samtal — som kan innehålla personuppgifter — och sedan betygsätter och kritiserar modellens svar.
En del av uppdraget är att bedöma tonen: att svaren inte är överdrivet smickrande och inte gör chatboten mänsklig. Interna dokument som 404 Media tagit del av anger att OpenAI:s program för uppdragstagare omfattar mer än 10 000 personer i flera projekt.
Regeln, och hur den upprätthålls
Instruktionen till granskarna är rakt på sak. De interna dokument som 404 Media citerar säger: “Använd inte AI-detektionsverktyg, och inte AI själva… Granskare får inte heller använda AI, inklusive Grammarly och AI-översättning.”
Mercor, ett företag inom AI-träning som anlitar uppdragstagare för att granska ChatGPT-material, sade till 404 Media att dess “avtal uttryckligen förbjuder att språkmodeller används för att utföra uppdrag, och vi ser till att det efterlevs”.
Efterlevnaden bygger inte på en detektor. Uppdragstagare beskrev hur arbetsledare håller utkik efter upprepade ord, ovanligt många tankstreck och uppgifter som blir klara onaturligt snabbt. I ett uppsägningsbrev angavs problem med arbetets “äkthet”. En källa sade till 404 Media att användning av AI “får dig utkastad direkt” och att “i en grupp på tusentals har massor åkt fast”.
OpenAI avstod från att kommentera att uppdragstagare sparkats för att ha använt AI, enligt 404 Media.
Varför regeln finns
Värdet i det här arbetet ligger just i att det inte är modellens egen utdata. Granskaren betalas för en bedömning modellen inte kan göra om sig själv: om ett svar är för inställsamt, om det tar i för mycket, om det låter som en människa i stället för ett program. Låter man den bedömningen gå genom en chatbot blir träningssignalen en modell som rättar sina egna läxor, tvättad genom en lönelista.
Ironin gör sitt jobb här, men grundproblemet är vanlig arbetsmarknadsekonomi. Rollerna betalas per uppgift, utförs på distans och mäts i volym. Ett verktyg som tredubblar volymen är precis vad den som har ackordslön griper efter, och en regel mot det är bara så stark som spårningen bakom den — som i den här berättelsen är en arbetsledare som räknar tankstreck.
Att hålla ögonen på
Om något labb publicerar en mätning av hur mycket AI-assisterad betygsättning som läckt in i deras egna preferensdata, och vad det gör med det alignment-arbete som byggts ovanpå. Hittills är efterlevnaden anekdotisk och föroreningen omätt.
