Tillförlitligheten föll under 90 procent
OpenAI publicerade på måndagen en redogörelse för varför bolaget byggde om lagringslagret under sitt monorepo, och diagnosen är rakt på sak. “Mot slutet av förra året hade systemen bakom vårt monorepo svårt att hänga med”, skriver Aaron Friel, Taylor Blau och Ted Nyman, medlemmar av den tekniska staben. “Vi drabbades av långsamma hämtningar och pushar jämte misslyckade sammanslagningar, med en tillförlitlighet som tidvis föll under 90 procent.”
Orsaken som inlägget namnger är Codex. Agentassisterad utveckling betyder fler grenar, fler pushar, fler sammanslagningar och fler hämtningar och kloningar från utvecklingsmiljöer, forskningsjobb och kontinuerlig integration. En enskild ingenjör kan nu ha flera ändringar i kö för kontinuerlig integration, och varje push sätter flera jobb att hämta samma commit.
Vad Pando är
Pando är en ny backend för Git-förråd. Den driver nu all utveckling i OpenAI:s monorepo och togs i drift utan att avbryta ingenjörsarbetet eller ändra hur teamet använder Git: Git-protokollet och standardklienten fungerar som förut.
Två konstruktionsval gör jobbet. Pando samordnar uppdateringar av varje gren för sig, så att pushar till orelaterade grenar går parallellt. Och den återanvänder packfiler — Gits format för att komprimera objekt tillsammans — mellan hämtningar i stället för att bygga en ny per klient, så att servern kan leverera samma byte till många läsare med lite beräkning.
Båda valen har en uttalad kostnad. Den som tittar på flera grenar kan se dem vid olika tidpunkter, och en klient kan hämta objekt den redan har.
Siffrorna
OpenAI uppger att Pando i drift minskade medianfördröjningen vid push nästan fem gånger och att den nu levererar nära en petabyte Git-data per dygn. Båda siffrorna är bolagets egna, från bolagets egen infrastruktur, utan någon extern mätning vid sidan av.
Teamet säger att det vill skicka förbättringar från sin egen kopia av Git uppströms till Git-projektet, vilket skulle göra klientarbetet användbart utanför OpenAI.
Varför det angår fler än ett monorepo
Det intressanta är inte arkitekturen. Det är att ett frontlabb sprang in i en skalningsvägg i versionshanteringen före någon mer exotisk plats, eftersom bolagets egen kodagent skapar grenar snabbare än verktygen under var byggda för att ta emot. Varje organisation som inför agenter i samma takt ärver samma flaskhals utan möjligheten att skriva om Gits backend.
Att följa
Vilka av OpenAI:s Git-ändringar som hamnar uppströms, och om andra bolag som kör kodagenter i stor skala rapporterar samma felmönster i sin egen versionshantering före någon annanstans.
