A kód elkészül, de ki érti még? Az Anthropic Claude Code mérnöke aggódik
Erre a kockázatra hívta fel a figyelmet Addy Osmani, az Anthropic Claude Code nevű fejlesztőeszközén dolgozó mérnök.
A technológiai leállások már az amerikai Saturday Night Live műsorába is bekerültek. A közösségi médiában pedig terjed a vicc, hogy biztosan egyszerre állt le a LinkedIn és a Tinder, hiszen egyik helyről sem válaszol senki. Egy szolgáltató ügyeletes mérnökének ennél jóval kellemetlenebb kérdésre kell felelnie, amikor valóban baj van: ha most belenyúl a rendszerbe, mi más állhat még le?
A válasz eddig sem volt mindig kézenfekvő. Az elöregedő infrastruktúra, az elhalasztott karbantartás és a túlterhelt informatikai csapatok egyaránt sebezhetővé teszik a szolgáltatásokat. A korábban a Google-nél dolgozó Osmani márciusban egy további kockázatot írt le.
A comprehension debt kifejezést használta rá, amit magyarul megértési adósságnak nevezhetünk. Ez akkor halmozódik fel, amikor egy szoftver gyorsabban változik, mint ahogy az érte felelős emberek megértik a változtatások okát és következményeit.
Mi veszik el, amikor percek alatt elkészül a kód?
A szoftverfejlesztés egyik legidőigényesebb része hagyományosan az, amikor egy mérnök sorról sorra átnézi a kollégája munkáját. Ilyenkor hibákat keres, de közben azt is megtanulja, miért éppen így épül fel a rendszer. Rákérdezhet például egy látszólag felesleges ellenőrzésre. A válaszból kiderülhet, hogy az a néhány sor egy évekkel korábbi üzemzavar megismétlődését akadályozza meg. Ettől kezdve már legalább két ember tudja, miért érdemes a helyén hagyni.
A Claude Code-hoz hasonló eszközökkel rövid idő alatt annyi módosítás készülhet, hogy azok alapos átnézése válik a munka leglassabb részévé. A csapatok automatizált tesztekre támaszkodnak, egy másik MI-eszközzel is ellenőriztetik a kódot, vagy kevesebb időt szánnak egy-egy módosításra.
Egy sikeres teszt igazolhatja, hogy a program a vizsgált helyzetben megfelelően működik. Azt viszont nyitva hagyja, hogy a következő ügyeletes mérnök érteni fogja-e, mi történik egy olyan helyzetben, amelyre senki sem írt tesztet.
A szerepek változását Satya Nadella, a Microsoft vezérigazgatója is érzékeltette. Megfogalmazása szerint a vállalat mérnökei egyre inkább azt a „szoftvergyárat” építik, amely aztán előállítja magát a terméket. Osmani szerint a veszély ott jelentkezik, ahol a kód előállítása felgyorsul, miközben egyre kevesebb ember látja át a kész rendszert.
Egy fizetés, amelyet veszélyes megismételni
Képzeljünk el egy webáruházat, ahol fizetés után késik a bank válasza. A vásárló újra megnyomja a gombot. Valahol a háttérben néhány sor kód gondoskodik arról, hogy a két kérésből csak egyetlen terhelés legyen. A legtöbb vásárlásnál ez a védelem észrevétlen marad. Egy gyors próbavásárlás akkor is sikerülhet, ha valaki időközben eltávolította.
Egy ilyen helyzetben mutatkozik meg a megértési adósság ára. Ha a fizetések akadozni kezdenek, kézenfekvő javításnak tűnhet a válasz nélkül maradt kérések újbóli elküldése. Aki ismeri a rendszer múltját, előbb ellenőrzi, hogy az első terhelés megtörtént-e. Aki csak a hibaüzenetet látja, a javítással akár másodszor is megterhelheti a vásárló számláját.
Osmani érveléséből nem következik, hogy a közelmúlt nagy leállásait a Claude Code okozta. A figyelmeztetése a helyreállításról is szól. Ugyanazt a hibát tovább tarthat elhárítani, ha a csapatnak az üzemzavar közben kell kiderítenie, melyik alkatrész mitől függ, és melyik javítással okozhat újabb hibát.
Ki vállalja a felelősséget, ha létfontosságú szolgáltatás áll le?
Egy társkereső alkalmazás néhány órás kieséséből könnyen lesz internetes tréfa. Egy kórházi rendszer, egy banki szolgáltatás vagy egy állami ügyintézési felület leállásakor már a betegek ellátása, az ügyfelek pénze vagy egy fontos határidő múlhat a helyreállítás gyorsaságán.
Osmani szerint ilyen környezetben egy súlyos incidens kivizsgálásakor aligha lesz elfogadható magyarázat, hogy a hibás kódot mesterséges intelligencia írta, az üzemeltetőnek pedig nem jutott ideje alaposan átnézni. A felelősség kérdése már akkor felmerül, amikor valaki jóváhagyja a módosítást, és ezzel működő rendszerekbe engedi.
A fejlesztésnél könnyű megmérni, hány óra munkát takarított meg a mesterséges intelligencia. Sokkal nehezebb észrevenni, ha közben eltűnt a csapatból egy fontos ismeret. Néha csak hajnalban, egy leállt szolgáltatás mellett derül ki, mennyit ért volna az a rövid beszélgetés arról a néhány furcsa sorról.