Kdo vám tvrdí, že AI agenti fungují hned a bez dozoru, ještě je nenechal běžet měsíc. Tady jsou čtyři věci, které jsem si zažil sám. U každé píšu, co se stalo, jak jsme na to přišli a co se od té doby dělá jinak.
incident #1
„Hotovo“, které hotovo nebylo
Co se stalo. Jeden z agentů měl na starosti větší úkol. Jeho část, napojení platební brány, oddělil jako samostatný úkol pro programátora a do shrnutí mi napsal: „Předáno programátorovi.“ Jenže ten úkol nikomu přiřazený nebyl. Ležel v systému bez jména, nikdo ho neviděl a nikoho nevzbudil.
Jak jsme na to přišli. Při čtení shrnutí jsem se zeptal, jak je na tom platební brána. Ukázalo se, že na ní nikdo nepracuje. Agent schválně nelhal. Napsal, co měl v úmyslu udělat, ne co se doopravdy stalo.
Co jsme opravili. Předání má od té doby dva kroky. Úkol se zakládá rovnou s konkrétním jménem. A než agent napíše „předáno“, úkol znovu otevře a zkontroluje, že tam to jméno opravdu je. Bez té kontroly slovo „předáno“ psát nesmí.
Co z toho plyne pro vás. V lidských týmech se děje totéž. „Poslal jsem to kolegovi“ ještě neznamená, že na tom kolega pracuje. U vás proto hlídám stav, ne hlášení. Když vám napíšu, že se na něčem pracuje, mám ověřené, že o tom ten, kdo na tom dělá, opravdu ví.
incident #2
Planý poplach
Co se stalo. Analytik mi poslal alarm: desítky nejprodávanějších produktů prý prodáváme s nulovou marží, tedy za nákupní cenu. Kdyby to byla pravda, byla by to katastrofa a správná reakce by byla zdražit.
Jak jsme na to přišli. Než jsme začali sahat na ceny, porovnali jsme to s druhým zdrojem. Nástroj, který hlídá ceny vůči konkurenci, u stejných produktů ukazoval normální marži. Pak jsme se podívali přímo do dat. Ve sloupci, ze kterého report bral nákupní cenu, byla ve skutečnosti prodejní cena. Vzorec tedy odečítal cenu od sebe samé a vycházela nula. Skutečná nákupní cena ležela o sloupec vedle a nikdo ji nepoužil.
Co jsme opravili. Opravili jsme vzorec a zavedli pravidlo: alarm, který vede k zásahu do cen, musí být potvrzený ze dvou nezávislých zdrojů, než se dostane ke mně. Při hledání jsme navíc narazili na jinou, skutečnou chybu v cenách, takže pátrání nebylo zbytečné.
Co z toho plyne pro vás. Report, který vypadá jako katastrofa, je často jen chyba v datech. Kdybych zdražil podle něj, přišel bych o zákazníky kvůli problému, který neexistoval. U vašeho e-shopu proto, když něco vypadá dramaticky, nejdřív ověřím číslo a teprve potom navrhuju zásah.
incident #3 · 27. 9.
Den, kdy stál celý tým
Co se stalo. 27. září neproběhl ze 121 pracovních běhů agentů ani jeden úspěšně. Výpadek byl na straně infrastruktury, na které agenti běží, a celý den nepracoval nikdo z nich.
Jak jsme na to přišli. Samotný výpadek byl vidět hned, na přehledu byla celý den nula. Zajímavější bylo, co přišlo potom. E-shop jel dál: objednávky, feedy i faktury obstarávají automatizace, které na agentech nezávisí. Problém byl jinde. Některé úkoly měly nastavený „budík“ na kontrolu přesně v době výpadku. Budík zazvonil, nikdo nepřišel a nikdo ho znovu nenastavil. Po restartu ty úkoly vypadaly živě, ale nikdo se k nim nikdy nevrátil.
Co jsme opravili. Každý agent teď na začátku každého běhu projde své vlastní úkoly a hledá ty, u kterých se budík ztratil. Když nějaký najde, nastaví ho znovu. Je to levná kontrola a druhé spuštění už nic nenajde.
Co z toho plyne pro vás. Všechno, co musí běžet, tedy objednávky, feed, fakturace a doprava, stavím tak, aby fungovalo i ve chvíli, kdy chytrá vrstva nahoře vypadne. A po každém výpadku nestačí zkontrolovat, jestli to zase jede. Musím zjistit i to, co během výpadku spadlo pod stůl.
incident #4
Agenti, co si povídají
Co se stalo. Agenti se každých zhruba dvacet minut probudí a zkontrolují svoji práci. Chvíli to dělali tak, že při každém probuzení napsali do úkolu komentář, i když se nic nezměnilo: „nic nového“, „čekám dál“, „stav beze změny“. Za pár týdnů jich byly stovky.
Jak jsme na to přišli. Při procházení jednoho úkolu jsem našel osm komentářů za jedinou noc a pět z nich neříkalo vůbec nic. Skutečná rozhodnutí se mezi nimi ztrácela. Když jsem potřeboval zjistit, na čem jsme se domluvili, musel jsem se prokousat hromadou „nic nového“. A každé takové probuzení navíc stojí peníze.
Co jsme opravili. Když se nic nezměnilo, agent teď mlčí. Nejdřív si levně ověří, jestli přišlo něco nového. Když ne, skončí, aniž by cokoli četl nebo psal. Souhrnný stav smí napsat nejvýš jednou denně. Komentář má smysl jen tehdy, když přináší nový fakt nebo rozhodnutí.
Co z toho plyne pro vás. I reportování má svou cenu: v penězích i v pozornosti toho, kdo ho čte. Ode mě nedostanete zprávy jen proto, abych dokázal, že existuju. Ozvu se, když je co říct, a dostanete shrnutí, ne proud hlášení.
Každá z těch chyb skončila novým pravidlem. Ta pravidla jsou dnes to nejcennější, co z celého experimentu mám, a právě ta vám přinesu, abyste si je nemuseli zažít sami.