Ile to kosztowało i dlaczego zakres ciągle rósł

Około 18:55 poszedłem z córką robić naleśniki. Gdy wróciłem godzinę później, drugi przebieg poszedł beze mnie dalej, a rachunek urósł razem z nim. Ta ostatnia część jest o dwóch rzeczach, które rosły przez cały dzień: o zakresie i o rachunku.

Odkładaj pomysły: wymagań przybywa

To najważniejszy nawyk w całym procesie. Gdy budowanie jest tak szybkie, każda odpowiedź przynosi kolejny pomysł. Jedna funkcja zamieniła się w trzy, zanim powstała linijka kodu, a dwie kolejne pojawiły się, gdy odpowiadałem na pierwsze pytania Dispatchera.

Więc je odkładam. Każdy pomysł trafia do backlogu razem z tym, skąd się wziął i kiedy do niego wrócić. Pod koniec dnia lista miała siedem funkcji:

Żaden z nich nie wszedł do tego wydania. Odłożone pomysły nie są odrzucone. Każdy jest zapisany z notatką, kiedy do niego wrócić, więc nikt nie musi o niego dziś walczyć, a wydanie zostaje takie, jakie miało być.

Czego nie odłożyłem

Nie odłożyłem wszystkiego i powinienem uczciwie powiedzieć, ile się przecisnęło.

• Przebieg 2, decyzja produktowa. Po pierwszym przebiegu dodałem tabele, pliki do pobrania i skill, który publikuje artykuły z mojego narzędzia do pisania na stronę przez API, więc nie ma ręcznego kroku wgrywania. Zdecydowałem o tym, znając koszt i mając budżet przed oczami.
• Przebieg 3, "mała poprawka". Podczas przeglądu zauważyłem, że prośba o kontakt wysłana z artykułu nie mówiła, z którego artykułu. Dispatcher zaproponował małą poprawkę, a ja się zgodziłem.
• Przebieg 4, wyniki mojego własnego testu. Pięć próśb z mojego testu akceptacyjnego z części 4 nie trafiło do backlogu. Poszły prosto do następnego pakietu, razem z dwoma defektami.
• Przebieg 5, format serii. Zdecydowałem, że dłuższy materiał należy publikować jako serię części. Seria potrzebuje nawigacji między częściami, więc ta decyzja dała Dispatcherowi jeszcze jedną funkcję.

Każda z tych decyzji była rozsądna sama w sobie. Razem zamieniły "gotowe" w serię rund. Dla mnie decyzję produktową od rozrostu zakresu odróżnia to, czy ktoś podjął ją, znając koszt, i czy ktoś liczy rundy.

Uwaga: zakres, który nie przestaje rosnąć. Z AI dodanie funkcji wydaje się darmowe, więc wydanie nigdy się nie zamyka. Każdy nowy pomysł konkuruje z dokończeniem obecnego, a każdy przegląd przynosi jeszcze jedną "małą poprawkę". Prowadź backlog, który widzą agenci i zespół, niech "nie w tym wydaniu" będzie normalną odpowiedzią i licz rundy, a nie tylko funkcje.

Czy było taniej?

Po dwudziestu latach w dostarczaniu oprogramowania tak obsadziłbym te trzy funkcje w zwykłym zespole: analityk biznesowy na 0,3 etatu, dwóch programistów i tester na pół etatu, przez około trzy tygodnie. To moja ocena, a nie pomiar, ale planowałem i wyceniałem taką pracę wiele razy.

Tutaj zajęło to jeden dzień: około 11 godzin od pierwszej notatki głosowej do ostatniego wdrożenia, około 2,5 do 3 godzin mojego czasu, około 38 godzin pracy agentów AI i tokeny warte mniej więcej 270 do 330 USD w cenach za token. Wyceń zespół własnymi stawkami dziennymi, a różnica będzie oczywista.

Równie ważne jest to, czego to porównanie nie uwzględnia. Mój czas przy tej funkcji był krótki, ale był to czas seniora, poświęcony na decyzje i przeglądy. Resztę zrobili agenci, na moim abonamencie i na moim laptopie. A ocena zespołu obejmuje rzeczy, których ten przebieg jeszcze nie potrzebował, takie jak przekazywanie pracy między ludźmi i czekanie na siebie nawzajem. Przy większym produkcie różnica byłaby mniejsza: więcej ludzi do uzgodnienia, więcej historii w kodzie, więcej integracji i akceptacji, których agenci nie przyspieszają. Nadal spodziewałbym się, że będzie duża.

Liczby

Wszystkie liczby w serii pochodzą z tej tabeli. Pierwsze trzy wiersze dotyczą pierwszego przebiegu; cała reszta obejmuje cały dzień, od 14:00 do 01:00.

Pracowałem na abonamencie o stałej cenie, więc za ten dzień nie ma faktury za tokeny. W cenach za token te same tokeny kosztowałyby mniej więcej 270 do 330 USD. Po pierwszych dwóch przebiegach szacunek wynosił 170 do 210 USD; ostatnie cztery przebiegi, głównie przeglądy i poprawki, dołożyły mniej więcej połowę tej kwoty.

Abonament też ma limity. Pod koniec drugiego przebiegu limit pięciogodzinny stał na 86%. Mój obecny plan kosztuje 100 USD miesięcznie i przy tym tempie nie wystarcza nawet na prostą funkcję. Następny plan kosztuje 200 USD.

Uwaga: wydatki na tokeny, które ciągle rosną. Koszt funkcji nie kończy się na pierwszym wdrożeniu. Każdy przegląd, poprawka i kolejna runda czyta cały kontekst od nowa, więc wydatki rosną z każdą rundą, a nie tylko z rozmiarem funkcji. Przy abonamencie widać to jako limit, którego już nie masz; na rachunku za API to pozycja, za którą ktoś musi odpowiadać. Wybierz plan abonamentu, który pokrywa pracę, pilnuj limitów zużycia na każdym etapie i przejdź na wyższy plan, zanim limity spowolnią zespół.

Koszt, o którym nikt nie mówi

Tokeny i CI to tylko część rachunku. Agenci działają na moim własnym komputerze. Późnym wieczorem, gdy subagenci testowali funkcję serii, mój laptop stał na 96% CPU: przeglądarki bez interfejsu uruchamiały testy end-to-end, Node budował i testował, a sama aplikacja Claude zajmowała prawie 4 GB pamięci. To nie był jednorazowy przypadek. W ciągu dnia agenci uruchomili 319 ciężkich zadań lokalnie (buildy, testy jednostkowe, testy end-to-end, sprawdzanie paczek), łącznie około trzech i pół godziny, najwięcej po południu i znowu późno w nocy. Na papierze laptop był mój. W praktyce mieli go agenci, a wszystko inne, co próbowałem na nim robić, szło wolno.

CI dla porównania nie kosztowało mnie tego dnia nic. GitHub naliczył zużycie warte 1,91 USD, w całości w ramach darmowej puli mojego planu.

Uwaga: komputer jest częścią budżetu. Równolegli agenci przynoszą swoje buildy, przeglądarki i zestawy testów tam, gdzie działają. Jeśli to laptop, na którym też pracujesz, płacisz własnym czasem. Przenieś ciężkie testy do CI albo na osobną maszynę, ogranicz liczbę agentów testujących naraz i planuj pracę mocno obciążającą agentów na godziny, kiedy nie potrzebujesz komputera.

Mój czas i czas agentów

Resztę dnia poświęciłem na inną pracę, równolegle z budową. Jako delivery manager najbardziej odczuwam właśnie tę zmianę. Dzień budowania zajął mi mniej niż trzy godziny. Od ludzi nadal zależy uwaga i to ją trzeba planować.

Co wynoszę z jednego dnia

Kod powstał najszybciej. Każde ryzyko, na które trafiłem, było gdzie indziej: w wymaganiach, decyzjach, integracji, przeglądzie i krokach, które może wykonać tylko człowiek. Zabezpieczenia będą znajome każdemu, kto prowadził projekty IT. Zmienia się to, jak szybko są potrzebne.

Gdybym prowadził twój zespół

Nie budżetowałbym tokenów na funkcję. Kupiłbym każdemu programiście plan abonamentu, którego limity pokrywają miesiąc codziennej pracy z agentami, bo ta sama praca w cenach API za token kosztuje kilka razy więcej. Potem pilnowałbym limitów zużycia, a nie faktury: jeśli zespół ciągle w nie uderza, przeszedłbym na wyższy plan, zanim ktokolwiek zacznie racjonować agentów. Ustaliłbym też z góry, gdzie odbywają się ciężkie testy, żeby agenci nie przejmowali laptopów, na których pracuje zespół.

Dwa ryzyka, które za tym wszystkim stoją, i zabezpieczenia przed nimi opisałem na stronie mapy. Jeśli wprowadzasz agentów AI do własnego zespołu, zapytaj asystenta na tej stronie o dowolną część albo napisz do mnie, żeby to omówić.