Projektowanie przepływów z człowiekiem w pętli

Po odpowiednio długim czasie budowania z LLM-ami i agentami widać jeden wzorzec: systemy AI, które naprawdę działają na produkcji, przy sprawach, które mają znaczenie, prawie nigdy nie są w pełni autonomiczne. Utrzymują człowieka w pętli przy decyzjach, które się liczą. To nie porażka technologii ani prowizoryczna proteza — to dobry projekt, właściwy podział pracy między szybki, niestrudzony, ale omylny model a wolniejszego, opartego na osądzie, odpowiedzialnego człowieka. Tyle że „człowiek w pętli” to jedna z tych fraz, które łatwo wypowiedzieć, a jeszcze łatwiej zrealizować źle — otrzymując bezmyślne zatwierdzenia, które dodają tarcia bez podnoszenia bezpieczeństwa, albo zmęczenie alertami, przez które człowiek staje się gorszą siatką bezpieczeństwa, niż gdyby go w ogóle nie było. Ten wpis to dogłębna analiza tego, jak projektować takie przepływy, żeby człowiek i AI robili to, w czym są naprawdę dobrzy, a ich połączenie było lepsze niż każde z nich osobno.

Po co w ogóle trzymać człowieka w pętli

Warto wprost powiedzieć, dlaczego jest to dobry projekt, a nie tymczasowa łatka, bo od tego ujęcia zależy wszystko dalsze. Argument opiera się na czystym podziale mocnych stron:

Model jest szybki, niestrudzony i dobry w pracy masowej — w czytaniu, szkicowaniu, klasyfikowaniu, proponowaniu, w obsłudze skali, której żaden człowiek nie ogarnie. To mnożnik przepustowości.
Model jest jednocześnie omylny, niedeterministyczny i pozbawiony prawdziwego osądu oraz odpowiedzialności — potrafi mylić się z pełnym przekonaniem, nie da się go pociągnąć do odpowiedzialności i tak naprawdę nie rozumie, o jaką stawkę toczy się gra.
Człowiek jest wolniejszy i nie dorówna skali, ale wnosi osąd, kontekst, odpowiedzialność i zdolność wychwytywania pewnych siebie błędów modelu — dokładnie to, czego modelowi brakuje.

Zestawmy to razem, a projekt pisze się sam: niech model robi masową robotę, w której jest dobry, a człowiek pilnuje decyzji, przy których liczą się osąd i odpowiedzialność. Model proponuje; człowiek rozstrzyga tam, gdzie stawka jest realna. To nie jest kompromis obowiązujący do czasu, aż AI „będzie wystarczająco dobre” — przy poważnych decyzjach osąd i odpowiedzialność człowieka są sednem, a świadome ich wprojektowanie odróżnia system AI godny zaufania od takiego, który jest jedynie efektowny.

Gdzie umieścić człowieka

Kluczowa decyzja projektowa dotyczy tego, gdzie w przepływie siedzi człowiek, bo umieszczenie go wszędzie generuje tarcie, a nigdzie generuje ryzyko. Kryterium są stawka i odwracalność każdej decyzji:

Wysokie stawki i nieodwracalne działania wymagają bramki, przy której stoi człowiek. Przelew pieniędzy, usunięcie danych, komunikacja na zewnątrz w imieniu firmy, cokolwiek, czego nie da się cofnąć — te rzeczy powinny wymagać zatwierdzenia przez człowieka przed wykonaniem. Model może zaproponować i przygotować akcję; człowiek ją potwierdza. To zasada bramkowania akcji znana z projektowania agentów, zastosowana jako decyzja na poziomie przepływu.
Niskostawkowe, odwracalne, wysokowolumenowe akcje mogą działać autonomicznie. Rzeczy, które łatwo cofnąć albo których pojedynczy koszt pomyłki jest niski, nie potrzebują człowieka przy każdej — stawianie tam bramki tylko dodaje tarcia i uczy człowieka, żeby przybijał stemple. Niech takie akcje obsłuży model, a uwagę człowieka wydaj tam, gdzie ma znaczenie.
Środek: recenzja po fakcie, nie przed. Przy wielu działaniach o średniej stawce właściwym rozwiązaniem jest pozwolić modelowi działać, ale zadbać, żeby jego akcje były widoczne i odwracalne — człowiek przegląda próbkę albo może interweniować po fakcie, zamiast blokować każdą akcję z góry. Utrzymuje to wysoką przepustowość, zachowując nadzór.

Sztuka polega na dopasowaniu poziomu zaangażowania człowieka do stawki każdej decyzji, a nie na stosowaniu jednej polityki na wszystko. Bramkuj to, co nieodwracalne i poważne w skutkach; pozwól płynąć temu, co tanie i odwracalne; przeglądaj środek. Zrób to mapowanie dobrze, a uwagę człowieka wydajesz dokładnie tam, gdzie zmienia wyniki.

Projektowanie samej recenzji

Umieszczenie człowieka to połowa pracy; druga to sprawienie, żeby jego udział był skuteczny — bo źle zaprojektowany punkt kontroli jest gorszy niż jego brak: dodaje tarcia i tworzy fałszywe poczucie bezpieczeństwa. Tryby awarii, przeciwko którym trzeba projektować:

Bezmyślne zatwierdzanie. Jeśli człowiek dostaje do zatwierdzenia tyle rzeczy albo tak mało kontekstu, że po prostu klika „zatwierdź” bez realnej analizy, recenzja staje się teatrem — dodaje krok, ale nie dodaje bezpieczeństwa. Rozwiązaniem jest ograniczenie punktów recenzji do dostatecznie nielicznych i dostatecznie ważnych, żeby człowiek faktycznie angażował się w każdy z nich. Recenzja, którą wszyscy odruchowo zatwierdzają, nie jest mechanizmem bezpieczeństwa.
Zmęczenie alertami. Za dużo powiadomień, za dużo próśb o zatwierdzenie i człowiek zaczyna je wyciszać — a potem przeoczy to jedno, które miało znaczenie. Rezerwuj uwagę człowieka dla decyzji, które jej naprawdę wymagają, żeby to, co do niego dotrze, było warte jego skupienia. To niedobór utrzymuje uwagę ostrą.
Daj człowiekowi to, czego potrzebuje, żeby zdecydować. Dobry punkt recenzji pokazuje proponowaną przez model akcję wraz z kontekstem i uzasadnieniem — tyle, żeby możliwy był realny osąd, a nie jedynie przycisk tak/nie bez żadnej podstawy. Człowiek jest w stanie wnieść wartość tylko wtedy, gdy ma to, czego potrzebuje, żeby faktycznie ocenić decyzję.
Łatwe przypadki niech będą łatwe, a trudne — widoczne. Wyciągaj na wierzch decyzje wymagające prawdziwego namysłu i nie zakopuj ich pod rutynowymi potwierdzeniami. Zaprojektuj przepływ tak, żeby ograniczona uwaga człowieka lądowała na przypadkach, w których jest najbardziej wartościowa.

Celem jest recenzja, którą człowiek może zrobić dobrze — zaangażowany, poinformowany, przy decyzjach, które mają znaczenie — a nie strumień pozbawionych kontekstu zatwierdzeń, które nieuchronnie zacznie stemplować. Punkt recenzji jest mechanizmem bezpieczeństwa tylko wtedy, gdy został zaprojektowany tak, żeby człowiek mógł w nim realnie wywierać swój osąd.

Pytanie o odpowiedzialność

Jest jeszcze jeden wymiar, który techniczne ujęcie zwykle pomija: kto ponosi odpowiedzialność, kiedy system popełni błąd? Projekt z człowiekiem w pętli ma tutaj konkretne konsekwencje i trzeba im spojrzeć w oczy uczciwie. Jeżeli człowiek zatwierdził akcję, czy odpowiada za błąd modelu, którego nie wyłapał? Jeśli projektujesz punkt recenzji tak przeciążony, że sensowna analiza jest w nim niemożliwa, a potem obwiniasz człowieka, kiedy coś przepuści, zbudowałeś „zlew odpowiedzialności” — człowieka nominalnie odpowiedzialnego za decyzje, których nie miał realnej możliwości ocenić. To jednocześnie niesprawiedliwe i niebezpieczne. Dobry projekt z człowiekiem w pętli oznacza danie mu realnej zdolności wychwytywania problemów — kontekstu, czasu, wolumenu, który da się objąć — tak żeby jego zaangażowanie było prawdziwym nadzorem, a nie tarczą, na którą spada wina za błędy modelu, choć nigdy nie dostał uczciwej szansy, żeby im zapobiec. Odpowiedzialność człowieka musi iść w parze z realną możliwością jej wykonywania.

Werdykt

Najbardziej niezawodne produkcyjne systemy AI trzymają człowieka w pętli przy decyzjach, które mają znaczenie, i to jest dobry projekt, a nie prowizorka: właściwy podział pracy między szybki, niestrudzony, ale omylny model, który powinien wykonywać pracę masową, a wolniejszego, opartego na osądzie, odpowiedzialnego człowieka, który powinien odpowiadać za poważne wybory — model proponuje, człowiek rozstrzyga tam, gdzie stawka jest realna. Dobre zrobienie tego sprowadza się do dwóch problemów projektowych. Gdzie umieścić człowieka to funkcja stawki i odwracalności: bramkuj wysokostawkowe, nieodwracalne akcje zatwierdzeniem człowieka, niech niskostawkowe, odwracalne, wysokowolumenowe działają autonomicznie, a środek przeglądaj po fakcie, zamiast blokować z góry. Jak zaprojektować recenzję to kwestia sprawienia, żeby zaangażowanie człowieka było naprawdę skuteczne — dostatecznie nielicznych i dostatecznie ważnych punktów kontroli, żeby uniknąć bezmyślnego zatwierdzania i zmęczenia alertami, z tak pokazanym kontekstem i uzasadnieniem, żeby człowiek mógł dokonać realnego osądu. Pod tym wszystkim leży pytanie o odpowiedzialność: człowiek pociągany do niej za decyzje musi dostać realną możliwość ich oceniania, inaczej zbudowałeś niesprawiedliwą, niebezpieczną tarczę przed odpowiedzialnością, a nie prawdziwy nadzór. Zaprojektuj podział pracy tak, żeby model i człowiek robili to, w czym są dobrzy, umieść człowieka tam, gdzie stawka to uzasadnia, spraw, żeby recenzja była czymś, co da się dobrze zrobić, i daj odpowiedzialności człowieka realne zęby — a otrzymasz system AI bardziej niezawodny, niż mogłaby być pełna autonomia albo niewspomagany człowiek sam z siebie.