Przewodniki8 min czytania

Człowiek w pętli AI: jak zaprojektować odbiór, który nie jest przyciskiem „zaakceptuj wszystko”

Jak projektować człowieka w pętli AI: progi eskalacji, dowody, odbiór, role i testy. Praktyczny przewodnik bez przycisku zgody dla pozoru.

Trzy osoby oglądają makietę budynków w jasnym wnętrzu
Trzy osoby oglądają makietę budynków w jasnym wnętrzuIlustracja koncepcyjna: Aeneia

System pokazuje przycisk „zatwierdź”, a człowiek klika go dziesięć razy na minutę. Formalnie jest w pętli. Praktycznie pełni funkcję dodatkowego kroku ładowania strony. Odbiór bez kontekstu i czasu nie jest kontrolą, tylko ceremonią.

Człowiek w pętli powinien podejmować decyzje, których system nie może lub nie powinien wykonywać sam. Potrzebuje źródła, skutku, uprawnień i możliwości odrzucenia. Sama obecność roli nie wystarcza.

Zdefiniuj decyzje wymagające człowieka

Wypisz publikację, wysyłkę, płatność, zmianę praw, dane wrażliwe, konflikt źródeł i sytuacje niejednoznaczne. Nie każdy wynik wymaga odbioru. Wybierz koszt błędu i brak pewności jako kryteria.

Przy małym ryzyku możesz stosować próbkę lub automatyczne reguły. Przy dużym skutku odbiór powinien być pełny i przypisany do roli. Nie wybieraj go tylko dlatego, że wygląda odpowiedzialnie na slajdzie.

Zapisz, czy człowiek ocenia propozycję, wykonuje decyzję czy jedynie monitoruje. Te role różnią się odpowiedzialnością i wymaganym kontekstem. Nie mieszaj ich w jeden status.

Pokaż skutek przed decyzją

Odbierający musi wiedzieć, co zdarzy się po akceptacji: odbiorca, treść, kwota, zasób, wersja, kanał i możliwość cofnięcia. Sam wynik modelu nie wystarcza. Przycisk powinien opisywać konkretną operację.

Przy publikacji pokaż diff i źródła. Przy wysyłce pokaż adresata i treść. Przy zapisie pokaż stare i nowe wartości. Człowiek nie powinien akceptować niewidocznych zmian w tle.

Jeżeli skutek zmienił się po propozycji, wymagaj nowego odbioru. Stara zgoda nie obejmuje nowych danych. Aplikacja powinna porównywać wersję przed działaniem.

Źródło musi być przy decyzji

Dołącz dokument, cytat, datę i ograniczenie. Nie wymagaj otwierania całego archiwum przy każdej decyzji, ale pozwól sprawdzić oryginał. Modelowe „na podstawie analizy” nie jest dowodem.

Przy braku źródła system powinien zatrzymać lub oznaczyć przypadek. Człowiek nie ma zgadywać, skąd wzięła się odpowiedź. Odbiór powinien ułatwiać wykrycie błędu, a nie zachęcać do zaufania.

Przy ocenie źródeł pomocny jest przewodnik o cytowaniach i weryfikacji AI. Dobry przypis prowadzi do konkretnego miejsca.

Ustal progi eskalacji

Zdefiniuj nieznany format, konflikt, błąd krytyczny, brak pola, nietypową rolę i przekroczenie limitu. Każdy próg powinien mieć właściciela i oczekiwany krok. „Eskaluj przy niepewności” bez definicji tworzy kolejkę wszystkiego.

Nie używaj samej pewności modelu jako progu. Może być skalibrowana źle albo nie opisywać kosztu błędu. Reguły powinny wykorzystywać źródło, skutek i typ przypadku.

Przy awarii integracji eskaluj ze statusem znanym i nieznanym. Człowiek musi wiedzieć, czy skutek już wystąpił. Ponowienie bez tej informacji może go powielić.

Zaprojektuj rolę i zastępstwo

Przypisz osobę lub rolę z kompetencjami i uprawnieniami. Nie wystarczy kanał „do odbioru”. Ktoś musi przyjąć odpowiedzialność za decyzję i czas reakcji. Zastępstwo powinno mieć dostęp do tych samych źródeł.

Nie dawaj recenzentowi większych uprawnień niż potrzeba. Odbiór tekstu nie wymaga prawa zmiany konfiguracji. Agent nie powinien wybierać własnego recenzenta dla wygody.

Przy nieobecności zatrzymaj zależne działania lub przełącz na proces ręczny zgodnie z ryzykiem. Kolejka czekająca tydzień bez decyzji jest sygnałem złego procesu, nie skutecznej kontroli.

Ogranicz liczbę decyzji na osobę

Zbyt wiele odbiorów prowadzi do automatycznego klikania. Grupuj podobne niskie ryzyko i zostaw czas na krytyczne przypadki. Nie pokazuj każdej drobnej zmiany jako alarmu.

Raportuj koszt odbioru i błędy wykryte. Jeżeli człowiek nie zmienia nic przez miesiące, sprawdź, czy przypadki są za proste, czy proces za trudny. Nie usuwaj kontroli tylko dla szybkości.

Przy powtarzalnych błędach popraw źródło lub regułę. Człowiek nie powinien wykonywać tej samej korekty bez końca. To jest koszt systemu, nie normalna praca.

Nie zastępuj odbioru drugim modelem

Model-sędzia może pomóc wstępnie grupować i oceniać według rubryki. Nie jest niezależnym właścicielem decyzji. Dzieli ograniczenia modelu i może preferować gładkie odpowiedzi.

Przy kryteriach językowych sprawdzaj próbkę ludzką. Przy faktach używaj źródeł i reguł kodu. Automatyczny sędzia powinien wspierać skalę, nie zastępować odpowiedzialności.

Zapisz wersję sędziego i wynik. Po zmianie modelu porównaj zachowanie. Zielony wynik jednego AI nie dowodzi zgodności z procesem.

Odbiór musi mieć możliwość odrzucenia

Dodaj prawdziwe opcje: popraw, odrzuć, eskaluj, wstrzymaj. Przycisk „akceptuj” i „akceptuj później” nie daje wyboru. Człowiek powinien móc zatrzymać skutek bez szukania administratora.

Zapisz powód odrzucenia i nowy przypadek testowy. Nie oceniaj osoby; oceniaj proces. Powtarzalne odrzucenia pokazują, co wymaga zmiany źródła lub reguły.

Przy wycofaniu sprawdź, czy skutek nie wystąpił przed decyzją. Interfejs nie może uruchamiać operacji w tle przed odbiorem. To jest podstawowa kontrola techniczna.

Przykład: odbiór publikacji artykułu

Agent przygotowuje wersję z linkami i metadanymi. System pokazuje diff, źródła, wyniki linków i canonical. Redaktor może poprawić, odrzucić lub zatwierdzić konkretną wersję.

Nie publikuj przed odbiorem. Po akceptacji wykonaj test publiczny i zapisz wynik. Jeżeli treść zmieniła się po akceptacji, wymagaj nowej decyzji zależnej.

Proces opisuje także artykuł o publikacjach CMS z AI. Człowiek ma rolę decyzyjną, a system porządkuje dowody.

Przykład: odbiór zmiany danych klienta

Agent proponuje scalenie kontaktów. Człowiek widzi zgodne i sprzeczne pola, zgody, historię i skutek dla integracji. Bez tych danych decyzja byłaby estetycznym wyborem podobnych nazw.

Przy konflikcie zatrzymaj. Po scaleniu sprawdź relacje i rezygnacje. Rollback powinien być przygotowany przed operacją. Model nie zatwierdza własnej propozycji.

Przy procesie CRM pomocny jest przewodnik o deduplikacji kontaktów AI. Odbiór dotyczy skutku, nie tylko podobieństwa.

Test prawdziwego zachowania człowieka

Wykonaj scenariusz z poprawną propozycją, błędną i niepewną. Sprawdź, czy recenzent rozumie skutek i potrafi odrzucić. Nie testuj tylko obecności przycisku. Obserwuj decyzję i dowód.

Dodaj zmianę źródła po propozycji. System powinien zatrzymać akceptację starej wersji. Dodaj nieobecność i zastępstwo. Test kończy się skutkiem lub jego brakiem.

Zapisz czas i błędy odbioru. Jeżeli recenzent klika bez czytania, popraw interfejs, liczbę przypadków lub zakres. Nie zwiększaj tylko instrukcji o odpowiedzialności.

Mierz jakość kontroli, nie liczbę kliknięć

Zapisz błędy wykryte przed skutkiem, błędy po nim, czas i liczbę odrzuceń. Nie nagradzaj za szybkość akceptacji. Dobra kontrola może spowalniać proces, ale ograniczać koszt większych awarii.

Sprawdź przypadki, które przeszły mimo błędu. Człowiek mógł nie mieć źródła lub czasu. Popraw proces zamiast tylko przypominać o uwadze.

Przy stabilnych procesach oceń próbkę zaakceptowanych wyników. To pozwala wykryć automatyczne klikanie i zmianę zachowania.

Kiedy człowiek nie jest potrzebny przy każdym kroku

Przy odwracalnych, niskiego ryzyka działaniach możesz automatyzować zasady i stosować próbkę. Nie twórz odbioru dla samej formy. Nadmiar decyzji obniża jakość krytycznych.

Zachowaj jednak sposób zatrzymania i eskalacji. Brak odbioru przed każdym wynikiem nie oznacza braku odpowiedzialności. Właściciel musi reagować na sygnały i okresowo oceniać proces.

Przy zmianie ryzyka wróć do pełniejszej kontroli. Proces powinien dopasowywać się do skutku, nie tylko wolumenu.

Kiedy zatrzymać automatyzację całkowicie

Jeżeli nie ma kompetentnego recenzenta, źródeł ani możliwości zatrzymania skutku, proces nie jest gotowy. Nie zastępuj ich przyciskiem. Ogranicz model do przygotowania materiału poza produkcją.

Przy powtarzalnych błędach krytycznych zatrzymaj i oceń przyczynę. Może zadanie nie nadaje się do automatyzacji. Nowy model nie rozwiązuje braku procesu.

Interfejs odbioru powinien ograniczać zmęczenie

Pokaż najpierw przypadki krytyczne i powód eskalacji. Nie zmuszaj recenzenta do otwierania wszystkich danych przy każdej decyzji. Źródło i skutek powinny być widoczne w jednym miejscu, a historia dostępna na żądanie. Dobry układ zmniejsza pokusę automatycznego klikania.

Unikaj długich opisów modelu. Lepiej pokazać kilka pól i cytat niż esej o pewności. Przy powtarzalnych przypadkach możesz zapamiętać poprzednią decyzję, ale nie ukrywaj nowych różnic. Recenzent powinien widzieć, co się zmieniło od ostatniego odbioru.

Test interfejsu wykonaj z osobą, która nie projektowała procesu. Jeżeli nie potrafi wskazać skutku i źródła bez tłumaczenia, przyciski nie rozwiązują problemu. Popraw hierarchię zamiast dodawać kolejne ostrzeżenia.

Kiedy odbiór może być asynchroniczny

Przy zadaniach niewymagających natychmiastowego działania przygotuj kolejkę z właścicielem i terminem. Recenzent może pracować partiami bez przerywania procesu użytkownika. To ogranicza koszt kontekstu i zmęczenie.

Nie stosuj asynchronicznego odbioru przy pilnych decyzjach lub ryzyku rosnącym w czasie. System powinien zatrzymać nowe skutki do decyzji. Termin musi być realny i monitorowany, a nie tylko zapisany w polu.

Po odbiorze powiąż decyzję z konkretną wersją. Zadanie nie powinno zmieniać źródła podczas oczekiwania bez informacji. Jeżeli zmieniło się, wraca do kolejki z nowym diffem.

Pytania przy odbiorze roli

Zapytaj, czy recenzent ma kompetencje i prawo odmowy, czy widzi źródło, czy wie, co się stanie po akceptacji i czy może zatrzymać proces. Brak jednej odpowiedzi oznacza problem procesu, a nie tylko wiedzy osoby.

Dodaj pytanie o skutek po decyzji. Kto odpowiada za błąd przyjęty przez odbiór i jak się go analizuje? Nie chodzi o szukanie winnego, tylko o poprawienie warunków decyzji. Jeżeli odpowiedź znika w logu, kontrola jest niedomknięta.

Przy zmianie właściciela odbioru przekaż rubrykę, otwarte przypadki i historię odrzuceń. Nowa osoba powinna rozumieć, które decyzje są standardem, a które wymagają nowej oceny. Nie przenoś tylko konta i listy zadań.

Zapisz, kiedy odbiór może zostać ograniczony po stabilnych wynikach. Nie usuwaj go automatycznie po jednym dobrym tygodniu. Decyzja wymaga danych o błędach i skutku oraz właściciela akceptacji ryzyka.

Przy kolejnych przeglądach wybierz przypadki zaakceptowane i odrzucone. Oceniaj warunki decyzji, a nie tylko wynik modelu. Jeżeli zespół omija odbiór, sprawdź, czy próg jest zły lub kolejka za duża.

Przy odbiorze nowego procesu wykonaj jedno zadanie z recenzentem i porównaj decyzje. Nie zaczynaj od automatycznej kolejki bez sprawdzenia rubryki. To pozwala zobaczyć, czy człowiek ma wystarczający kontekst i czy próg odpowiada ryzyku.

Zapisz, kiedy nowy typ przypadku powinien wymagać pełnego odbioru. Nie przenoś starej reguły automatycznie. Każda nowa decyzja zewnętrzna zmienia koszt błędu i wymagania roli.

Aeneia Audit pomaga zaprojektować role i odbiór. Przy agentach pomocny jest przewodnik Aeneia Signal o workflow.

Recenzent potrzebuje źródła, czasu na ocenę i możliwości odmowy. Przeprowadź z nim przykładowy odbiór, zanim ustalisz próg automatycznej akceptacji dla nowego rodzaju spraw.

Źródła i dalsza lektura

Sprawdź nas. To zdrowe.

Temat zmienia się szybko. Linki prowadzą do źródeł pierwotnych i stron, na których możesz zweryfikować kontekst.

Doszłaś / Doszedłeś do końca. My też jesteśmy pod wrażeniem.Masz uwagę albo lepszy przykład? Napisz

Marki, dla których tworzyliśmy rozwiązania w Aeneia

Przewijaj w bok
  • L'Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • Mixa
  • Ambasada Chin w Polsce

Narzędzia i technologie, z których korzystamy

Przewijaj w bok
  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear