Agenci AI: kiedy naprawdę mają sens?

Agent AI to system, w którym model decyduje o kolejnym kroku, zamiast wykonywać stałą sekwencję. Może wywoływać narzędzia, czytać wyniki i wybierać, co zrobić, na podstawie tego, co znajdzie.

To naprawdę potężny wzorzec. I zarazem obecnie najbardziej przereklamowany pomysł w biznesowym AI, bo demo robi ogromne wrażenie, a działanie na produkcji już nie.

Uczciwy kompromis

Stały proces za każdym razem robi to samo. Można go przetestować, zrozumieć i wyjaśnić każde pojedyncze uruchomienie.

Agent się dostosowuje. Radzi sobie z przypadkami, których nikt nie przewidział — i wybiera ścieżki, których nikt nie przewidział. To samo zlecenie może w różne dni dać różne sekwencje działań. Ta elastyczność jest zaletą i problemem jednocześnie.

W większości procesów biznesowych przewidywalność wygrywa z adaptacją. Faktura ma być przetworzona za każdym razem tak samo, a nie kreatywnie.

Kiedy agent jest rozsądnym wyborem

Ścieżka naprawdę różni się dla każdego przypadku, a różnic nie da się wyliczyć. Zadania badawcze, porządkowanie spraw w wielu systemach, dochodzenia zależne od tego, co się znajdzie.

Zakres działań jest bezpiecznie ograniczony. Agent może czytać z pięciu systemów i zapisywać do jednego, w uprawnieniach, przy których najgorszy scenariusz jest akceptowalny. Jeśli może wysyłać maile do klientów albo przelewać pieniądze, potrzebujesz akceptacji człowieka, a nie lepszego polecenia.

Pomyłki są tanie i widoczne. Szkic, którego nikt nie wyśle. Lista, którą ktoś przejrzy. Podsumowanie ze wskazaniem źródeł.

Człowiek jest w pętli w miejscu, w którym zapadają skutki. Agent przygotowuje; człowiek decyduje.

Alternatywą jest to, że nikt tego nie zrobi. Praca dochodzeniowa, która zajęłaby człowiekowi dwie godziny i dlatego nigdy się nie odbywa.

Kiedy nie jest

Gdy da się spisać kroki. Jeśli proces to „pobierz, wyciągnij, zwaliduj, zaksięguj”, to jest stały proces. Opakowanie go w agenta dokłada koszt, opóźnienie i niedeterminizm bez żadnej korzyści.

Gdy spójność jest wymogiem. Wszystko, co regulowane, finansowe albo skierowane do klientów na dużą skalę.

Gdy błąd jest drogi albo publiczny. Agenci zawodzą w ciekawszy sposób niż stałe procesy, a „ciekawie” to nie jest to, czego chcesz na produkcji.

Gdy nie widać, co zrobił. Jeśli nie da się później odtworzyć sekwencji działań, nie da się tego debugować ani obronić.

Czego potrzebują agenci na produkcji

Jeśli już go budujesz, to nie są rzeczy opcjonalne:

• Wąsko określone narzędzia. Każde z własnymi uprawnieniami. Tylko do odczytu, gdzie tylko się da.
• Twarde limity. Maksymalna liczba kroków, koszt na uruchomienie, czas. Agenci wpadają w pętle; załóż, że Twój też wpadnie.
• Pełny zapis działań. Każde wywołanie narzędzia, wejście i wyjście, przechowywane i możliwe do przejrzenia.
• Bramki akceptacji przed wszystkim, czego nie da się cofnąć.
• Zestaw ewaluacyjny. Pięćdziesiąt prawdziwych przypadków ze znanymi dobrymi wynikami, uruchamianych ponownie przy każdej zmianie — polecenia, wersji modelu, narzędzia.
• Wyłącznik awaryjny, którego może użyć osoba nietechniczna.

Jeśli ta lista brzmi jak więcej inżynierii niż sam agent, to dlatego, że tak jest. To z tego powodu projekty „po prostu dodajmy agenta” utykają na etapie dema.

Bardziej przydatny wzorzec

Zacznij od stałego procesu. Zapisuj przypadki, z którymi sobie nie radzi. Jeśli mają wspólny kształt, rozbuduj proces. Jeśli są naprawdę różnorodne i jest ich na tyle dużo, że to ma znaczenie, masz dowód na potrzebę agenta — i prawdziwe przypadki do jego oceny.

To wolniejsze niż zaczynanie od agenta, ale właśnie tak powstaje coś, co wciąż działa po roku.

Gdzie dziś dobrze się sprawdzają

• Research i wzbogacanie danych. Na podstawie nazwy firmy zbierz publiczne informacje z określonych źródeł i przygotuj uporządkowane podsumowanie. Ograniczone, sprawdzalne, przydatne.
• Porządkowanie spraw w wielu systemach. Znajdź klienta w kilku systemach i podsumuj sytuację, zanim człowiek dołączy do rozmowy.
• Narzędzia dla programistów. Ograniczone, do przejrzenia, z człowiekiem akceptującym każdą zmianę.
• Dochodzenia. „Znajdź wszystkie rekordy, których dotyczy ten problem.” Tylko odczyt, a wynik da się sprawdzić.

Zauważ wzorzec: dużo czytania, mało zapisywania, weryfikacja przez człowieka.

Nasze stanowisko

Budujemy agentów tam, gdzie powyższe warunki są spełnione, i powiemy Ci, kiedy lepiej sprawdzi się stały proces — a zdarza się to częściej, niż sugeruje dziś rynek. Inżynieria, dzięki której agentowi można zaufać, to ta sama inżynieria, dzięki której można zaufać każdemu systemowi AI: ograniczone działania, prawdziwa ewaluacja i człowiek w miejscu, w którym zapadają skutki.

Masz proces, który Twoim zdaniem potrzebuje agenta? Opisz go, a dostaniesz prostą odpowiedź.