Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego rdzenia jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten obieg powtarza się wielokrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę własnego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na mniejsze podzadania i proponuje kolejność ich realizacji. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje konkretnych danych spoza swojej pamięci treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć robocza, w której agent trzyma tło bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozkłada się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność odróżnia agenta od prostego skryptu, który odtwarza jedynie z góry ustaloną listę poleceń.
Osobną kwestią pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent potrafi rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do poprzedniego etapu, by spróbować alternatywnej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej oddaniem.