Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl powtarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Sercem tego procesu jest model językowy, który odgrywa rolę własnego głosu doradczego agenta. To on odczytuje polecenia użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich wykonania. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy potrzebuje precyzyjnych danych spoza swojej pamięci treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent trzyma kontekst bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy proces rozkłada się na wiele etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry zapisaną listę poleceń.
Oddzielną sprawą pozostaje sposób ewaluacji własnych działań. Dobrze skonstruowany agent jest w stanie rozpoznać, że otrzymany wynik odbiega od oczekiwanego, i cofnąć się do wcześniejszego etapu, by spróbować alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej oddaniem.