
Výzkumníci z Northeasternu a Stanfordu představili framework Shepherd, který má dohlížet na autonomní AI agenty a omezovat jejich chybné či nebezpečné kroky. Systém využívá principy verzování známé ze softwarového vývoje: ukládá akce agentů, jejich stav i okolní prostředí jako jednotlivé revize. Nadřazený meta-agent tak může činnost sledovat, problematický krok zastavit, vrátit agenta do předchozího stavu nebo vytvořit alternativní větev postupu. Sandbox zároveň zachytává citlivé akce, například odeslání e-mailu, před jejich skutečným provedením. Autoři systém otestovali při programování, optimalizaci pracovních postupů i trénování posilovaným učením; projekt je otevřený, ale zatím není připraven pro plné nasazení.
- Pro vkládání komentářů se musíte přihlásit