AI agenti

Výzkumníci varují, že současné způsoby lidského dohledu nad autonomními AI agenty často vedou k pouhému formálnímu schvalování, nikoli k reálné kontrole. Lidé mohou být zahlceni množstvím informací, podléhat automatizačnímu a ukotvovacímu zkreslení a bez přemýšlení potvrzovat návrhy systému. Autoři proto doporučují do interakcí záměrně vnést určité zpomalení: například nechat uživatele nejprve formulovat vlastní postup nebo je žádat o zdůvodnění rozhodnutí. Organizace by také měly střídat práci s agenty a bez nich a omezovat dlouhé úseky monitorování. Podle autorů není produktivita skutečná, pokud úspory času následně převáží náklady na opravu chyb AI.

Společnost Andon Labs svěřuje AI agentům provoz obchodu a kavárny, aby zkoumala, jakou míru odpovědnosti dokážou současné systémy zvládnout mimo laboratoř. AI manažeři umějí hlídat dodávky či komunikovat s dodavateli, zároveň však chybují v banálních situacích, například považují součást podlahy za odpad nebo nevhodně reagují na náklady. V kavárně jeden model příliš utrácel za rychle se kazící suroviny, zatímco jiný po změně strategie omezil nabídku na sýrové toasty. Reálné provozy odhalují technické i sociální překážky, ale jejich výsledky se kvůli nepředvídatelným podmínkám obtížně opakují a vědecky vyhodnocují. Andon chce zjištěné problémy převádět do simulací, aby mohla lépe měřit spolehlivost a odolnost AI agentů.

Studie v časopise Science Advances ukazuje, že velké skupiny AI agentů mohou samovolně dospět ke shodě i bez instrukcí ke spolupráci, odměn či centrálního řízení. V simulacích s modely Claude, GPT a Llama agenti postupně přebírali častější ze dvou libovolných možností, až skupina často zvolila jednotný výsledek. Sílu tohoto sklonu vědci popsali matematickým modelem podobným chování feromagnetů; schopnost udržet shodu se mezi modely výrazně lišila. Claude 3.5 Sonnet koordinoval skupinu o 1 000 agentech, zatímco některé jiné modely narážely na limity už u desítek členů. Výsledky mohou pomoci při organizaci rozsáhlých projektů, zároveň však varují, že agenti mohou konformně setrvat i u nevhodných rozhodnutí a skupinové chování nemusí odpovídat bezpečnosti jednotlivých modelů.