Skip to header Skip to main navigation Přejít k hlavnímu obsahu Skip to footer

Přihlášení

  • Obnovení vašeho hesla

Menu uživatelského účtu

Site branding

Domů

Hlavní navigace

  • Domů

AI agenti

Drobečková navigace

Drobečková navigace

  • Domů
  • AI agenti

Obsah hlavní stránky

Shepherd má dohlížet na AI agenty pomocí verzování a sandboxu

Profile picture for user David Bender
Od David Bender | 4:10 Odpoledne CET, Čt Listopad 19, 2026

Shepherd má dohlížet na AI agenty pomocí verzování a sandboxu

Výzkumníci z Northeasternu a Stanfordu představili framework Shepherd, který má dohlížet na autonomní AI agenty a omezovat jejich chybné či nebezpečné kroky. Systém využívá principy verzování známé ze softwarového vývoje: ukládá akce agentů, jejich stav i okolní prostředí jako jednotlivé revize. Nadřazený meta-agent tak může činnost sledovat, problematický krok zastavit, vrátit agenta do předchozího stavu nebo vytvořit alternativní větev postupu. Sandbox zároveň zachytává citlivé akce, například odeslání e-mailu, před jejich skutečným provedením. Autoři systém otestovali při programování, optimalizaci pracovních postupů i trénování posilovaným učením; projekt je otevřený, ale zatím není připraven pro plné nasazení.

umělá inteligence
AI agenti
bezpečnost
  • Read more about Shepherd má dohlížet na AI agenty pomocí verzování a sandboxu
  • Pro vkládání komentářů se musíte přihlásit

Lidské „tření“ má zvýšit bezpečnost i kontrolu autonomních AI agentů

Profile picture for user David Bender
Od David Bender | 6:00 Odpoledne CEST, Po Říjen 05, 2026

Lidské „tření“ má zvýšit bezpečnost i kontrolu autonomních AI agentů

Výzkumníci varují, že současné způsoby lidského dohledu nad autonomními AI agenty často vedou k pouhému formálnímu schvalování, nikoli k reálné kontrole. Lidé mohou být zahlceni množstvím informací, podléhat automatizačnímu a ukotvovacímu zkreslení a bez přemýšlení potvrzovat návrhy systému. Autoři proto doporučují do interakcí záměrně vnést určité zpomalení: například nechat uživatele nejprve formulovat vlastní postup nebo je žádat o zdůvodnění rozhodnutí. Organizace by také měly střídat práci s agenty a bez nich a omezovat dlouhé úseky monitorování. Podle autorů není produktivita skutečná, pokud úspory času následně převáží náklady na opravu chyb AI.

umělá inteligence
bezpečnost
AI agenti
  • Read more about Lidské „tření“ má zvýšit bezpečnost i kontrolu autonomních AI agentů
  • Pro vkládání komentářů se musíte přihlásit

Experimenty Andon Labs ukazují limity AI agentů při řízení skutečných podniků

Profile picture for user David Bender
Od David Bender | 2:20 Odpoledne CEST, Po Září 14, 2026

Experimenty Andon Labs ukazují limity AI agentů při řízení skutečných podniků

Společnost Andon Labs svěřuje AI agentům provoz obchodu a kavárny, aby zkoumala, jakou míru odpovědnosti dokážou současné systémy zvládnout mimo laboratoř. AI manažeři umějí hlídat dodávky či komunikovat s dodavateli, zároveň však chybují v banálních situacích, například považují součást podlahy za odpad nebo nevhodně reagují na náklady. V kavárně jeden model příliš utrácel za rychle se kazící suroviny, zatímco jiný po změně strategie omezil nabídku na sýrové toasty. Reálné provozy odhalují technické i sociální překážky, ale jejich výsledky se kvůli nepředvídatelným podmínkám obtížně opakují a vědecky vyhodnocují. Andon chce zjištěné problémy převádět do simulací, aby mohla lépe měřit spolehlivost a odolnost AI agentů.

umělá inteligence
AI agenti
bezpečnost AI
  • Read more about Experimenty Andon Labs ukazují limity AI agentů při řízení skutečných podniků
  • Pro vkládání komentářů se musíte přihlásit

Tisíc AI agentů se dokázalo spontánně shodnout bez společných pokynů

Profile picture for user David Bender
Od David Bender | 8:00 Odpoledne CEST, Pá Srpen 14, 2026

Tisíc AI agentů se dokázalo spontánně shodnout bez společných pokynů

Studie v časopise Science Advances ukazuje, že velké skupiny AI agentů mohou samovolně dospět ke shodě i bez instrukcí ke spolupráci, odměn či centrálního řízení. V simulacích s modely Claude, GPT a Llama agenti postupně přebírali častější ze dvou libovolných možností, až skupina často zvolila jednotný výsledek. Sílu tohoto sklonu vědci popsali matematickým modelem podobným chování feromagnetů; schopnost udržet shodu se mezi modely výrazně lišila. Claude 3.5 Sonnet koordinoval skupinu o 1 000 agentech, zatímco některé jiné modely narážely na limity už u desítek členů. Výsledky mohou pomoci při organizaci rozsáhlých projektů, zároveň však varují, že agenti mohou konformně setrvat i u nevhodných rozhodnutí a skupinové chování nemusí odpovídat bezpečnosti jednotlivých modelů.

umělá inteligence
AI agenti
výzkum
  • Read more about Tisíc AI agentů se dokázalo spontánně shodnout bez společných pokynů
  • Pro vkládání komentářů se musíte přihlásit
Subscribe to AI agenti

Běží na Drupalu

Powered by Drupal