bezpečnost AI

Společnost Andon Labs svěřuje AI agentům provoz obchodu a kavárny, aby zkoumala, jakou míru odpovědnosti dokážou současné systémy zvládnout mimo laboratoř. AI manažeři umějí hlídat dodávky či komunikovat s dodavateli, zároveň však chybují v banálních situacích, například považují součást podlahy za odpad nebo nevhodně reagují na náklady. V kavárně jeden model příliš utrácel za rychle se kazící suroviny, zatímco jiný po změně strategie omezil nabídku na sýrové toasty. Reálné provozy odhalují technické i sociální překážky, ale jejich výsledky se kvůli nepředvídatelným podmínkám obtížně opakují a vědecky vyhodnocují. Andon chce zjištěné problémy převádět do simulací, aby mohla lépe měřit spolehlivost a odolnost AI agentů.

Laboratoř Goodfire zpřístupnila platformu Silico, která má pomáhat odhalovat, jak jazykové a jiné modely AI dospívají ke svým výstupům. Systém využívá mechanistickou interpretovatelnost: analyzuje váhy, aktivace, pozornost neuronových sítí i změny po tréninku a umožňuje testovat zásahy do jejich částí. Uživatelé mohou běžným jazykem zadat otázku, například kdy model halucinuje, zatímco agenti připraví a paralelně provedou potřebné experimenty. Goodfire zároveň nabízí grantový program v hodnotě jednoho milionu dolarů pro akademické a neziskové výzkumníky. Při analýze modelu pro rozpoznávání Alzheimerovy choroby platforma podle firmy odhalila dosud nevyužívaný signál založený na délce fragmentů DNA.