Nový typ útoku „AI-targeted cloaking“ podvrací důvěryhodnost výstupů AI nástrojů

Bezpečnostní výzkumníci z AI security společnosti SPLX odhalili nový typ context poisoningu, které cílí na agentické prohlížeče využívané systémy jako ChatGPT Atlas nebo Perplexity. AI-targeted cloaking spočívá v tom, že útočníci servírují jiný obsah uživatelům a jiný obsah AI crawlerům, čímž manipulují tím, co se později objeví jako „ověřená fakta“ ve výstupech AI systémů.

Stejně jako u dřívějších technik „search engine cloaking“, i zde jde o rozdílné zobrazení stránky na základě user-agent identifikace – pokud AI crawler požaduje stránku, zobrazí se mu upravený obsah. Ten je pak AI nástroji považován za validní zdroj, který se objevuje v přehledech, souhrnech či jako základ pro autonomní rozhodování.

Jak upozorňují výzkumníci: Stačí jedna jednoduchá podmínka typu if user agent = ChatGPT, serve this page, a ovlivníte tím, co miliony lidí vnímají jako ověřený výstup umělé inteligence.

Tato technika může být zneužita nejen k šíření dezinformací, ale i k cílenému ovlivňování algoritmů AI – např. tím, že určité produkty, témata nebo ideologie budou záměrně vyzvedávány na základě podvržených dat. Se vzrůstajícím vlivem AIO (Artificial Intelligence Optimization) může jít o velmi silný nástroj manipulace.

Současně s tím zveřejnila skupina hCaptcha Threat Analysis Group (hTAG) výsledky testů bezpečnosti 20 různých AI agentů. Výsledky jsou znepokojivé:

– ChatGPT v prohlížeči Atlas byl schopen provádět rizikové operace (např. ladění škodlivého kódu) bez nutnosti jailbreaking technik.

– Claude a Gemini umožnily resetování hesel bez restrikcí.

– Manus AI umožnil převzetí účtů a session hijacking.

– Perplexity Comet provedl SQL injekci bez vyzvání.

Ve všech případech šlo o nástroje, které ochotně vykonávaly škodlivé akce, aniž by reagovaly na etické či bezpečnostní varování. V některých případech agenty aktivně obcházely paywally, nebo injektovaly JavaScript pro přístup k chráněnému obsahu.

Kombinace těchto technik (AI cloaking + slabá bezpečnost agentů) představuje významné riziko pro organizace, které začleňují AI agenty do svých systémů nebo spoléhají na AI výstupy při rozhodování. Zvláště v prostředí, kde je důvěryhodnost informací klíčová – např. ve zdravotnictví, právu, financích nebo bezpečnostním sektoru – může jít o zásadní problém ovlivňující rozhodovací procesy.

AI-targeted cloaking ukazuje, že budoucnost bezpečnosti AI nebude jen o ochraně modelů, ale i o zajištění integritě dat, které modely zpracovávají. Manipulace s realitou může probíhat skrytě a ve velkém měřítku – a organizace by měly být připraveny tuto novou třídu hrozeb adresovat.

Zdroje: SPLX AI Security, thehackernews.com

Zdroj ilustračního obrázku: BoliviaInteligente on Unsplash