Jak útočníci manipulují s výstupy AI: ChatGPT a problém zneužitých domén

Zpět na blog

28. 7. 2025

V posledních měsících se ukazuje, že nástroje generativní AI – včetně ChatuGPT – lze manipulovat prostřednictvím zneužitých nebo expirovaných domén, které útočníci využívají k šíření dezinformací a neetického obsahu.

Problém týká i doporučení generovaných umělou inteligencí, jež odkazují na weby, které byly hacknuty nebo „recyklovány“ – nejčastěji pro propagaci online hazardu.

Jak to funguje?

ChatGPT, na rozdíl od klasických vyhledávačů, neověřuje aktuální stav webu, jeho vlastnictví ani účel. Pokud měl web dříve dobrou reputaci nebo byl zmiňován důvěryhodnými médii, může být jeho doména považována za autoritativní, i když již dávno změnila obsah nebo majitele.

Například doména dříve využívaná neziskovou organizací spojenou s OSN nyní propaguje nelegální hazard, jiný web, který byl citován médii jako BBC či CNN, je dnes plný tzv. „no deposit“ kasinových nabídek.

Proč je to problém?

Tato strategie, známá jako „data poisoning“, ohrožuje integritu odpovědí AI nástrojů. Uživatelé totiž často nemají prostředky (ani motivaci) ověřovat každý zdroj, na který AI odkazuje. To vytváří prostředí, ve kterém se mohou dezinformace, podvodné nabídky nebo škodlivý obsah tvářit jako důvěryhodné doporučení.

Z pohledu kybernetické bezpečnosti jde o nový vektor manipulace dat – nikoli útok na AI samotnou, ale zneužití jejích principů pro šíření závadného obsahu.

Doporučení pro organizace a bezpečnostní profesionály

  1. Provádějte analýzu domén – ověřujte historii, vlastnictví a aktuální obsah webů, které se objevují v AI odpovědích nebo jsou citovány vašimi zaměstnanci.
  2. Edukujte uživatele – zaměstnanci by měli vědět, že AI nástroje nejsou zdrojem pravdy, ale statistickým generátorem textu na základě existujících dat.
  3. Sledujte „recyklované“ domény – některé domény mohou být prodány a následně zneužity, přičemž stále nesou původní autoritu.
  4. Integrujte bezpečnostní brány s analýzou reputace cílových URL – předejdete tak přístupům na kompromitované weby.

AI nemá vždycky pravdu

Zneužití AI není jen otázkou prompt injection nebo přímých útoků. Stejně závažné jsou indirektní taktiky ovlivnění datového vstupu, které modely používají. Důvěra ve výstupy AI by neměla být slepá – a organizace by měly přistupovat k těmto nástrojům se stejnou obezřetností jako k libovolnému jinému externímu zdroji.

Zdroj: techradar.com, Digitaloft

Zdroj ilustračního obrázku: vygenerováno pomocí AI