ANECT a.s.AI Security: Jak se mění bezpečnost umělé inteligence ve firmách
AI Security: V čem spočívá změna?
Autor: Petr Mojžíš, CISSP | Lead Security Architect at ANECT a.s.
Umělá inteligence se během krátké doby stala běžnou součástí firemního prostředí. Spolu s novými možnostmi však přináší také rizika, která nelze vyřešit pouze zákazem vybraných nástrojů nebo vydáním interní směrnice. Petr Mojžíš, Lead Security Architect ve společnosti ANECT, se ve své úvaze zaměřuje na to, v čem se AI Security liší od tradiční kybernetické bezpečnosti a jak by k ní měly organizace přistupovat – od governance a monitoringu přes využití AI v obraně až po porozumění novým schopnostem útočníků.
AI Security označuje soubor opatření, která organizacím pomáhají bezpečně zavádět a používat umělou inteligenci, využívat AI pro vlastní kybernetickou obranu a reagovat na nové schopnosti útočníků. Nejde proto pouze o ochranu dat zadávaných do AI nástrojů, ale o novou bezpečnostní disciplínu propojující governance, viditelnost, monitoring, threat modeling, vynucování pravidel a bezpečnostní provoz.
Ve své praxi velmi rád používám nejrůznější best practices frameworky. Proč vymýšlet nové postupy, když už někdo vytvořil (nejlépe) checklist, jak k problematice přistupovat? Můj problém obvykle spočíval v tom najít vhodný framework. Pro spoustu témat prostě nic dobrého neexistovalo. V případě nové oblasti AI Security mám problém opačný. Jak to vše, co se objevuje, mám vůbec stíhat číst? A co z toho je v praxi skutečně použitelné? Snad nám to ukáže čas. Proto předkládám svůj pohled na věc, který přímo z žádného frameworku nevychází. Jedná se spíše o úvahu, v čem toto nové téma „AI Security“ spočívá. Budeme se na něj dívat očima člověka odpovědného za kybernetickou bezpečnost a pokusíme se probrat, v čem je jiné a návazně na to nastínit, z jakých směrů k tématu přistoupit.
AI už není experiment, ale provozní realita
První zastavení by mělo být u samotného AI. Umělá inteligence už dávno není téma vyhrazené pro výzkumné laboratoře, technologické vizionáře nebo několik málo nadšenců ve firmách. Během velmi krátké doby se stala běžnou součástí každodenní práce. Pomáhá psát texty, analyzovat dokumenty, připravovat prezentace, vyhledávat souvislosti, generovat kód, testovat hypotézy, vytvářet shrnutí a v některých případech také přímo podporovat rozhodování. To, co ještě nedávno působilo jako experiment, je dnes provozní realita. A právě v tom spočívá zásadní změna. AI už není izolovaný nástroj, který si někdo zkouší bokem. AI se postupně stává novou vrstvou digitálního pracovního prostředí. Nezbývá proto než přijmout, že AI je nová realita. Je i u vás, nemůžete se jí vyhnout, nemůžete jí zakázat. A téměř každý manažer by vám řekl, že jí především nechcete zakázat.
Proč tradiční bezpečnostní přístup nestačí?
Při diskusích o AI ve firmách se často začíná produktivitou. Kolik času nám AI ušetří, jak zrychlí práci vývojářů, jak pomůže obchodníkům, právníkům nebo bezpečnostním analytikům. To je legitimní a důležité. Jenže každá technologie, která takto zásadně mění způsob práce, současně mění i rizikový profil organizace. V případě AI nejde pouze o nové rozhraní k existujícím datům. Jde o technologii, která pracuje s kontextem, interpretuje vstupy, vytváří nové výstupy a často působí velmi přesvědčivě i v situacích, kdy chybuje.
AI generuje odpovědi pravděpodobnostně, v závislosti na modelu, promptu, kontextu a datech, která má k dispozici. Právě tato nedeterminovanost je pro bezpečnost zásadní. To, že systém odpoví hladce, neznamená, že odpoví správně. To, že odpověď působí důvěryhodně, neznamená, že je důvěryhodná. A to, že uživatel chápe běžnou aplikaci, neznamená, že chápe bezpečnostní dopady práce s AI. Je zřejmé, že si už nevystačíme s klasickou triádou důvěrnosti, integrity a dostupnosti, a to jsme ještě do úvah ani nepřidali zlý úmysl útočníka.
Jaká rizika přináší používání AI?
AI přináší nové zásadní bezpečnostní výzvy. Nejde zdaleka jen o únik dat do veřejného nástroje, i když tato obava bývá první a nejviditelnější. AI nedokáže stoprocentně rozlišit vstupy od svého tvůrce, uživatele, či z dostupných dat od potenciálního vstupu útočníka. Zároveň je AI trénovaná na to, aby maximálně vyhověla potřebám uživatele, kterým se v nestřežený okamžik stane i útočník. Tzv. attack surface se razantně rozšiřuje. Do hry vstupují prompt injection útoky, manipulace kontextu, zneužití pluginů a konektorů, nepřímé instrukce vložené do dokumentů, riziko nechtěného zveřejnění citlivých informací, riziko špatného rozhodnutí založeného na nepřesném nebo zmanipulovaném výstupu atp. AI navíc často propojuje více světů najednou: interní data, externí zdroje, cloudové služby, uživatelské identity, aplikační oprávnění a pracovní postupy. Bezpečnostní problém tak nemusí vzniknout pouze v samotném modelu, ale v celém ekosystému kolem něj. Riziko vznikne tím, že je AI napojena na příliš široká oprávnění, že uživatelé nerozumí klasifikaci dat, nebo že výstupy AI vstupují do procesu bez lidské kontroly tam, kde by kontrola měla být nezbytná. A ani lidská kontrola není žádnou výhrou. Člověk je přece jen sám o sobě velmi slabý článek. Dostane-li operátor ke schválení od AI 100x správný výstup, nepoleví jeho pozornost u 101. schvalování?
Governance jako základ bezpečného používání AI
Že základem AI musí být governance, není příliš pochyb. Prakticky všechny organizace začínají promítnutím problematiky do jejich bezpečnostních politik. Governance v tomto kontextu neznamená byrokratickou brzdu inovace. Naopak, dobře nastavená governance umožňuje AI používat rychleji a bezpečněji, protože stanoví mantinely, ve kterých se uživatelé, technické týmy i management mohou pohybovat. Organizace musí vědět, jaké typy AI nástrojů povoluje, pro jaké účely, s jakými kategoriemi dat, za jakých podmínek a s jakou mírou lidského dohledu. Musí být zřejmé, kdo schvaluje nové use casy, kdo posuzuje rizika, kdo nastavuje technická opatření a kdo vyhodnocuje, zda pravidla odpovídají realitě používání. Bez této vrstvy se AI Security redukuje na reaktivní řešení jednotlivých incidentů, což je v prostředí tak rychle se šířící technologie nedostatečné.
Bez viditelnosti nelze AI řídit
Governance má ale smysl pouze tehdy, pokud organizace ví, co se v jejím prostředí skutečně děje. Viditelnost (visibility) je proto prvním klíčovým předpokladem, abychom se nepohybovali pouze v rovině přání na papíře. Mnoho organizací dnes formálně řeší AI politiku, ale současně nemá dostatečný přehled o tom, jak a jaké AI nástroje zaměstnanci reálně používají. Někdo pracuje s oficiálně schváleným podnikovým nástrojem, jiný používá veřejnou službu, další testuje specializovaný nástroj pro vývojáře, někdo další využívá AI funkce integrované do běžné SaaS aplikace, aniž by si organizace vůbec uvědomila, že tím vznikl nový AI use case.
Tento jev se často popisuje jako shadow AI a v mnoha ohledech navazuje na starší problém shadow IT. Rozdíl je v tom, že AI může pracovat přímo s obsahem, znalostmi a rozhodnutími organizace. Je mnohem přístupnější a živelnější. Pokud organizace nevidí, kde se AI používá, nemůže vědět, zda se používá v souladu s pravidly. Nemůže vynucovat pravidla vyplývající z klasifikace dat, nemůže posuzovat riziko, nemůže reagovat na incidenty a nemůže ani rozumně plánovat další rozvoj.
Monitoring AI interakcí
Viditelnost však sama o sobě nestačí. Nestačí jednorázově zjistit, že se nějaký nástroj používá. AI prostředí je dynamické. Mění se nástroje, funkce, modely, integrace i chování uživatelů. Někdo musí sledovat, co se děje a reagovat na změny. Proto je nutné doplnit viditelnost průběžným monitoringem. Monitoring v oblasti AI Security by neměl být chápán jako sledování zaměstnanců ve smyslu kontroly produktivity, ale jako bezpečnostní schopnost porozumět rizikovým vzorcům. Organizace potřebuje vědět, zda se do AI nástrojů nevkládají citlivá data, zda nedochází k obcházení schválených kanálů, zda se generované výstupy nepoužívají pro vysoce riziková rozhodnutí bez kontroly nebo zda se neobjevují interakce, které mohou naznačovat pokus o zneužití. Podobně jako jsme si zvykli monitorovat síťový provoz, endpointy, identity a cloudové služby, je nutné monitorovat i AI interakce. Nabízí se tedy začlenit nové use cases do bezpečnostního monitoringu.
Threat modeling: porozumět konkrétním scénářům
Zde však přichází staronová otázka: Jak na zjištěné skutečnosti správně reagovat? Jak vyhodnotit, jestli detekované nové použití AI konkrétním člověkem je rizikové nebo ne? Často odpověď dají dobře napsané bezpečnostní politiky, ale jak jsme diskutovali v úvodu, rozsáhlost nového ekosystému, nový attack surface a nedeterminované chování AI prvků způsobuje, že sedá zóna nejasných rizik bude veliká. A právě zde je přichází na světlo threat modeling, neboli metody pro hlubší pochopení rizik spjatých s každým jednotlivým novým použitím AI. AI threat modeling musí vycházet z konkrétních scénářů používání. Jinak bude vypadat riziko u interního asistenta, který pomáhá zaměstnancům vyhledávat informace v dokumentech. Jinak u vývojářského nástroje generujícího kód. Jinak u chatbotu komunikujícího se zákazníky. A jinak u AI komponenty, která podporuje rozhodování v regulovaném procesu. Threat modeling pomáhá pochopit, kde může útočník manipulovat vstup, kde může ovlivnit kontext, kde může získat neoprávněný přístup k datům, kde může dojít k nesprávnému použití výstupu, kde se z technického rizika stává riziko procesní, právní nebo reputační atp. V prostředí AI je obzvlášť důležité sledovat nejen samotný model, ale celý řetězec: odkud data přicházejí, jak se připravují, jak jsou předána modelu, jak je výstup interpretován a co se na jeho základě stane dál.
Enforcement: pravidla musí fungovat i v provozu
Teprve ve chvíli, kdy organizace rozumí rizikovým scénářům (nejen těm probíraným na poradách, ale všem, které uživatelé realizují), má smysl mluvit o skutečném vynucování pravidel. Enforcement bez kontextu totiž často sklouzává k jednoduchým zákazům, které sice vypadají bezpečně, ale v praxi vedou k obcházení nebo k zbytečnému omezení žádoucí produktivity práce. Smysluplné vynucení pravidel musí být založeno na pochopení toho, co je potřeba chránit, jaké chování je přijatelné a jaké už představuje nepřiměřené riziko. V některých případech bude správnou reakcí blokace určité služby. V jiných případech bude stačit omezení práce s citlivými daty, úprava oprávnění, povinná lidská validace výstupu nebo technická kontrola nad tím, jaké konektory může AI používat. Podstatné je, aby pravidla nebyla pouze napsaná v politice, ale aby byla vymahatelná v reálném provozu.
Secure: Bezpečně zavést a používat AI
Dosud jsme probírali oblast, kterou lze chápat jako první rozměr bezpečnosti a AI: zabezpečit samotné používání AI tak, aby kvůli ní nedocházelo k bezpečnostním incidentům, či případně byly minimalizovány jejich dopady. Cybersecurity Framework Profile for Artificial Intelligence publikovaný toho času zatím jako draft americkým NISTem tuto oblast nazývá „Secure“.
Defend: Využít AI pro vlastní obranu
Tím ale problematika nekončí. Pokud zůstaneme pouze u toho, jak AI bezpečně používat, uniknou nám další dvě zásadní roviny. AI se totiž zároveň stává nástrojem obrany a útoku. Vzhledem k dnes již snadno prokazatelné síle AI v obou oblastech je zřejmé, že ignorovat je, znamená ignorovat pravděpodobně neakceptovatelná rizika. Bezpečnostní týmy čelí rostoucímu objemu dat, rostoucí složitosti prostředí a stále rychlejším útokům. Např. ruční analýza logů, alertů, konfigurací a incidentů naráží na limity kapacit i pozornosti.
AI může pomoci dávat souvislosti tam, kde je člověk obtížně hledá, zrychlit třídění událostí, shrnovat incidenty, podporovat threat hunting, navrhovat další kroky nebo pomáhat analytikům rychleji pochopit neznámou situaci. Obdobná revoluce probíhá v bezpečnosti vývoje softwaru a de facto jakékoli jiné oblasti IT. To nutně neznamená, že AI nahradí bezpečnostní experty. Organizace, které AI do obrany nezapojí, budou postupně narážet na řádový rozdíl mezi rychlostí útoku a rychlostí vlastní reakce. V tomto smyslu AI není jen riziko, které je třeba zkrotit. Je to také schopnost, bez které bude stále těžší držet krok. NIST tuto oblast nazývá „Defend“.
Thwart: Porozumět AI v rukou útočníků
Tato obranná rovina je důležitá i proto, že útočníci AI využívají a budou využívat stále intenzivněji. AI snižuje bariéru vstupu do různých typů útoků, zvyšuje škálovatelnost a umožňuje lepší personalizaci. Phishing je jazykově přesnější, kontextově přesvědčivější a lépe přizpůsobený konkrétní cílové skupině. Sociální inženýrství může využívat veřejně dostupné informace s mnohem menší pracností. Hledání zranitelností, generování škodlivého kódu, a rychlejší tvorba variant útoku zkracují dobu mezi nápadem a provedením. Historie kybernetické bezpečnosti ukazuje, že útočníci velmi rychle adoptují nástroje, které jim šetří čas, zvyšují úspěšnost nebo snižují náklady. Proto je nutné jejich schopnosti v celé šíři sledovat, chápat a promítat do vlastních obranných scénářů. AI Security se tím rozšiřuje z interní disciplíny do oblasti threat intelligence a strategického porozumění protivníkovi. NIST tuto oblast nazývá „Thwart“, neboli musíme se učit, jak zhatit nové aktivity útočníků akcelerované AI.
Tři oblasti, jedna bezpečnostní strategie
AI Security je užitečné vnímat jako kombinaci tří navzájem propojených oblastí. První „Secure“ oblastí je bezpečné zavedení a používání AI v organizaci. To zahrnuje governance, viditelnost, monitoring, threat modeling a enforcement. Druhou „Defend“ oblastí je využití AI pro vlastní obranu, tedy schopnost posílit bezpečnostní provoz, analytiku, detekci i reakci. Třetí „Thwart“ oblastí je porozumění tomu, jak AI mění schopnosti útočníků, a schopnost tyto změny promítnout do obranné strategie. Domnívám se, že je čas strategicky řešit všechny tři tyto oblasti. Organizace, která se soustředí pouze na regulaci interního používání AI, může být formálně připravená, ale prakticky pomalá v obraně. Organizace, která se soustředí pouze na AI v SOCu, může přehlédnout rizika neřízeného používání AI v byznysu. A organizace, která nesleduje útočníky, může velmi snadno přehlédnout klíčový trend a nemít zavedená opatření proti aktuální vlně nové formy útoků.
Kde s AI Security začít?
AI Security proto není jednorázový projekt, který lze uzavřít vydáním směrnice nebo nasazením jednoho bezpečnostního nástroje. Je to nová bezpečnostní disciplína, kterou je třeba začlenit do celkové digitální strategie organizace. Největší riziko dnes nespočívá v tom, že organizace AI používají. Skutečné riziko spočívá v tom, že AI používají rychleji, než dokážou řídit její dopady. Nevyhnutelná živelnost současné situace vyžaduje opatření, jež jsem se pokusil nastínit napříč textem. A kde začít? Jako vhodný rozcestník či podklad pro gap analýzu doporučuji zmíněný NIST Cybersecurity Framework Profile for Artificial Intelligence.
Autor: Petr Mojžíš, CISSP, Lead Security Architect, ANECT
Petr Mojžíš je Lead Security Architect ve společnosti ANECT a držitel certifikace CISSP.
Dlouhodobě se věnuje návrhu bezpečnostních architektur, řízení kybernetických rizik a zavádění nových bezpečnostních technologií.
linkedin.com/in/pmojzis
Zpět na blog