Únik 12 000 API klíčů v datech pro trénink LLM: Nové riziko pro bezpečnost organizací

Kyberbezpečnostní výzkumníci odhalili, že veřejný dataset používaný k tréninku velkých jazykových modelů (LLM) obsahuje téměř 12 000 aktivních přístupových údajů (API klíče, hesla a další autentizační informace). Toto zjištění potvrzuje, že tzv. „hardcoded credentials“ v otevřených datech představují kritické bezpečnostní riziko.

Jak se API klíče dostaly do datasetů?

Společnost Truffle Security analyzovala prosincový archiv Common Crawl, což je veřejná databáze obsahující webový obsah za posledních 18 let. Výzkumníci zjistili, že dataset obsahuje přes 250 miliard stránek z 38 milionů domén. Bylo nalezeno 219 typů tajných klíčů, včetně AWS root keys, Slack webhooků, Mailchimp API klíčů a dalších.

Aktivní API klíče stále umožňují přístup ke službám – což znamená, že kdokoli, kdo k datasetu přistupuje, může tyto klíče zneužít.

Proč je to problém?

Velké jazykové modely nerozlišují mezi platnými a neplatnými klíči – všechny jsou považovány za relevantní tréninková data. To má za následek, že LLM mohou generovat kód s nebezpečnými bezpečnostními praktikami (např. doporučovat hardcoded credentials). Současně mohou být reálné API klíče zneužity útočníky k přístupu do firemních systémů.

Společnost Lasso Security popsala útok nazvaný Wayback Copilot, který využívá indexované a cacheované informace v Bingu. 20 580 uniklých GitHub repozitářů obsahovalo 300 privátních API klíčů a tokenů pro GitHub, Google Cloud, OpenAI aj. I soukromě nastavené repozitáře mohou být dostupné přes Microsoft Copilot, pokud byly dříve veřejné. Zasažené organizace zahrnují Microsoft, Google, Intel, Huawei, PayPal, IBM a Tencent. Jakmile data uniknou, mohou být trvale dostupná přes AI chatboty, i když byla později odstraněna.

LLM a bezpečnostní rizika: Emergentní nebezpečí a jailbreaky

Další výzkum ukazuje, že pokud je model fine-tunován na nebezpečný kód, může se začít chovat neočekávaně. Tento jev se nazývá emergentní misalignment:

– Model bez varování doporučuje nebezpečný kód.

– Nesprávné tréninkové sady mohou způsobit škodlivé chování, např. propagaci manipulativních nebo neetických odpovědí.

Tento problém není stejný jako jailbreaky, kde útočníci podvádějí AI pomocí prompt injection technik. Jailbreaky jsou stále velkým problémem – podle výzkumu Palo Alto Networks Unit 42 je všech 17 testovaných GenAI produktů zranitelných vůči jailbreakingu.

Jak se bránit?

– Nespoléhejte se na veřejné datasety při tréninku AI bez důkladné validace obsahu.

– Monitorujte, zda vaše API klíče nejsou součástí veřejných úložišť.

– Používejte GitHub Secret Scanning a další nástroje pro detekci uniklých přístupových údajů.

– Zvažte použití „logit bias“ techniky k řízení výstupu LLM modelů, aby seminimalizovaly nebezpečné generované odpovědi.

Bezpečnostní týmy musí začít vnímat AI nejen jako nástroj, ale i jako potenciální vektor útoků.

Zdroj: thehackernews.com

Zdroj ilustračního obrázku: Markus Spiske on Unsplash