GENERATIVNÍ AI

Jak generativní AI mění kyberbezpečnost

Autor: Michal Čábela, Deloitte

Světlá strana generativní AI

Generativní umělá inteligence hraje klíčovou roli v posilování kybernetické obrany. Jedním z příkladů je využití AI pro vývoj pokročilých systémů detekce a prevence. Tyto systémy jsou schopny naučit se rozpoznávat nové vzory chování, které mohou naznačovat kybernetický útok, čímž předstihují tradiční metody založené na předchozích znalostech o hrozbách. Dále může generativní AI pomáhat při vytváření simulovaných kybernetických útoků, které umožňují organizacím testovat a posilovat své obranné mechanismy proti reálným hrozbám.

V současné době čelíme stále sofistikovanějším kybernetickým hrozbám, jako jsou pokročilé trvalé hrozby (APT) a vyspělý malware. AI modely jsou schopné analyzovat velké objemy dat pro identifikaci anomálií nebo podezřelých vzorů, což je klíčové pro odhalení APT, které často dlouhodobě zůstávají skryté v síti. Schopnost rychlé a přesné analýzy umožňuje efektivnější reakci na hrozby a minimalizuje potenciální škody. Nutno podotknout, že AI modely jsou v rámci bezpečnostních nástrojů využívány již řadu let, nejedná se proto o překvapení, že příchod generativní AI toto využití pouze akceleroval.

Některé bezpečnostní firmy využívají například Generative Adversarial Networks (GAN) pro vytvoření sofistikovaných simulací kybernetických útoků. Tyto simulace pomáhají bezpečnostním týmům lépe se připravit a reagovat na skutečné hrozby. Dalším příkladem je vývoj samoopravných systémů, které používají generativní AI k automatickému opravování zranitelností v softwaru, čímž zvyšují celkovou odolnost systémů proti útokům.

Temná strana generativní AI

Přestože generativní AI přináší významné výhody v kybernetické bezpečnosti, není bez rizik. Jednou z hlavních obav je možnost zneužití pro vytváření sofistikovaných kybernetických útoků. Příkladem mohou být deepfake technologie, které umožňují vytvářet přesvědčivé audiovizuální materiály, jež mohou být použity pro šíření dezinformací nebo manipulaci. Dále, schopnost generativní AI vytvářet přesvědčivý phishingový obsah může vést k účinnějším sociálně inženýrským útokům. Generativní AI může být použita také k automatizovanému vytváření malwaru podle přesně zadaných atributů, které korespondují se zranitelnostmi napadeného prostředí. Takto automatizovaně a na míru sestavený malware je schopen uniknout detekci tradičními bezpečnostními nástroji. Dříve byly tyto útoky spíše sporadické a zaměřené pouze na nejzajímavější a konkrétní cíle konkrétních útočníků, nyní mohou být svojí automatizací rozšířeny i na organizace, které dříve čelily maximálně do jisté míry standardizovanému malware.

Dalším aspektem rizik jsou nežádoucí důsledky využívání generativní AI v bezpečnostních aplikacích. Například, zatímco AI může pomoci v detekci a prevenci kybernetických hrozeb, zároveň může vést k vytváření „falešně pozitivních“ výsledků, což znamená nesprávné identifikaci legitimních aktivit jako hrozeb. To může vést k nepřiměřeným reakcím a možným narušením provozu celé infrastruktury.

Rizika nejsou spojena pouze přímo s útočníkem. Přílišné sdílení dat s nástroji generativní umělé inteligence jsou neopomenutelná. Jedním z klíčových rizik je ochrana soukromí. Při sdílení osobních nebo citlivých dat s AI systémy existuje riziko, že tato data mohou být zneužita nebo že dojde k jejich úniku do nepovolaných rukou. Generativní AI, schopná analyzovat a rekonstruovat velké objemy dat, může vést k neúmyslnému odhalení osobních informací nebo k vytváření přesných profilů jednotlivců nebo organizací. Dále, sdílení dat s AI může vystavit organizace riziku zneužití těchto dat konkurencí nebo kyberzločinci. Při zavádění generativní AI do organizací je tedy na místě důkladný monitoring využití, nastavení dostatečně transparentních a silných pravidel a postupů k práci s AI.

Útočníci mohou využít i nepřímého ovlivnění vámi využívané generativní AI (případně jakékoliv AI) při využití technik Model Poisoningu, neboli Ukradení AI. To představuje jedno z významných rizik spojených s AI, kdy útočník cíleně manipuluje s trénovacími daty nebo procesem, aby model začal fungovat podle jeho představ. Takové útoky mohou vést k tomu, že AI model začne generovat zavádějící, nežádoucí nebo dokonce nebezpečné výsledky. Útočník může například „přeškolit“ model rozpoznávání obrazu tak, aby nedokázal správně identifikovat určité objekty nebo osoby, což může mít vážné bezpečnostní důsledky. Tento druh útoku představuje značnou hrozbu v bezpečnostních aplikacích, kde jsou přesnost a spolehlivost AI modelů klíčové. Proto je nezbytné, aby organizace před takovými útoky implementovaly robustní bezpečnostní opatření pro ochranu svých AI systémů, včetně pečlivého monitorování a validace trénovacích dat a procesů.

Kdo pohlídá AI?

Rozvoj umělé inteligence v IT oblasti přináší riziko snížení počtu seniorních odborníků v oboru. Tento problém vychází z toho, že AI je čím dál efektivnější v přebírání úloh, které tradičně sloužily jako základní kámen pro vývoj dovedností juniorních pracovníků. Když AI přebírá rutinní (ale zároveň vzdělávací) úkoly, jako je ladění kódu, analýza dat nebo dokonce některé aspekty vývoje softwaru, může to omezit příležitosti pro juniory k získání praktických zkušeností a postupnému rozvoji do seniorních pozic. Tato situace může vést k deficitu odborníků, kteří mají hluboké porozumění a zkušenosti potřebné k efektivní kontrole a správě AI systémů. Absence seniorních mentorů může navíc snížit kvalitu odborného růstu mladších pracovníků, což má za následek opět nedostatečně rozvinuté kritické myšlení a řešení složitých problémů, které AI zatím plně nenahradí. Situace vyvolává potřebu vyváženého přístupu, kde AI doplňuje lidskou práci, aniž by ji zcela nahradila. Zároveň se také zachovává důraz na rozvoj a vzdělávání juniorních pracovníků v IT. Alternativním postupem je vytváření kompletních tréninkových prostředí, kde mohou junioři získat tak potřebné zkušenosti. Otázkou zůstává, kdo tato prostředí vytvoří (pravděpodobně opět AI) a kdo je zaplatí?

Existuje reálný scénář, kdy se stane správa systémů a infrastruktury příliš závislá na umělé inteligenci. To by mohlo vést k situaci, kdy lidé nebudou schopni složité systémy efektivně. S rostoucí komplexitou IT infrastruktur a bezpečnostních systémů, které jsou stále více automatizovány a řízeny AI, může dojít k postupnému snižování zapojení a porozumění lidských odborníků. Pokud současně dochází k nedostatku seniorních pracovníků v IT, jak bylo uvedeno výše, může to vést k situaci, kde klíčové aspekty správy a bezpečnosti systémů budou ovládány převážně nebo dokonce výhradně AI bez dostatečného lidského dohledu a zásahu. To by mohlo přinést rizika spojená s nedostatkem flexibilní reakce na nečekané situace a potenciální neschopností rychle reagovat na nové, neznámé hrozby nebo chyby v systémech. Celkově se bude jednat o naprostou ztrátu kontroly (film Matrix již není daleko). Zdůrazňuje to proto potřebu udržovat vyvážený poměr mezi automatizací založenou na AI a lidským odborným dohledem a údržbou.

Bezpečností AI se nově zabývá i evropská legislativa – AI Act, neboli legislativa Evropské unie týkající se regulace umělé inteligence, je klíčovým krokem k definování právních a etických rámů pro vývoj a využití AI. Předpis požaduje, aby byly AI systémy vyvíjeny a provozovány tak, aby byly spolehlivé, bezpečné a transparentní. To zahrnuje požadavky na kvalitu dat, která AI používá. Minimalizují se tak rizika zkreslení nebo diskriminace a také požadavky na lidský dohled nad vysoce rizikovými AI systémy. Pro firmy a organizace pracující v oblasti kybernetické bezpečnosti to znamená, že musí přizpůsobit své AI systémy tak, aby splňovaly nové normy, což může zahrnovat revizi současných systémů, způsobů sběru a zpracování dat a mechanismů pro monitorování a kontrolu. Otázkou opět zůstává, zda tato regulace zajistí opravdu bezpečnější využívání AI nebo sníží konkurenceschopnost evropských systémů.

Budoucnost – už je tu

Je nezbytné, aby při využívání generativní AI byly vždy na prvním místě bezpečnostní pojistky. To zahrnuje vytváření robustních protokolů a systémů pro monitorování a dohled nad AI, aby bylo možné udržet kontrolu nad celým spravovaným ekosystémem. Je to klíčové nejen pro prevenci zneužití AI v rukou útočníků, ale také pro zajištění, že systémy nevykazují nežádoucí chování nebo se nestávají příliš závislé na AI bez možnosti lidské intervence.

Je důležité zdůraznit, že současné hlavní vektory útoků využívající generativní AI zahrnují hlavně přímou interakci se zaměstnanci, jako je phishing a vytváření deepfake materiálů atd. Generativní AI v současné době tak slouží převážně jako prostředek pro usnadnění průniku konkrétního malware do organizace, její budoucí vývoj a aplikace by mohly přinést (a jistě přinesou) nové výzvy.

Vzhledem k tomu, s jakou rychlostí se tento obor rozvíjí, je možné tyto budoucí výzvy brzy očekávat, a proto lze jednoznačně doporučit velice pečlivé sledování trendů v oblasti AI a průběžné vzdělávání všech klíčových zaměstnanců organizací. A to nejen z IT a bezpečnostních oddělení, jedná se o celospolečenský jev.