Hackerek bőrébe bújik a Microsoft

A Microsoft szerint meg kell erősíteni az MI-be vetett bizalmat, amit az AI által generált változások teljességének megértése nélkül nem lehet elérni. A Microsoft AI Red Team-ben, a kiberbiztonsági szakemberek mellett neurológusok és nyelvészek is elemzik azokat a módszereket, amelyekkel a csalók veszik rá az MI-t, hogy megtévessze az embereket.

Az olyan mesterséges intelligenciára alapuló alkalmazások, mint a Copilot és a ChatGPT a kiberbiztonságról vallott nézeteinket is alaposan felülírják. Az újdonság ezen a területen leginkább az, hogy már nem csupán technológiai ismeretekkel kell rendelkeznie annak, aki a mesterséges intelligenciával felfegyverkezett csalókkal akar szembe szállni, de időnként nem árt az emberi pszichét és az adott társadalmi kontextust is ismernie ehhez.

A Microsoft a közelmúltban állított fel Red Team néven egy csoportot, amely a mesterséges intelligenciát alkalmazó kiberbűnözői tevékenység megfékezésére szakosodott – méghozzá azzal a meggondolással, hogy a védekezőnek magáévá kell tennie nézőpontok széles skáláját, ideértve a bűnözőkét is. Innen ered a név is: red team-nek hívták ugyanis a hidegháború alatt azt az amerikai különítményt, amely a szovjet-orosz ellenfelet jelenítette meg a kék, vagyis a hazaiakat képviselő csapattal szemben, a legkülönfélébb elképzelt konfliktusokban. Susanna Ray, a Microsoft bloggere számolt be részletesen a 2019-ben felállt csapat összetételéről és feladatairól.

A Ram Shankar Siva Kumar vezette csapatban sokféle háttérrel és tudással rendelkező szakember, így a mérnökök és szoftverfejlesztők mellett, neurológus, nyelvész, pszichológus és nemzetbiztonsági szakértő adja össze a tudását azért, hogy a közvetlen biztonsági kockázatokon túl a társadalmi károkat is felmérhessék. Erre azért van szükség, mert a generatív mesterséges intelligencia képessé teszi a bűnözőket és csalókat arra, hogy hiteles módon szólaljanak meg, adjanak elő narratívákat több nyelven, hogy rendkívül élethű, mégis valótlanságot ábrázoló képeket hozzanak létre azért, hogy embereket tévesszenek meg, vagy hogy társadalmi megosztottságot és feszültséget gerjesszenek.

„A kiberbiztonság, az MI felelős használata, és az MI tágabb értelemben vett biztonságos használata ugyanannak az éremnek a különböző oldalai” – véli Siva Kumar. „A holisztikus, egyablakos megközelítésre azért van szükség, mert csak így kaphatunk átfogó képet a kockázatokról.”

Siva Kumer a Microsof Aether (az AI etikai és társadalmi vonatkozásaival foglalkozó kutatási terület) programjában dolgozó kutatókkal fogott össze. Ők azt vizsgálják, hogy az MI-modellek akár szándékos emberi beavatkozással, akár a saját belső logikájukból fakadóan, hogyan okozhatnak olyan károkat, amelyek elkerülték a fejlesztők és az elemzők figyelmét. „A tevékenységünk olyan veszélyforrásokra is kiterjed, amelyek jelenlétét mi magunk igazoljuk” – magyarázza Sivar Kumar, hozzátéve: „Gyorsan alkalmazkodunk, gyakran alakítjuk át a taktikánkat – ez a sikerünk receptje. Nem engedhetjük meg magunknak, hogy a változások kényszerítsenek bennünket cselekvésre, elébe kell ezeknek mennünk.”

A Red Team nincs közvetlen munkakapcsolatban a technológiát fejlesztő mérnökökkel, ehelyett inkább azokra összpontosít, akik az MI-alapú rendszereket hallucinációkra kényszerítik azért, hogy azok kártékony, sértő, vagy irányított tartalmakat generáljanak, hamis vagy pontatlan adatokra támaszkodva. Amint a Microsoft AI Red Team talál egy problémát, értesíti erről az adott AI Measurement csapatot. Ez a csoport értékeli, hogy az adott probléma mekkora fenyegetést jelent a teljes ökoszisztémára nézve. Ezután más szakértők veszik újból górcső alá a fenyegetést és keresnek megoldásokat a felmerült problémára.

A csapattagok különböző személyiségeket öltenek magukra, a kreatív tinédzsertől kezdve, aki csak a csínytevésben érdekelt, az adatok eltulajdonítására és károkozásra szakosodott bűnözőig, hogy feltárják a fejlesztés vakfoltjait és felfedjék a kockázatokat. A csapattagokat a világ minden tájáról toborozzák, 17 nyelven beszélnek a flamandtól a mongolon át a teluguig, hogy a Red Team képes legyen feltárni az árnyalt kulturális kontextusokat, és azonosítani a helypecifikus fenyegetéseket. Nemcsak arra törekszenek, hogy feltörjenek egy-egy rendszert, hanem nagy nyelvi modelleket (LLM) alkalmaznak azért, hogy automatizált támadásokat indítsanak más LLM-ek ellen.

A csoport az év elején nyílt forráskódú keretrendszereket (pl Counterfit, Python Risk Identification Toolkit for generative AI, vagy a PyRIT) adott ki azzal a céllal, hogy segítséget nyújtson biztonsági szakembereknek és a gépi tanulásában jártas mérnököknek a kockázatok feltérképezéséhez. A tapasztalataikból nyert jó gyakorlatokat pedig megosztják a szakmai közösséggel.

„Még csak rövid ideje használjuk a generatív mesterséges intelligenciát, de már most látjuk, hogy nehezen tudnánk meglenni az általa kínált tetemes előnyök nélkül. Mostanra azonban az is világossá vált, hogy a további fejlődés gátja lehet az MI megoldásokba vetett bizalom megrendülése. A Microsoftnál éppen ezért hatalmas erőforrások mozdultak meg azért, hogy az MI fejlesztés és -használat ellenőrzött keretek között maradjon, hogy továbbra is a kedvező társadalmi hatások érvényesüljenek, a kedvezőtleneket pedig lehetőleg ki tudjuk küszöbölni. A Microsoft ezzel a törekvésével a változások és a versenytársai előtt jár” – összegezte a Microsoftnál zajló kiberbiztonsági innováció jelentőségét Renate Strazdina, a Microsoft regionális technológiai vezetője.

fotó: Microsoft