V zadnjih letih smo drone prešli od dojemanja kot preproste visokotehnološka igrača za snemanje videoposnetkov da bi jih spremenili v ključno orodje pri varnosti, nadzoru in celo oboroženih spopadih. In kot se pogosto zgodi pri vsaki tehnologiji, ki se tako hitro razvija, se varnostni in zaščitni vidik ne razvija vedno z enako hitrostjo.
V tem kontekstu je skupina raziskovalcev z Univerze v Kaliforniji v Irvinu pokazala nekaj, kar se sliši kot šala, a je daleč od tega: Določene avtonomne drone je mogoče privabiti in nevtralizirati le z dežnikom z določenim barvnim vzorcem.Brez motilcev radia, brez oddaljenega hekanja, brez sofisticiranega orožja. Le "čuden" dežnik in malo obratnega inženiringa o tem, kako te naprave dojemajo svet.
Zakaj avtonomni droni povzročajo vse večjo zaskrbljenost
Vzpon dronov nikakor ni omejen le na prosti čas. Kitajska, Rusija, Združene države Amerike in druge države Agresivno spodbujajo razvoj brezpilotnih letalnikov, opremljenih s sistemi umetne inteligence, ki so sposobni samostojnega odločanja. Ne govorimo več le o letečih kamerah za vplivneže, temveč o avtonomnih platformah s taktičnimi in nadzornimi aplikacijami.
Zelo jasen primer lahko najdemo v vojni leta Rusija in Ukrajinakjer so bile uporabljene vse vrste dronov: kamikaze naprave, sledilne enote, sistemi, povezani z optičnimi kabli za izboljšanje prenosa podatkov itd. K temu se dodajo še razvoji, ki mejijo na znanstveno fantastiko, kot so ruski poskusi z domnevnimi golobi spremenjeni v bio-drone, ki ponazarjajo, v kolikšni meri so nekateri akterji pripravljeni raziskati katero koli tehnološko pot, da bi si pridobili prednosti na bojišču.
Težava je v tem, da ta ista tehnologija, ko se prenese v civilni sektor, odpira vrata veliko bolj neprijetnim scenarijem: vztrajen nadzor nad ljudmi, nepooblaščeno samodejno sledenje, zbiranje podatkov na občutljivih lokacijah ali preprosto vdori v vsakdanjo zasebnost vsakogar, ki se ob nepravem času sreča z eno od teh naprav.
Množična uporaba dronov z avtonomnimi funkcijami sledenja pri nalogah, kot so zasebno varovanje, nadzor mejaNadzor množic ali patruljiranje kritične infrastrukture širi njihove operativne možnosti ... hkrati pa množi vektorje tveganja. Ne le zato, ker lahko droni ne delujejo pravilno, ampak tudi zato, ker jih je mogoče manipulirati, prevarati ali uporabiti proti tistim, ki jih upravljajo.
Glede na to situacijo postaja jasno, da ni dovolj šifrirati komunikacij ali zaščititi radijskih pasov. Prava bitka se bije tudi na fizičnem terenu, v tem, kako algoritmi vida in umetne inteligence interpretirajo, kar vidijo skozi kamero drona, in kako se odzivajo na vizualne vzorce, namenjene zmedi.
Raziskava UC Irvine: dežnik proti umetni inteligenci
Namesto razvoja novega ofenzivnega drona je ekipa Univerza v Kaliforniji, Irvine (UC Irvine) Odločil se je, da se problema loti z druge strani: kako se fizično zaščititi pred avtonomnimi sistemi sledenja, ki temeljijo na umetni inteligenci. Njegov cilj je bil jasen: izboljšati tako imenovano "fizično kibernetsko varnost" z vsakdanji in poceni predmeti, brez zanašanja na specializirano strojno opremo ali napredno znanje hekanja.
Med preiskavo so strokovnjaki temeljito analizirali delovanje algoritmov sledenja, vgrajenih v številne komercialne drone. Posebej so se osredotočili na funkcije, ki so komercialno znane kot Active Track, Dynamic Track ali drugi podobni sistemiki omogočajo dronu, da s pomočjo računalniškega vida samodejno sledi osebi ali predmetu, ne da bi moral pilot ves čas ročno prilagajati trajektorijo.
Po več poskusih so odkrili presenetljivo preprosto slabost: nekateri modeli dronov, ki delujejo Sledenje cilju z uporabo nevronskih mrež in analize gibanja slike Lahko jih zamenjamo, če jim predstavimo zelo specifičen vizualni vzorec. Ta metoda je bila poimenovana kot muholovka, "muholovka", ki se nanaša na način, kako zvabi dron na mesto, kjer ga je mogoče ujeti ali sestreliti.
Najbolj presenetljivo pri tem primeru je, da je bila praktična izvedba FlyTrapa izvedena z uporabo nečesa tako običajnega, kot je dežnik. Z vtisom ustreznega vizualnega vzorca na površino dežnika In ko ga odprete pred dronom, sledilna umetna inteligenca interpretira vrsto sprememb na sliki, zaradi katerih verjame, da se tarča odmika, čeprav oseba, ki ga drži, miruje.
Rezultati so bili predstavljeni na mednarodni konferenci, specializirani za računalniško varnost (NDSS), kjer je bilo podrobno opisano, da ta pristop ni zgolj laboratorijska zanimivost. Testi so pokazali, da fizični napad deluje v različnih pogojihs spremembami osvetlitve in vremena, kar ga nevarno približa scenariju uporabe v resničnem svetu zunaj nadzorovanega okolja.
Kako deluje napad FlyTrap korak za korakom (na konceptualni ravni)
Da bi razumeli, zakaj lahko dežnik avtonomni dron postavi v težaven položaj, moramo pregledati, kako delujejo sistemi za sledenje ciljem, ki temeljijo na umetni vidV bistvu dron neprekinjeno zajema slike svoje okolice in z uporabo nevronskih mrež in algoritmov za analizo gibanja poskuša v vsakem kadru najti subjekt, ki mu mora slediti.
Ti algoritmi se osredotočajo na vzorci oblike, barve, kontrasta in gibanja da ocenijo, kje se subjekt na trenutni sliki nahaja glede na prejšnjo. Na podlagi teh informacij izračunajo, ali se subjekt približuje, oddaljuje, premika vstran, se skriva za oviro itd. Dron nato prilagodi svojo hitrost in trajektorijo, da subjekt ostane znotraj kadra na razdalji, ki velja za "optimalno".
Napad FlyTrap izkorišča prav to logiko. Grafični vzorec, zasnovan za dežnik, povzroči, da dron ustvari vzorce, ko se dron premakne že tako malo ali spremeni svoj kot gledanja. očitne spremembe v obsegu in položaju cilja kar algoritem interpretira kot neprekinjeno gibanje stran. Umetna inteligenca verjame, da se subjekt premika nazaj, medtem ko v resnici stoji pri miru.
Kaj torej počne dron? Da bi kompenziral to domnevno razdaljo, postopoma zmanjšujte razdaljoPoskus "približati se" motivu, da bi ohranil kadriranje v skladu z notranjimi pravili sistema za sledenje. Posledica tega je, da letalo vstopi v vse bolj agresivno spiralo približevanja ... dokler se nevarno ne približa dežniku in osebi, ki ga nosi.
Ko je dron zelo blizu, ima napadalec zelo ugodno prednost: lahko ujeti ga z mrežo, ga zadeti, ga destabilizirati ali ga povzročiti trčenje ob bližnjo površino. Za razliko od drugih obrambnih metod, katerih cilj je le, da dron izgubi cilj ali preneha slediti, vam FlyTrap omogoča, da ga postavite naravnost v idealen položaj za fizično nevtralizacijo.
Prizadeti modeli dronov in dejanski obseg težave
Raziskovalci Univerze v Kaliforniji, Irvine, se niso ustavili pri simulacijah; svojo tehniko so preizkusili z pravi komercialni droniMed uspešno ocenjenimi modeli so:
- DJI Mini 4 Pro
- DJI Neo
- Lebdeči zrak X1
Vse te naprave vključujejo funkcije samodejnega sledenja, ki temeljijo na računalniškem vidu in so teoretično zasnovane tako, da omogočajo dinamične posnetke, ne da bi se pilot moral obremenjevati s kamero. Prav ta sposobnost avtonomnega sledenja uporabniku To je tisti, ki se obrne proti njemu, ko pride v poštev vzorec, kot je FlyTrap.
Med testi so drone pritegnili dovolj, da je njihovo delovanje postalo izvedljivo. zajem z omrežnimi napravami ali njegov nadzorovan vplivZ drugimi besedami, ni šlo le za to, da bi za trenutek zmedli algoritem, temveč za to, da bi napravo prisilili k dolgotrajnemu fizičnemu pristopu, ki je napravo prepustil napadalcu na milost in nemilost.
Raziskovalci, odgovorni za študijo, so delovali v skladu z najboljšimi praksami skupnosti za kibernetsko varnost in Ranljivost so sporočili odgovorno. vpletenim proizvajalcem, preden objavijo vse podrobnosti. To podjetjem, kot je DJI, in drugim prizadetim podjetjem odpira vrata, da pregledajo svoje algoritme sledenja in uvedejo protiukrepe v prihodnjih posodobitvah vdelane programske opreme ali generacijah strojne opreme.
Vendar pa je odkritje preseglo te specifične modele veliko širše poslediceVsak brezpilotni letalski sistem (UAS), ki se za sledenje ciljem z računalniškim vidom zanaša na nevronske mreže, bi lahko bil dovzeten za različice istega pristopa, če ni posebej usposobljen za odpornost proti tovrstnim sovražnim vzorcem.
Fizični napad, ki ne potrebuje radia, hekanja ali motenj
Ena ključnih značilnosti FlyTrapa je, da deluje v celoti v fizična domenaNe zahteva motenja komunikacije drona, dostopa do njegove podatkovne povezave ali izkoriščanja tradicionalnih programskih ranljivosti. Napad deluje, ker manipulira s tem, kar vidi kamera drona, in s tem s tem, kaj se po mnenju njegovih algoritmov umetne inteligence dogaja.
V praksi to pomeni, da napadalcu ni treba izdati radijski signali, WiFi, GPS ali podobnoPrav tako ne zahteva nobene povezave z dronom, dovoljenj za dostop ali poverilnic. Gre zgolj za to, da se dronu pokaže fizični predmet, namenjen izkoriščanju njegovih kognitivnih mrtvih peg, kar je veliko težje slediti in blokirati s standardnimi obrambnimi mehanizmi.
Ta pristop se ujema s tako imenovanim sovražni napadi v fizičnem svetuTo je vse bolj relevantna smer raziskav. Tako kot so bila ustvarjena očala, majice ali nalepke, ki lahko zavedejo sisteme za prepoznavanje obrazov ali avtonomne avtomobile, se tukaj uporablja dežnik za izničenje algoritmov sledenja drona.
Poleg tega so stroški smešno nizki v primerjavi z viri, ki so običajno povezani z elektronskim bojevanjem ali sestrelitvijo brezpilotnih letal. Ni potrebna draga oprema, posebne antene ali strokovno znanje o radiofrekvenčnih valovih.Vse, kar potrebujete, je dežnik s pravo zasnovo in nekaj spretnosti, da se postavite na pravo mesto, ko je dron v načinu sledenja.
Ta asimetrija med ceno naprednega drona in stroški njegove nevtralizacije z uporabo tako običajnega predmeta neposredno vpliva na to, kako bi morali razmišljati o varnost kritične infrastrukture, napotitve policije ali mejeZlonamerni akter bi teoretično lahko s pomočjo prav teh tehnik pripeljal nadzorne drone blizu omejenih območij in jih nato onesposobil ali povzročil, da se strmoglavijo, kjer koli želi.
Posledice za varnost, zasebnost in množično uporabo dronov
Širjenje brezpilotnih letal, ki jih poganja umetna inteligenca To predstavlja velik izziv za javno varnost. Vidimo vse več projektov, ki predlagajo uporabo rojev dronov za patruljiranje po mestih, nadzor meja ali nadzor velikih dogodkov. Vendar pa študija UC Irvine kaže, da brez okrepitve algoritmov zaznavanja celotna uvedba temelji na precej krhkih temeljih.
Na operativni ravni bi se napad FlyTrap lahko uporabljal tako v napadu kot v obrambi. Po eni strani bi lahko nekdo nevtralizirati policijske ali mejne droneTo ogroža odzivne zmogljivosti varnostnih sil na določenem območju. Po drugi strani pa bi lahko oseba, ki jo nadleguje dron, ali žrtev vohunjenja s komercialno napravo uporabila isti mehanizem za obrambo s preprostim spremenjenim dežnikom.
Obstaja tudi vidik zaščita strateške infrastrukture (elektrarne, transportni objekti, podatkovni centri itd.). Če se te lokacije zanašajo na avtonomne drone kot dopolnilo svojim nadzornim sistemom, ranljivost, kot je FlyTrap, odpira tveganje, da bi napadalec lahko zaobšel del sistema za zaznavanje le z uporabo fizičnega predmeta brez kakršne koli elektronske interakcije.
Študija torej pošilja jasno sporočilo: Varnost dronov ne more biti omejena na elektronsko ali omrežno plastZavarovanje podatkovnih povezav, šifriranje komunikacij in zaščita programske opreme so potrebni, vendar nezadostni, če se algoritmi vida nato zavedejo z barvnimi vzorci, natisnjenimi na dežniku. Odpornost se mora razširiti na to, kako umetna inteligenca interpretira fizično okolje in njeno robustnost proti namerni manipulaciji.
Ker se uporaba avtonomnih dronov vse bolj širi urbana okolja in občutljive operacijeTe vrste napadov ne bodo več akademska zanimivost in bodo postale dejavnik, ki ga bodo morali proizvajalci, regulatorji in operaterji upoštevati že od faze načrtovanja. Ignoriranje teh ranljivosti je lahko drago, ko je že prišlo do obsežne uvedbe.
Omejitve napada in možne obrambne linije
Čeprav je ideja o "sestrelitvi drona z dežnikom" zelo privlačna, ne smete misliti, da bo zadostoval kar kateri koli pisan dežnik. Vzorec FlyTrap je skrbno zasnovan izkoristiti specifične slabosti v preizkušenih algoritmih. To ni univerzalni trik, ki bo samodejno deloval z vsemi droni ali v vseh okoliščinah.
Poleg tega napad zahteva, da dron uporablja funkcije avtonomno sledenje na podlagi vidaČe upravljavec pilotira izključno ročno ali če letalo vodijo drugi senzorji (kot so LIDAR, radar ali napredne kombinacije senzorjev), se lahko možnost zavajanja umetne inteligence zgolj z vizualnim vzorcem zmanjša ali celo izgine.
Druga praktična omejitev je potreba po dežnik fizično približajte vidnemu polju dronaV scenarijih, ko naprava leti na veliki nadmorski višini ali vzdržuje razdaljo več kilometrov od cilja, doseganje te bližine morda ni realno. FlyTrap je še posebej nevaren v nizkih letečih situacijah, pri tesnem sledenju ljudem ali v urbanih okoljih z ozkimi potmi.
Z obrambnega vidika obstaja več možnih akcijskih linij. Ena od njih je preusposabljanje modelov vida Z uporabo primerov nasprotujočih si vzorcev, kot je FlyTrap, se naučijo prepoznati jih kot anomalije in se izogniti pasti nenadzorovanega približevanja. Druga možnost je kombinacija vizualnih informacij z drugimi viri (globina, inercialni senzorji, 3D-zemljevidi), da se izognejo zanašanju izključno na to, kar vidi kamera.
Prav tako je smiselno, da ga vključite v vdelano programsko opremo. omejitve bližine in dodatna varnostna pravilaTi ukrepi preprečujejo, da bi se dron približal cilju na manj kot določeno razdaljo, ko zazna nenavadne ali nedosledne vizualne spremembe. To morda ne bo povsem odpravilo prevare, vendar bi zmanjšalo verjetnost, da bi dron dosegel položaj, kjer ga je mogoče enostavno ujeti ročno ali z mrežo.
Končno, na regulativni ravni so organi, odgovorni za certificiranje dronov za uporabo varnostni, policijski ali infrastrukturni nadzor V svoje ocene bodo morali vključiti teste proti tovrstnemu fizičnemu napadu. Uporaba drona za snemanje gorskega prizora ni enaka uporabi za patruljiranje meje: zahtevana raven robustnosti bi morala biti očitno drugačna.
Vse to pa pušča zanimiv scenarij: bolj "pametni" kot bomo izdelovali drone z umetno inteligenco, Pomembneje bo razmišljati kot ustvarjalni napadalec. ki poskuša najti bližnjice v resničnem svetu, da bi jih prevaral. In prav tu lahko protagonist postane na videz nedolžen predmet, kot je pisan dežnik.
Skratka, te študije kažejo, da Varnost avtonomnih sistemov ni le stvar požarnih zidov in šifriranjapa tudi razumeti, kako zaznavajo okolje, katere bližnjice uporabljajo njihovi algoritmi in kako lahko preprost grafični vzorec spremeni napredno brezpilotno letalo v nekaj tako ranljivega kot muha, ki jo privlači dobro zasnovana past.