Poți descărca aplicația:
Get it on App Store Get it on Google Play
Războiul viitorului se va duce pe inteligența artificială. Iar cel mai important front de luptă al AI va fi protejarea sistemelor împotriva deturnării
Strategica
Data publicării:
Orizontul de evoluție a inteligenței artificiale (AI) este deja văzut ca fiind practic nelimitat. În aceste condiții, sistemele bazate AI încep să devină active strategice, iar siguranța foarte multor oameni va depinde de cât de bine sunt ele protejate.

Un expert american care a condus efortul de digitalizare a CIA timp de patru ani (octombrie 2019 – ianuarie 2024) atrage atenția asupra unui „domeniu mai puțin vizibil, relativ necunoscut și potențial mai important: contra-AI”.

Termenul de „contra-AI” - așa cum rezultă el din articolul (publicat pe Cypher Brief la 21 mai) fostului director-adjunct al CIA pentru Inovare Digitală, Jennifer Ewbank - se referă la contracararea AI adverse care încearcă să infiltreze și să manipuleze seturile de date, pe baza cărora sistemele AI proprii iau decizii.

Pentru a înțelege, totuși, mai bine semnificația, să ne imaginăm că un spion al unei agenții secrete este intoxicat cu informații false de un serviciu advers. Spionul nu este conștient de acest lucru și trimite, propriei agenții, informațiile cu greu obținute, spunându-i că sunt de încredere. Astfel, în baza de date a agenției secrete pot fi introduse informații false care, pot produce, imediat sau mai târziu, pagube mari și posibil ireparabile. Desigur, modurile, în care bazele de date ale sistemelor AI pot fi corupte, sunt unele dintre cele mai diverse și sofisticate, însă ideea este că „memoria”, pe baza căreia AI ia decizii, poate fi compromisă dacă nu este protejată adecvat.

Preocuparea și îngrijorarea exprimate de Ewbank nu sunt generice, ele fiind bazate pe operații AI adverse care sunt reale.

„În timp ce conduceam transformarea digitală la CIA, am fost martor, la prima mână, la modul în care operațiile AI adverse remodelează peisajul amenințărilor, adesea mai repede decât se pot adapta apărările națiunii noastre. Această cursă silențioasă pentru protejarea sistemelor AI împotriva manipulării ar putea fi cea mai importantă competiție AI dintre toate, cu implicații profunde pentru securitatea națională”, a opinat Ewbank.

Metoda principală, prin care actori rău intenționați corup bazele de date ale AI, este Învățarea Automată Adversă (în engleză Adversarial Machine Learning – prescurtat AML).

„AML reprezintă una dintre cele mai sofisticate amenințări la adresa sistemelor AI de astăzi. În termeni simpli, AML este arta și știința manipulării sistemelor AI pentru a se comporta în moduri pentru care nu au fost concepute. Metodele prin care AML poate duce la rezultate dăunătoare sunt limitate doar de imaginația și abilitățile tehnice ale actorilor stat-națiune criminali și ostili”, afirmă Ewbank.

AML manipulează „modul în care inteligența artificială percepe realitatea”. Agențiile și departamentele de securitate națională din SUA au semnalat, din ce în ce mai mult, AML ca o vulnerabilitate critică în operațiile militare și de informații, potrivit lui Ewbank.

 

Prin AML, un sistem AI este deturnat de la scopul său, putând fi folosit în scopuri total opuse celui proiectat. Cu consecințe catastrofale

 

2. Inteligenț... (us_army_inteligenta_artificialasua_97915700.jpg)

„O inteligență artificială compromisă ar putea duce la orice, de la un inconvenient minor până la o încălcare catastrofală a securității”, avertizează Ewbank.

Ewbank dă trei exemple privind modul în care este deformată percepția asupra realității, cu ajutorul instrumentelor AML.

O bancă ia decizii eronate despre cui să acorde credite.

„Imaginați-vă o instituție financiară care implementează un sistem de aprobare a împrumuturilor bazat pe AI, antrenat pe baza a decenii de date privind creditarea. Fără știrea băncii, o persoană din interior a manipulat subtil aceste date de antrenament - nu suficient pentru a declanșa alarme, dar suficient pentru a crea o prejudecată ascunsă. Luni mai târziu, când sistemul este operațional, acesta respinge sistematic candidații calificați din anumite cartiere, în timp ce aprobă candidați mai puțin calificați din altele. Aceasta este otrăvirea datelor, o formă de atac AML care schimbă modul în care inteligența artificială evaluează riscul.”

Un sistem militar autonom de recunoaștere, corupt fiind, concluzionează greșit că anumite ținte sunt civile, în realitate ele fiind militare. 

„Luați în considerare o dronă militară autonomă aflată într-o misiune de recunoaștere. Sistemul de vedere al dronei a fost antrenat cu atenție pentru a distinge prietenul de dușman. Cu toate acestea, un adversar a descoperit că plasarea unui anumit model pe vehiculele sale, chiar și unul invizibil pentru observația umană, face ca drona să le clasifice greșit în mod constant drept infrastructură civilă. Acest „atac de evitare” („evasion attack”) nu necesită niciun fel de hacking. Pur și simplu exploatează modul în care inteligența artificială interpretează informațiile vizuale.”

Sisteme de securitate națională, bazate pe AI, nu declanșează alarme la apariția unor indicii critici.

„Imaginați-vă un scenariu în care un adversar manipulează subtil sistemele de inteligență artificială care susțin analiza informațiilor. Un astfel de atac ar putea determina aceste sisteme să treacă cu vederea tiparele critice sau să genereze concluzii înșelătoare, lucru destul de dificil de detectat, dar potențial devastator pentru procesul decizional la cele mai înalte niveluri de guvernare.”

 

Vulnerabilități profunde pentru baze de date esențiale

 

De asemenea, modul, în care sunt construite în prezent sistemele AI, poate genera vulnerabilități profunde pentru baze de date esențiale, inclusiv ducând la afectarea seturilor de antrenament considerate elemente cheie de funcționalitate și stabilitate ale AI.

Într-o lucrare de referință din 2020, experții au demonstrat cum atacatorii ar putea „fura” eficient modele comerciale de recunoaștere facială. Printr-o tehnică numită „inversiune de model”, au reușit să extragă fețele reale folosite pentru a antrena sistemul. În esență, au recuperat imagini recognoscibile ale unor indivizi specifici, dezvăluind modul în care sistemele AI pot memora și expune în mod accidental date sensibile de antrenament, precizează Ewbank.

Deși amenințarea la adresa integrității sistemelor AI devine tot mai mare, capabilitățile defensive rămân complet inadecvate.

Potrivit lui Ewbank, această stare de lucruri este cauzată de trei aspecte importante – volumul mare de muncă, lipsa expertizei și prejudecățile.

„Atacatorii trebuie să găsească o singură vulnerabilitate, în timp ce apărătorii trebuie să se protejeze împotriva tuturor atacurilor posibile. Pe lângă această provocare, apărarea eficientă necesită expertiză specializată care să facă legătura între securitatea cibernetică și învățarea automată, o combinație rară în forța de muncă de astăzi. Între timp, structurile organizaționale separă adesea dezvoltarea AI de echipele de securitate, creând bariere neintenționate care împiedică colaborarea eficientă. (…) Există o abordare predominant reactivă, mai degrabă, îndreptată spre vectorii de atac cunoscuți, decât securizând proactiv sistemele împotriva amenințărilor emergente”, precizează Ewbank.

Soluții există dar, este nevoie de voință și coordonare la nivel strategic între guvern, industrie și mediul academic, precum și de colaborare internațională.

„La nivel strategic, contracararea AI necesită o coordonare fără precedent între guvern, industrie și mediul academic. Avem nevoie de mecanisme pentru a partaja informații despre amenințări cu privire la capabilitățile adversarilor, standarde internaționale care să stabilească cadre de securitate comune și inițiative concentrate pe dezvoltarea forței de muncă care să construiască o rețea de talente cu expertiză care acoperă atât domeniile AI, cât și cele ale securității cibernetice. Unii experți au sugerat, de asemenea, un regim riguros de testare a siguranței pentru modelele de frontieră (cele mai avansate tehnologic – nota autorului), atât înainte de implementare, cât și pe tot parcursul duratei lor de viață. Este o propunere încărcată cu dimensiuni politice și juridice, deoarece modelele de frontieră rămân proprietatea intelectuală a companiilor private, dar este necesară o formă de asigurare a siguranței”, a schițat Ewbank principalele direcții strategice de construire a protecției sistemelor AI.

 

Miza este uriașă pentru că sistemele AI susțin procese critice ale securității naționale

 

3. -imagine fara descriere- (exercitiu-militar-inteligenta-artificiala_30654500.jpg)

„Pe măsură ce sistemele AI stau din ce în ce mai mult la baza funcțiilor critice de securitate națională, siguranța lor devine inseparabilă de postura de securitate(…). Întrebarea nu este dacă adversarii vor viza aceste sisteme. O vor face. Dar vom fi pregătiți?”, avertizează Ewbank.

Amenințarea la adresa integrității sistemelor AI este mare, iar neglijarea ei va avea urmări grave. Sunt în joc drepturi și libertăți fundamentale ale oamenilor.

„Și să fim clari cu privire la ce este în joc. Națiunea care stăpânește contra-AI va determina probabil dacă inteligența artificială devine un gardian al libertății în sine sau o amenințare la adresa acesteia. (…) Când vorbesc despre libertate în acest context (…) mă refer la ceva mai fundamental decât simpla guvernare democratică. Mă refer la libertatea esențială a cetățenilor de a face alegeri semnificative cu privire la viața lor, de a accesa informații precise și de a participa la procese civice fără manipulare. Un ecosistem AI vulnerabil la manipularea venită din partea adversarilor amenință aceste libertăți fundamentale în moduri profunde”, avertizează Ewbank.

Crezi că ai ceva bun dar, în realitate, nu ai nimic sau, mai grav, ceea ce ai nu este controlat de tine și lucrează împotriva ta.

„Gândiți-vă la o lume în care ecosistemele informaționale sunt din ce în ce mai sprijinite de AI, dar aceste sisteme rămân susceptibile la influențele sofisticate ale adversarilor. Într-o astfel de lume, cine controlează manipularea acestor sisteme, controlează efectiv peisajul informațional. Potențialul operațiilor de influență în masă, manipularea țintită a factorilor de decizie și subversiunea ascunsă a infrastructurii critice reprezintă un vector de amenințare serioasă la adresa societăților libere”, avertizează Ewbank.

Domeniul contra-AI ar putea fi direcția cea mai importantă din vastitatea preocupărilor privind AI. Acest domeniu va proteja integritatea sistemelor AI, unele puternice și vitale în viitor, capabile să rămână „fidele intenției umane și sub atacurile adverse”.

„O națiune care stăpânește contra-AI dezvoltă nu doar un avantaj tehnic, ci și rezistență la aceste forme de manipulare digitală. Ea păstrează integritatea ecosistemului său informațional, fiabilitatea infrastructurii sale critice și, în cele din urmă, suveranitatea proceselor sale decizionale. În acest sens, contra-AI devine scutul care protejează libertatea în era inteligenței artificiale.

Cursa AI, despre care citim atât de des, este mai mult decât o cursă pentru a construi cea mai puternică AI. Este, de asemenea, o cursă pentru a construi o AI rezistentă care rămâne fidelă intenției umane chiar și sub atacuri adverse. (…) Viitorul nu aparține celor care doar creează cea mai capabilă inteligență artificială, ci celor care o pot apăra de sabotaj.

Este timpul să recunoaștem acest front de luptă silențios pentru ceea ce este: una dintre cele mai importante competiții tehnologice ale timpului nostru. Securitatea inteligenței artificiale nu mai poate rămâne o idee secundară (….)”, a concluzionat Ewbank.


Fii primul care află cele mai importante știri din domeniu cu aplicația DefenseRomania. Downloadează aplicația DefenseRomania de pe telefonul tău Android (Magazin Play) sau iOS (App Store) și ești la un click distanță de noi în permanență

Get it on App Store
Get it on Google Play

Google News icon  Fiți la curent cu ultimele noutăți. Urmăriți DefenseRomania și pe Google News

Photo source: Lockheed Martin
EXCLUSIV
Capabilități gata de misiune, la viteza și amploarea necesare
Cum ar intenţiona Rusia să testeze dacă Articolul 5 al NATO mai are vreo valoare: Testul s-ar putea să nu vină sub forma unei invazii clasice, cu armate de tancuri
Analiză Militară | Polonia își schimbă radical prioritățile: Pune pe pauză unele achizitii militare pentru a rezolva o problemă critică de instruire
Uitați de Rusia. Crește cu viteză amețitoare puterea militară a Chinei iar estimările nu sunt bune deloc: Peste 435 de nave de război până în 2030
Ar fi suficiente cele 49 de avioane F-16 în caz de război? Și cum a sacrificat România alte obiective: „Un număr mare de F-16 nu asigură succesul”
Armata ocupantului rus acționând în Ucraina. Foto: Ministerul Apărării de la Moscova
EXCLUSIV
Fota: Dacă rușii vor face o porcărie vor declanșa războiul în următorii 2 ani. Urmează o perioadă critică pentru România și Europa
Trump se abține să critice China pentru ajutorul acordat Rusiei în război. Strategia SUA în relația cu „dragonul” nu are Ucraina ca obiectiv principal
Membri ai forțelor armate germane transportă un sistem de arme Taurus în timpul Expoziției Aerospațiale Internaționale (ILA) din Schoenefeld pe 30 mai 2016. Sursa foto: TOBIAS SCHWARZ via Getty Images.
EXCLUSIV
Europa, vulnerabilă fără umbrela de securitate a SUA: Noi, europenii, nu avem suficiente sisteme de rachete pentru a descuraja singuri Rusia
Atac masiv asupra aeroportului din Briansk, Rusia (Foto/Video): Rezultatul, explozii puternice și distrugerea aviației de transport militar
Vești bune de peste Atlantic - Merz mulțumit de rezultatele întâlnirii cu Trump
Expertul în studii de securitate Iulian Fota, fost consilier prezidențial pe probleme de securitate națională și secretar de stat în MAE
EXCLUSIV
Nu mai e timp de pierdut: Marea Neagră și obiectivele României cu războiul readus de Rusia la ușa noastră | Iulian Fota, la Obiectiv EuroAtlantic
Screenshot video SBU
EXCLUSIV
Aviația strategică a Rusiei arată ca o șandrama (Foto/Video): Bombardierele rusești sunt protejate în cel mai rudimentar mod, cu anvelope și panouri din sârmă
Noul comandant al Forțelor ucrainene de Sisteme fără Pilot anunță schimbări radicale
Adevărul din spatele cortinei de fum: Imaginile din satelit demască strategia Rusiei de a ascunde pierderile de avioane Tu-95 și Tu-22M3, după operațiunea "Pânza de Păianjen" (Foto)
Cum se pregătește China pentru operațiuni de luptă la scară largă: O analiză detaliată a strategiei militare a Beijingului
Belgia intenționează să își mărească flota de avioane de vânătoare F-35A cu peste 50%
Războiul readus pe continent de Rusia deschide a doua umbrelă nucleară: După Franța, un alt stat vrea să contribuie la descurajarea nucleară
Adevăruri incomode: fostul secretar de stat Pompeo - SUA nu au făcut suficient pentru a opri războiul în 2014
Marea vulnerabilitatea a celei mai puternice armate din lume: Armata SUA, prea „ușoară” pentru a câștiga. Rețeta declinului ar fi focalizarea exclusivă pe Pacific
Frica de Rusia ajunge până în Marea Britanie: Guvernul anunță 12 submarine nucleare noi și investiții de 20 miliarde de dolari în focoase nucleare
Marea Britanie va anunța noua strategie de apărare. Prima mutare: 6 fabrici de armament și achizița a 7.000 de rachete cu rază lungă
Teheranul își mărește stocul de uraniu. Agenția pentru Energie Atomică: Iranul nu oferă răspunsuri credibile din punct de vedere tehnic
Joc de război: NATO ar câștiga posibilul conflict cu Rusia, iar frontul decisiv ar fi cerul Europei de Est 
Șeful diplomației turce afirmă că războiul din Ucraina ar putea fi încheiat până la sfârșitul anului: “Atât Rusia, cât și Ucraina își doresc încetarea focului”  
De ce e mai bine să descurajezi Rusia înainte să atace: Ucraina cheltuie în patru luni bugetul de anul trecut al României pentru apărare
Războiul hibrid al Beijingului: Cum încearcă China să paralizeze Taiwanul prin atacuri asupra infrastructurii critice?
De la 2% la 3,5% (sau 5%): Dincolo de politică, cât de mult este Europa pregătită să plătească pentru NATO?
UE publică Strategia pentru Securitate la Marea Neagră. Obiective majore: Dezvoltarea coridoarelor de mobilitate militară și protecția platformelor energetice precum Neptun Deep
Planeta în trei culori: Visul lui Trump despre o lume împărțită cu Rusia și China
Europa intensifică ajutorul militar acordat Ucrainei, în timp ce Rusia respinge încetarea focului și se pregătește pentru ,,ofensiva de vară''

Ştiri Recomandate

Ce înseamnă să fii jucător-cheie în ecuația de securitate a flancului estic al NATO: Polonia a inaugurat oficial ,,Academia de sisteme HIMARS''
Sistem de apărare antiaeriană de tip MANPAD Mistral 3. Photo source: MBDA
EXCLUSIV
Cum au ajuns sistemele Mistral 3 subiect de război politic. Ambasadorul Warnery: Nu e o „afacere” între Franța și România. Prețul e unic pentru toate statele implicate
Mesajul de descurajare al NATO pentru Rusia: Avioane de luptă de au transformat Finlanda în vârful de lance al fancului nordic
Între ciocan și nicovală: Companiile germane din industria de apărare spun că vor fi afectate dacă se introduce recrutarea obligatorie
Cel mai mare port din Europa, reconfigurat și pentru logistică militară. Și România are un plan de extindere a portului Constanța
Un război mult mai complicat. Petr Pavel: E imposibil ca Ucraina să câștige acest război doar pe câmpul de luptă. Dar și Rusia și-a atins limita
Nicolas Warnery, ambasadorul Franței în România. Colaj DefenseRomania via Statul Major al Forțelor Armate Franceze
EXCLUSIV
Cum a ajuns achiziția României de sisteme Mistral temă a războiului hibrid. Dezinformare, relația cu Franța și securitatea Europei | Interviu Nicolas Warnery, ambasadorul Franței în România
Avioanele Gripen chiar sunt pe val: JAS 39 Gripen a „învins” din nou F-16, într-o piață dominată istoric de influența SUA. Istoria se schimbă
Suedia cumpără muniție de artilerie în valoare de jumătate de miliard de euro de la companii din Germania și Norvegia
UE pregătește cele mai dure sancțiuni împotriva Rusiei din ultimii trei ani
SUA s-au răzgândit. Pentagonul va trimite mai multe arme defensive Ucrainei
Rebelii yemeniți reiau atacurile în Marea Roșie. O navă a fost scufundată de un atac combinat, cu rachete, drone navale și UAV-uri
Rușii își cresc prezența în Armenia? Presat de pierderile din Ucraina, Ministerul rus al Apărării ”umflă” numerele de la Baza 102 de la Gyumri
Benjamin Netanyahu l-a nominalizat oficial pe Donald Trump pentru Premiul Nobel pentru Pace
Avioanele F-35 ale NATO vor proteja ajutorul militar destinat Ucrainei: „În acest fel, ținem literalmente la distanță amenințarea rusă”
Goana Poloniei după obuze de 155mm: Varșovia pompează peste o jumătate de miliard de euro pentru a deveni o ,,fortăreață a producţiei de muniții''
Marea Britanie oprește producția avionului Eurofighter Typhoon din cauza lipsei comenzilor, punând la îndoială angajamentul sau faţă de apărarea europeană
Încă o moarte suspectă în Rusia: Ministrul transporturilor s-a sinucis la scurt timp după ce a fost demis din funcție. Anterior, acesta a fost guvernator al regiunii Kursk
Noua eră a artileriei americane (Foto/Video): Pentagonul mizează pe racheta de precizie PrSM pentru a reconfigura sistemele HIMARS
Războiul ,,hibrid al avioanelor'', purtat pe frontul comerţului cu armament: Franța acuză China de sabotarea reputației avionului Rafale
Obuziere K9 și următorul pas: Tancuri K2 Panther? „România are nu doar avantajul similitudinilor geografice zdrobitoare, a producției locale ci și a timpului de livrare”
"Operațiunea specială" de 3 zile obligă Moscova să ascundă realitatea: Oficiul rus de statistică a încetat să mai publice numărul deceselor
Rusia va putea lansa în curând 1.000 de rachete și drone, dar cea mai importantă îmbunătățire urmează să vină din toamnă
Israelul a atacat ținte Houthi, inclusiv nava capturată Galaxy Leader, folosită de gruparea yemenită pentru supraveghere maritimă
Primele evaluări oficiale după ce bombardierele B-2 Spirit americane au lovit Iranul: Cu cât timp a fost dat înapoi programul nuclear iranian
Ursula von der Leyen și Donald Trump au avut un „schimb bun de opinii” pe subiectul controversat al taxelor vamale
Apărare raționalizată: Când se preconizează că Ucraina va rămâne fără rachete Patriot și HIMARS, cu consecințe catastrofale
Moțiune de cenzură pentru demiterea Ursulei von der Leyen cu șanse infime de a trece. Moțiunea, inițiată de un eurodeputat român
Rușii avansează la nord-est de Pokrovsk. Planul pare să fie ocolirea fortărețelor ucrainene
Liderii BRICS cer Israelului o "retragere completă" din Gaza. Trump amenință cu o taxă suplimentară pentru statele alinate cu BRICS
Elveția, bastionul neutralității militare, se adăpostește sub scutul aerian al Europei: Acord cheie cu Germania pentru achiziția sistemului IRIS-T SLM
pixel