Poți descărca aplicația:
Get it on App Store Get it on Google Play
Războiul viitorului se va duce pe inteligența artificială. Iar cel mai important front de luptă al AI va fi protejarea sistemelor împotriva deturnării
Strategica
Data publicării:
Orizontul de evoluție a inteligenței artificiale (AI) este deja văzut ca fiind practic nelimitat. În aceste condiții, sistemele bazate AI încep să devină active strategice, iar siguranța foarte multor oameni va depinde de cât de bine sunt ele protejate.

Un expert american care a condus efortul de digitalizare a CIA timp de patru ani (octombrie 2019 – ianuarie 2024) atrage atenția asupra unui „domeniu mai puțin vizibil, relativ necunoscut și potențial mai important: contra-AI”.

Termenul de „contra-AI” - așa cum rezultă el din articolul (publicat pe Cypher Brief la 21 mai) fostului director-adjunct al CIA pentru Inovare Digitală, Jennifer Ewbank - se referă la contracararea AI adverse care încearcă să infiltreze și să manipuleze seturile de date, pe baza cărora sistemele AI proprii iau decizii.

Pentru a înțelege, totuși, mai bine semnificația, să ne imaginăm că un spion al unei agenții secrete este intoxicat cu informații false de un serviciu advers. Spionul nu este conștient de acest lucru și trimite, propriei agenții, informațiile cu greu obținute, spunându-i că sunt de încredere. Astfel, în baza de date a agenției secrete pot fi introduse informații false care, pot produce, imediat sau mai târziu, pagube mari și posibil ireparabile. Desigur, modurile, în care bazele de date ale sistemelor AI pot fi corupte, sunt unele dintre cele mai diverse și sofisticate, însă ideea este că „memoria”, pe baza căreia AI ia decizii, poate fi compromisă dacă nu este protejată adecvat.

Preocuparea și îngrijorarea exprimate de Ewbank nu sunt generice, ele fiind bazate pe operații AI adverse care sunt reale.

„În timp ce conduceam transformarea digitală la CIA, am fost martor, la prima mână, la modul în care operațiile AI adverse remodelează peisajul amenințărilor, adesea mai repede decât se pot adapta apărările națiunii noastre. Această cursă silențioasă pentru protejarea sistemelor AI împotriva manipulării ar putea fi cea mai importantă competiție AI dintre toate, cu implicații profunde pentru securitatea națională”, a opinat Ewbank.

Metoda principală, prin care actori rău intenționați corup bazele de date ale AI, este Învățarea Automată Adversă (în engleză Adversarial Machine Learning – prescurtat AML).

„AML reprezintă una dintre cele mai sofisticate amenințări la adresa sistemelor AI de astăzi. În termeni simpli, AML este arta și știința manipulării sistemelor AI pentru a se comporta în moduri pentru care nu au fost concepute. Metodele prin care AML poate duce la rezultate dăunătoare sunt limitate doar de imaginația și abilitățile tehnice ale actorilor stat-națiune criminali și ostili”, afirmă Ewbank.

AML manipulează „modul în care inteligența artificială percepe realitatea”. Agențiile și departamentele de securitate națională din SUA au semnalat, din ce în ce mai mult, AML ca o vulnerabilitate critică în operațiile militare și de informații, potrivit lui Ewbank.

 

Prin AML, un sistem AI este deturnat de la scopul său, putând fi folosit în scopuri total opuse celui proiectat. Cu consecințe catastrofale

 

2. Inteligenț... (us_army_inteligenta_artificialasua_97915700.jpg)

„O inteligență artificială compromisă ar putea duce la orice, de la un inconvenient minor până la o încălcare catastrofală a securității”, avertizează Ewbank.

Ewbank dă trei exemple privind modul în care este deformată percepția asupra realității, cu ajutorul instrumentelor AML.

O bancă ia decizii eronate despre cui să acorde credite.

„Imaginați-vă o instituție financiară care implementează un sistem de aprobare a împrumuturilor bazat pe AI, antrenat pe baza a decenii de date privind creditarea. Fără știrea băncii, o persoană din interior a manipulat subtil aceste date de antrenament - nu suficient pentru a declanșa alarme, dar suficient pentru a crea o prejudecată ascunsă. Luni mai târziu, când sistemul este operațional, acesta respinge sistematic candidații calificați din anumite cartiere, în timp ce aprobă candidați mai puțin calificați din altele. Aceasta este otrăvirea datelor, o formă de atac AML care schimbă modul în care inteligența artificială evaluează riscul.”

Un sistem militar autonom de recunoaștere, corupt fiind, concluzionează greșit că anumite ținte sunt civile, în realitate ele fiind militare. 

„Luați în considerare o dronă militară autonomă aflată într-o misiune de recunoaștere. Sistemul de vedere al dronei a fost antrenat cu atenție pentru a distinge prietenul de dușman. Cu toate acestea, un adversar a descoperit că plasarea unui anumit model pe vehiculele sale, chiar și unul invizibil pentru observația umană, face ca drona să le clasifice greșit în mod constant drept infrastructură civilă. Acest „atac de evitare” („evasion attack”) nu necesită niciun fel de hacking. Pur și simplu exploatează modul în care inteligența artificială interpretează informațiile vizuale.”

Sisteme de securitate națională, bazate pe AI, nu declanșează alarme la apariția unor indicii critici.

„Imaginați-vă un scenariu în care un adversar manipulează subtil sistemele de inteligență artificială care susțin analiza informațiilor. Un astfel de atac ar putea determina aceste sisteme să treacă cu vederea tiparele critice sau să genereze concluzii înșelătoare, lucru destul de dificil de detectat, dar potențial devastator pentru procesul decizional la cele mai înalte niveluri de guvernare.”

 

Vulnerabilități profunde pentru baze de date esențiale

 

De asemenea, modul, în care sunt construite în prezent sistemele AI, poate genera vulnerabilități profunde pentru baze de date esențiale, inclusiv ducând la afectarea seturilor de antrenament considerate elemente cheie de funcționalitate și stabilitate ale AI.

Într-o lucrare de referință din 2020, experții au demonstrat cum atacatorii ar putea „fura” eficient modele comerciale de recunoaștere facială. Printr-o tehnică numită „inversiune de model”, au reușit să extragă fețele reale folosite pentru a antrena sistemul. În esență, au recuperat imagini recognoscibile ale unor indivizi specifici, dezvăluind modul în care sistemele AI pot memora și expune în mod accidental date sensibile de antrenament, precizează Ewbank.

Deși amenințarea la adresa integrității sistemelor AI devine tot mai mare, capabilitățile defensive rămân complet inadecvate.

Potrivit lui Ewbank, această stare de lucruri este cauzată de trei aspecte importante – volumul mare de muncă, lipsa expertizei și prejudecățile.

„Atacatorii trebuie să găsească o singură vulnerabilitate, în timp ce apărătorii trebuie să se protejeze împotriva tuturor atacurilor posibile. Pe lângă această provocare, apărarea eficientă necesită expertiză specializată care să facă legătura între securitatea cibernetică și învățarea automată, o combinație rară în forța de muncă de astăzi. Între timp, structurile organizaționale separă adesea dezvoltarea AI de echipele de securitate, creând bariere neintenționate care împiedică colaborarea eficientă. (…) Există o abordare predominant reactivă, mai degrabă, îndreptată spre vectorii de atac cunoscuți, decât securizând proactiv sistemele împotriva amenințărilor emergente”, precizează Ewbank.

Soluții există dar, este nevoie de voință și coordonare la nivel strategic între guvern, industrie și mediul academic, precum și de colaborare internațională.

„La nivel strategic, contracararea AI necesită o coordonare fără precedent între guvern, industrie și mediul academic. Avem nevoie de mecanisme pentru a partaja informații despre amenințări cu privire la capabilitățile adversarilor, standarde internaționale care să stabilească cadre de securitate comune și inițiative concentrate pe dezvoltarea forței de muncă care să construiască o rețea de talente cu expertiză care acoperă atât domeniile AI, cât și cele ale securității cibernetice. Unii experți au sugerat, de asemenea, un regim riguros de testare a siguranței pentru modelele de frontieră (cele mai avansate tehnologic – nota autorului), atât înainte de implementare, cât și pe tot parcursul duratei lor de viață. Este o propunere încărcată cu dimensiuni politice și juridice, deoarece modelele de frontieră rămân proprietatea intelectuală a companiilor private, dar este necesară o formă de asigurare a siguranței”, a schițat Ewbank principalele direcții strategice de construire a protecției sistemelor AI.

 

Miza este uriașă pentru că sistemele AI susțin procese critice ale securității naționale

 

3. -imagine fara descriere- (exercitiu-militar-inteligenta-artificiala_30654500.jpg)

„Pe măsură ce sistemele AI stau din ce în ce mai mult la baza funcțiilor critice de securitate națională, siguranța lor devine inseparabilă de postura de securitate(…). Întrebarea nu este dacă adversarii vor viza aceste sisteme. O vor face. Dar vom fi pregătiți?”, avertizează Ewbank.

Amenințarea la adresa integrității sistemelor AI este mare, iar neglijarea ei va avea urmări grave. Sunt în joc drepturi și libertăți fundamentale ale oamenilor.

„Și să fim clari cu privire la ce este în joc. Națiunea care stăpânește contra-AI va determina probabil dacă inteligența artificială devine un gardian al libertății în sine sau o amenințare la adresa acesteia. (…) Când vorbesc despre libertate în acest context (…) mă refer la ceva mai fundamental decât simpla guvernare democratică. Mă refer la libertatea esențială a cetățenilor de a face alegeri semnificative cu privire la viața lor, de a accesa informații precise și de a participa la procese civice fără manipulare. Un ecosistem AI vulnerabil la manipularea venită din partea adversarilor amenință aceste libertăți fundamentale în moduri profunde”, avertizează Ewbank.

Crezi că ai ceva bun dar, în realitate, nu ai nimic sau, mai grav, ceea ce ai nu este controlat de tine și lucrează împotriva ta.

„Gândiți-vă la o lume în care ecosistemele informaționale sunt din ce în ce mai sprijinite de AI, dar aceste sisteme rămân susceptibile la influențele sofisticate ale adversarilor. Într-o astfel de lume, cine controlează manipularea acestor sisteme, controlează efectiv peisajul informațional. Potențialul operațiilor de influență în masă, manipularea țintită a factorilor de decizie și subversiunea ascunsă a infrastructurii critice reprezintă un vector de amenințare serioasă la adresa societăților libere”, avertizează Ewbank.

Domeniul contra-AI ar putea fi direcția cea mai importantă din vastitatea preocupărilor privind AI. Acest domeniu va proteja integritatea sistemelor AI, unele puternice și vitale în viitor, capabile să rămână „fidele intenției umane și sub atacurile adverse”.

„O națiune care stăpânește contra-AI dezvoltă nu doar un avantaj tehnic, ci și rezistență la aceste forme de manipulare digitală. Ea păstrează integritatea ecosistemului său informațional, fiabilitatea infrastructurii sale critice și, în cele din urmă, suveranitatea proceselor sale decizionale. În acest sens, contra-AI devine scutul care protejează libertatea în era inteligenței artificiale.

Cursa AI, despre care citim atât de des, este mai mult decât o cursă pentru a construi cea mai puternică AI. Este, de asemenea, o cursă pentru a construi o AI rezistentă care rămâne fidelă intenției umane chiar și sub atacuri adverse. (…) Viitorul nu aparține celor care doar creează cea mai capabilă inteligență artificială, ci celor care o pot apăra de sabotaj.

Este timpul să recunoaștem acest front de luptă silențios pentru ceea ce este: una dintre cele mai importante competiții tehnologice ale timpului nostru. Securitatea inteligenței artificiale nu mai poate rămâne o idee secundară (….)”, a concluzionat Ewbank.


Fii primul care află cele mai importante știri din domeniu cu aplicația DefenseRomania. Downloadează aplicația DefenseRomania de pe telefonul tău Android (Magazin Play) sau iOS (App Store) și ești la un click distanță de noi în permanență

Get it on App Store
Get it on Google Play

Google News icon  Fiți la curent cu ultimele noutăți. Urmăriți DefenseRomania și pe Google News

Ar fi suficiente cele 49 de avioane F-16 în caz de război? Și cum a sacrificat România alte obiective: „Un număr mare de F-16 nu asigură succesul”
Armata ocupantului rus acționând în Ucraina. Foto: Ministerul Apărării de la Moscova
EXCLUSIV
Fota: Dacă rușii vor face o porcărie vor declanșa războiul în următorii 2 ani. Urmează o perioadă critică pentru România și Europa
Trump se abține să critice China pentru ajutorul acordat Rusiei în război. Strategia SUA în relația cu „dragonul” nu are Ucraina ca obiectiv principal
Membri ai forțelor armate germane transportă un sistem de arme Taurus în timpul Expoziției Aerospațiale Internaționale (ILA) din Schoenefeld pe 30 mai 2016. Sursa foto: TOBIAS SCHWARZ via Getty Images.
EXCLUSIV
Europa, vulnerabilă fără umbrela de securitate a SUA: Noi, europenii, nu avem suficiente sisteme de rachete pentru a descuraja singuri Rusia
Atac masiv asupra aeroportului din Briansk, Rusia (Foto/Video): Rezultatul, explozii puternice și distrugerea aviației de transport militar
Vești bune de peste Atlantic - Merz mulțumit de rezultatele întâlnirii cu Trump
Expertul în studii de securitate Iulian Fota, fost consilier prezidențial pe probleme de securitate națională și secretar de stat în MAE
EXCLUSIV
Nu mai e timp de pierdut: Marea Neagră și obiectivele României cu războiul readus de Rusia la ușa noastră | Iulian Fota, la Obiectiv EuroAtlantic
Screenshot video SBU
EXCLUSIV
Aviația strategică a Rusiei arată ca o șandrama (Foto/Video): Bombardierele rusești sunt protejate în cel mai rudimentar mod, cu anvelope și panouri din sârmă
Noul comandant al Forțelor ucrainene de Sisteme fără Pilot anunță schimbări radicale
Adevărul din spatele cortinei de fum: Imaginile din satelit demască strategia Rusiei de a ascunde pierderile de avioane Tu-95 și Tu-22M3, după operațiunea "Pânza de Păianjen" (Foto)
Cum se pregătește China pentru operațiuni de luptă la scară largă: O analiză detaliată a strategiei militare a Beijingului
Belgia intenționează să își mărească flota de avioane de vânătoare F-35A cu peste 50%
Războiul readus pe continent de Rusia deschide a doua umbrelă nucleară: După Franța, un alt stat vrea să contribuie la descurajarea nucleară
Adevăruri incomode: fostul secretar de stat Pompeo - SUA nu au făcut suficient pentru a opri războiul în 2014
Marea vulnerabilitatea a celei mai puternice armate din lume: Armata SUA, prea „ușoară” pentru a câștiga. Rețeta declinului ar fi focalizarea exclusivă pe Pacific
Frica de Rusia ajunge până în Marea Britanie: Guvernul anunță 12 submarine nucleare noi și investiții de 20 miliarde de dolari în focoase nucleare
Marea Britanie va anunța noua strategie de apărare. Prima mutare: 6 fabrici de armament și achizița a 7.000 de rachete cu rază lungă
Teheranul își mărește stocul de uraniu. Agenția pentru Energie Atomică: Iranul nu oferă răspunsuri credibile din punct de vedere tehnic
Joc de război: NATO ar câștiga posibilul conflict cu Rusia, iar frontul decisiv ar fi cerul Europei de Est 
Șeful diplomației turce afirmă că războiul din Ucraina ar putea fi încheiat până la sfârșitul anului: “Atât Rusia, cât și Ucraina își doresc încetarea focului”  
De ce e mai bine să descurajezi Rusia înainte să atace: Ucraina cheltuie în patru luni bugetul de anul trecut al României pentru apărare
Războiul hibrid al Beijingului: Cum încearcă China să paralizeze Taiwanul prin atacuri asupra infrastructurii critice?
De la 2% la 3,5% (sau 5%): Dincolo de politică, cât de mult este Europa pregătită să plătească pentru NATO?
UE publică Strategia pentru Securitate la Marea Neagră. Obiective majore: Dezvoltarea coridoarelor de mobilitate militară și protecția platformelor energetice precum Neptun Deep
Planeta în trei culori: Visul lui Trump despre o lume împărțită cu Rusia și China
Europa intensifică ajutorul militar acordat Ucrainei, în timp ce Rusia respinge încetarea focului și se pregătește pentru ,,ofensiva de vară''
“Pentru reducerea tensiunilor din regiune”: Belarus a anunțat mutarea locurilor de desfășurare a exercițiului “Vest-2025” de la granițele occidentale în interiorul țării
Primul contact la vârful Washingtonului: Președintele Nicușor Dan, convorbire telefonică cu Donald Trump
Pacea, tot mai departe: Rusia îşi intensifică presiunea militară asupra Ucrainei, atacurile cu dronele fiind tot mai puternice
Oficiali militari taiwanezi: China este capabilă de a transforma exercițiile militare într-o invazie

Ştiri Recomandate

Primele evaluări oficiale după ce bombardierele B-2 Spirit americane au lovit Iranul: Cu cât timp a fost dat înapoi programul nuclear iranian
Apărare raționalizată: Când se preconizează că Ucraina va rămâne fără rachete Patriot și HIMARS, cu consecințe catastrofale
Moțiune de cenzură pentru demiterea Ursulei von der Leyen cu șanse infime de a trece. Moțiunea, inițiată de un eurodeputat român
Rușii avansează la nord-est de Pokrovsk. Planul pare să fie ocolirea fortărețelor ucrainene
Liderii BRICS cer Israelului o "retragere completă" din Gaza. Trump amenință cu o taxă suplimentară pentru statele alinate cu BRICS
Elveția, bastionul neutralității militare, se adăpostește sub scutul aerian al Europei: Acord cheie cu Germania pentru achiziția sistemului IRIS-T SLM
Apărarea antiaeriană ucraineană este suprasolicitată de atacurile Rusiei (FOTO/VIDEO): Sistemul „Frankenstein” trimis de Marea Britanie devine rivalul dronelor rusești
Mașina de război a Rusiei începe să scârțâie: Iluzia unei fortărețe economice imune la sancțiuni pare că se destramă
Test revoluționar efectuat de Forțele Aeriene ale SUA, piloţii americani controlează mai multe drone XQ-58 cu avioane F-16C și F-15E
Triplare a numărului de copii uciși și răniți în Ucraina în ultimele trei luni – UNICEF
Dacă China decide să invadeze Taiwanul, probabil că va activa Rusia ca pe un pion de sacrificiu pentru a ataca teritoriul NATO
Tactici moderne sau metode ale trecutului? Armata rusă vrea să cumpere 200.000 de motociclete și 60.000 de ATV-uri din China pentru frontul din Ucraina
Trebuie oferite Ucrainei capabilități pentru a distruge fabricile rusești de drone - ministrul de externe al Letoniei
Fotografie ilustrativă: Donald Trump / flickr, Official White House Photo by Tia Dufour
EXCLUSIV
Este timpul ca Donald Trump să pună piciorul în prag în problema chestiunii rusești
Compania Lockheed Martin transformă eșecul în strategie cu planuri ambițioase de modernizare avioanelor F-35
Să nu fim luaţi prin surprindere! Statele europene membre NATO se pregătesc pentru un scenariu care nu mai pare imposibil: Reducerea prezenţei militare americane în Europa
100 de bombardiere B-21 nu ar fi de ajuns pentru Statele Unite: Presiuni tot mai mari asupra Pentagonului pentru a dubla miza în fața Chinei
Fostul comandant al trupelor SUA în Europa: Rusia este deja în război cu noi și vizează statele baltice. Următorul test: exercițiul militar Zapad 2025
Ce înseamnă iniţiativa germană ,,Punctul de Cotitură Istoric'': Proiect ambiţios pentru achiziționarea a 1.000 de tancuri Leopard 2
Experiment curajos la Kiev: zeci de drone Shaheed interceptate de UAV-uri ucrainene
Trump a vorbit cu Zelenski la o zi după Putin. Au discutat despre consolidarea apărării aeriene a Ucrainei
Ei au putut, noi nu. De ce Polonia a reușit ceea ce România nici nu visa în programul de F-16 și nu numai
România ar putea redeschide Consulatul de la Odesa. "Suntem în strânsă coordonare cu partenerii noştri ucraineni"
Serviciile olandeze de informații: Rusia lansează din drone arme chimice, folosite și în Primul Război Mondial
Beijingul "scapă", pe surse, mesajul principal transmis Europei de ministrul chinez de externe: "Nu ne putem permite ca Rusia să piardă în Ucraina"
Un tanc Leopard în timpul unui exercițiu militar NATO în Korzeniewo, nordul Poloniei. Sursa foto: Wojtek Radwanski/Getty Images.
EXCLUSIV
Ce poate învăţa România din noua Strategie de Securitate Națională a Poloniei? General polonez: În calitate de stat aflat la frontiera NATO, nu ne mai permitem o abordare pur defensivă
"A fost găsit sub fereastră". Continuă epidemia de sinucideri din Rusia; încă un oficial din Rusia a căzut de la etaj
Clivajul NATO | Statele Baltice sfidează axa franco-germană în privința renunţării la armamentul american: Securitatea nu poate aștepta
Colonel din Forțele Aeriene ucrainene, recrutat de soție în FSB. Sarcina sa era de a trimite coordonatele bazelor aeriene
Bătrânul F-22 Raptor e pariul SUA: Modernizări de zeci de milioane de dolari pentru a menţine superioritatea aeriană în fața Chinei
Exercitiu militar NATO in Estonia: Sursa foto: SHAPE - NATO Allied Command Operation/X.
EXCLUSIV
Rusia este o amenințare acută pentru Europa, pentru NATO, pentru întreaga lume civilizată: „Putin are nevoie de conflict, așa cum peștele are nevoie de apă”
După ce a vorbit la telefon cu Donald Trump, Vladimir Putin a lovit violent capitala Ucrainei cu drone și rachete balistice
pixel