Poți descărca aplicația:
Get it on App Store Get it on Google Play
Războiul viitorului se va duce pe inteligența artificială. Iar cel mai important front de luptă al AI va fi protejarea sistemelor împotriva deturnării
Strategica
Data publicării:
Orizontul de evoluție a inteligenței artificiale (AI) este deja văzut ca fiind practic nelimitat. În aceste condiții, sistemele bazate AI încep să devină active strategice, iar siguranța foarte multor oameni va depinde de cât de bine sunt ele protejate.

Un expert american care a condus efortul de digitalizare a CIA timp de patru ani (octombrie 2019 – ianuarie 2024) atrage atenția asupra unui „domeniu mai puțin vizibil, relativ necunoscut și potențial mai important: contra-AI”.

Termenul de „contra-AI” - așa cum rezultă el din articolul (publicat pe Cypher Brief la 21 mai) fostului director-adjunct al CIA pentru Inovare Digitală, Jennifer Ewbank - se referă la contracararea AI adverse care încearcă să infiltreze și să manipuleze seturile de date, pe baza cărora sistemele AI proprii iau decizii.

Pentru a înțelege, totuși, mai bine semnificația, să ne imaginăm că un spion al unei agenții secrete este intoxicat cu informații false de un serviciu advers. Spionul nu este conștient de acest lucru și trimite, propriei agenții, informațiile cu greu obținute, spunându-i că sunt de încredere. Astfel, în baza de date a agenției secrete pot fi introduse informații false care, pot produce, imediat sau mai târziu, pagube mari și posibil ireparabile. Desigur, modurile, în care bazele de date ale sistemelor AI pot fi corupte, sunt unele dintre cele mai diverse și sofisticate, însă ideea este că „memoria”, pe baza căreia AI ia decizii, poate fi compromisă dacă nu este protejată adecvat.

Preocuparea și îngrijorarea exprimate de Ewbank nu sunt generice, ele fiind bazate pe operații AI adverse care sunt reale.

„În timp ce conduceam transformarea digitală la CIA, am fost martor, la prima mână, la modul în care operațiile AI adverse remodelează peisajul amenințărilor, adesea mai repede decât se pot adapta apărările națiunii noastre. Această cursă silențioasă pentru protejarea sistemelor AI împotriva manipulării ar putea fi cea mai importantă competiție AI dintre toate, cu implicații profunde pentru securitatea națională”, a opinat Ewbank.

Metoda principală, prin care actori rău intenționați corup bazele de date ale AI, este Învățarea Automată Adversă (în engleză Adversarial Machine Learning – prescurtat AML).

„AML reprezintă una dintre cele mai sofisticate amenințări la adresa sistemelor AI de astăzi. În termeni simpli, AML este arta și știința manipulării sistemelor AI pentru a se comporta în moduri pentru care nu au fost concepute. Metodele prin care AML poate duce la rezultate dăunătoare sunt limitate doar de imaginația și abilitățile tehnice ale actorilor stat-națiune criminali și ostili”, afirmă Ewbank.

AML manipulează „modul în care inteligența artificială percepe realitatea”. Agențiile și departamentele de securitate națională din SUA au semnalat, din ce în ce mai mult, AML ca o vulnerabilitate critică în operațiile militare și de informații, potrivit lui Ewbank.

 

Prin AML, un sistem AI este deturnat de la scopul său, putând fi folosit în scopuri total opuse celui proiectat. Cu consecințe catastrofale

 

2. Inteligenț... (us_army_inteligenta_artificialasua_97915700.jpg)

„O inteligență artificială compromisă ar putea duce la orice, de la un inconvenient minor până la o încălcare catastrofală a securității”, avertizează Ewbank.

Ewbank dă trei exemple privind modul în care este deformată percepția asupra realității, cu ajutorul instrumentelor AML.

O bancă ia decizii eronate despre cui să acorde credite.

„Imaginați-vă o instituție financiară care implementează un sistem de aprobare a împrumuturilor bazat pe AI, antrenat pe baza a decenii de date privind creditarea. Fără știrea băncii, o persoană din interior a manipulat subtil aceste date de antrenament - nu suficient pentru a declanșa alarme, dar suficient pentru a crea o prejudecată ascunsă. Luni mai târziu, când sistemul este operațional, acesta respinge sistematic candidații calificați din anumite cartiere, în timp ce aprobă candidați mai puțin calificați din altele. Aceasta este otrăvirea datelor, o formă de atac AML care schimbă modul în care inteligența artificială evaluează riscul.”

Un sistem militar autonom de recunoaștere, corupt fiind, concluzionează greșit că anumite ținte sunt civile, în realitate ele fiind militare. 

„Luați în considerare o dronă militară autonomă aflată într-o misiune de recunoaștere. Sistemul de vedere al dronei a fost antrenat cu atenție pentru a distinge prietenul de dușman. Cu toate acestea, un adversar a descoperit că plasarea unui anumit model pe vehiculele sale, chiar și unul invizibil pentru observația umană, face ca drona să le clasifice greșit în mod constant drept infrastructură civilă. Acest „atac de evitare” („evasion attack”) nu necesită niciun fel de hacking. Pur și simplu exploatează modul în care inteligența artificială interpretează informațiile vizuale.”

Sisteme de securitate națională, bazate pe AI, nu declanșează alarme la apariția unor indicii critici.

„Imaginați-vă un scenariu în care un adversar manipulează subtil sistemele de inteligență artificială care susțin analiza informațiilor. Un astfel de atac ar putea determina aceste sisteme să treacă cu vederea tiparele critice sau să genereze concluzii înșelătoare, lucru destul de dificil de detectat, dar potențial devastator pentru procesul decizional la cele mai înalte niveluri de guvernare.”

 

Vulnerabilități profunde pentru baze de date esențiale

 

De asemenea, modul, în care sunt construite în prezent sistemele AI, poate genera vulnerabilități profunde pentru baze de date esențiale, inclusiv ducând la afectarea seturilor de antrenament considerate elemente cheie de funcționalitate și stabilitate ale AI.

Într-o lucrare de referință din 2020, experții au demonstrat cum atacatorii ar putea „fura” eficient modele comerciale de recunoaștere facială. Printr-o tehnică numită „inversiune de model”, au reușit să extragă fețele reale folosite pentru a antrena sistemul. În esență, au recuperat imagini recognoscibile ale unor indivizi specifici, dezvăluind modul în care sistemele AI pot memora și expune în mod accidental date sensibile de antrenament, precizează Ewbank.

Deși amenințarea la adresa integrității sistemelor AI devine tot mai mare, capabilitățile defensive rămân complet inadecvate.

Potrivit lui Ewbank, această stare de lucruri este cauzată de trei aspecte importante – volumul mare de muncă, lipsa expertizei și prejudecățile.

„Atacatorii trebuie să găsească o singură vulnerabilitate, în timp ce apărătorii trebuie să se protejeze împotriva tuturor atacurilor posibile. Pe lângă această provocare, apărarea eficientă necesită expertiză specializată care să facă legătura între securitatea cibernetică și învățarea automată, o combinație rară în forța de muncă de astăzi. Între timp, structurile organizaționale separă adesea dezvoltarea AI de echipele de securitate, creând bariere neintenționate care împiedică colaborarea eficientă. (…) Există o abordare predominant reactivă, mai degrabă, îndreptată spre vectorii de atac cunoscuți, decât securizând proactiv sistemele împotriva amenințărilor emergente”, precizează Ewbank.

Soluții există dar, este nevoie de voință și coordonare la nivel strategic între guvern, industrie și mediul academic, precum și de colaborare internațională.

„La nivel strategic, contracararea AI necesită o coordonare fără precedent între guvern, industrie și mediul academic. Avem nevoie de mecanisme pentru a partaja informații despre amenințări cu privire la capabilitățile adversarilor, standarde internaționale care să stabilească cadre de securitate comune și inițiative concentrate pe dezvoltarea forței de muncă care să construiască o rețea de talente cu expertiză care acoperă atât domeniile AI, cât și cele ale securității cibernetice. Unii experți au sugerat, de asemenea, un regim riguros de testare a siguranței pentru modelele de frontieră (cele mai avansate tehnologic – nota autorului), atât înainte de implementare, cât și pe tot parcursul duratei lor de viață. Este o propunere încărcată cu dimensiuni politice și juridice, deoarece modelele de frontieră rămân proprietatea intelectuală a companiilor private, dar este necesară o formă de asigurare a siguranței”, a schițat Ewbank principalele direcții strategice de construire a protecției sistemelor AI.

 

Miza este uriașă pentru că sistemele AI susțin procese critice ale securității naționale

 

3. -imagine fara descriere- (exercitiu-militar-inteligenta-artificiala_30654500.jpg)

„Pe măsură ce sistemele AI stau din ce în ce mai mult la baza funcțiilor critice de securitate națională, siguranța lor devine inseparabilă de postura de securitate(…). Întrebarea nu este dacă adversarii vor viza aceste sisteme. O vor face. Dar vom fi pregătiți?”, avertizează Ewbank.

Amenințarea la adresa integrității sistemelor AI este mare, iar neglijarea ei va avea urmări grave. Sunt în joc drepturi și libertăți fundamentale ale oamenilor.

„Și să fim clari cu privire la ce este în joc. Națiunea care stăpânește contra-AI va determina probabil dacă inteligența artificială devine un gardian al libertății în sine sau o amenințare la adresa acesteia. (…) Când vorbesc despre libertate în acest context (…) mă refer la ceva mai fundamental decât simpla guvernare democratică. Mă refer la libertatea esențială a cetățenilor de a face alegeri semnificative cu privire la viața lor, de a accesa informații precise și de a participa la procese civice fără manipulare. Un ecosistem AI vulnerabil la manipularea venită din partea adversarilor amenință aceste libertăți fundamentale în moduri profunde”, avertizează Ewbank.

Crezi că ai ceva bun dar, în realitate, nu ai nimic sau, mai grav, ceea ce ai nu este controlat de tine și lucrează împotriva ta.

„Gândiți-vă la o lume în care ecosistemele informaționale sunt din ce în ce mai sprijinite de AI, dar aceste sisteme rămân susceptibile la influențele sofisticate ale adversarilor. Într-o astfel de lume, cine controlează manipularea acestor sisteme, controlează efectiv peisajul informațional. Potențialul operațiilor de influență în masă, manipularea țintită a factorilor de decizie și subversiunea ascunsă a infrastructurii critice reprezintă un vector de amenințare serioasă la adresa societăților libere”, avertizează Ewbank.

Domeniul contra-AI ar putea fi direcția cea mai importantă din vastitatea preocupărilor privind AI. Acest domeniu va proteja integritatea sistemelor AI, unele puternice și vitale în viitor, capabile să rămână „fidele intenției umane și sub atacurile adverse”.

„O națiune care stăpânește contra-AI dezvoltă nu doar un avantaj tehnic, ci și rezistență la aceste forme de manipulare digitală. Ea păstrează integritatea ecosistemului său informațional, fiabilitatea infrastructurii sale critice și, în cele din urmă, suveranitatea proceselor sale decizionale. În acest sens, contra-AI devine scutul care protejează libertatea în era inteligenței artificiale.

Cursa AI, despre care citim atât de des, este mai mult decât o cursă pentru a construi cea mai puternică AI. Este, de asemenea, o cursă pentru a construi o AI rezistentă care rămâne fidelă intenției umane chiar și sub atacuri adverse. (…) Viitorul nu aparține celor care doar creează cea mai capabilă inteligență artificială, ci celor care o pot apăra de sabotaj.

Este timpul să recunoaștem acest front de luptă silențios pentru ceea ce este: una dintre cele mai importante competiții tehnologice ale timpului nostru. Securitatea inteligenței artificiale nu mai poate rămâne o idee secundară (….)”, a concluzionat Ewbank.


Fii primul care află cele mai importante știri din domeniu cu aplicația DefenseRomania. Downloadează aplicația DefenseRomania de pe telefonul tău Android (Magazin Play) sau iOS (App Store) și ești la un click distanță de noi în permanență

Get it on App Store
Get it on Google Play

Google News icon  Fiți la curent cu ultimele noutăți. Urmăriți DefenseRomania și pe Google News

Pakistanul extinde frăția strategică din zona Orientului Mijlociu: Acord de "apărare reciprocă", semnat cu Arabia Saudită
Ucraina va primi rachete pentru sistemele Patriot și HIMARS în cadrul a două pachete de ajutorare PURL
Analiza sondajului INSCOP: De ce 74% dintre români vor să facă stagiu militar voluntar, în contexul unui peisaj geopolitic tensionat?
Harta Europei / pexels, aliaksei lepik
EXCLUSIV
Poate Occidentul să facă o schimbare de ritm suficient de puternică pentru a pune capăt războiului ruso-ucrainean?
Rolul vital al României, explicat de un general NATO: „Ramstein-ul Estului” va asigura stabilitatea Ucrainei
Scutul nevăzut al NATO: Cum este apărat spaţiul aerian aliat în cele mai dificile momente, cum ar fi incursiunea unor aeronave şi drone ruseşti (VIDEO)
Lovitură de stat sub masca naționalismului: Rețeaua Georgescu-Potra, un instrument al războiul hibrid purtat de Rusia împotriva României
Lukașenko: Rusia și Belarus au simulat lansări de arme nucleare tactice în timpul manevrelor “Vest-2025”
Micul vânător german, sistemul Gepard, care a schimbat regulile jocului pe frontul din Ucraina: O lecţie despre ingeniozitate, adaptare și cooperare pe care o putem învăţa de la ucraineni
EXCLUSIV
„Țara arde și baba se piaptănă” - China ignoră războiul adevărat din Ucraina și cere implicarea UE în războiul tarifar cu SUA
Evitarea interpretării de către Rusia a unui declaraţii de război? De ce România nu vrea să susţină instituirea unei zone de interdicție aeriană deasupra Ucrainei
În timp ce dronele rusești testează "liniile roșii" ale NATO, Ucraina solicită o poziție clară din partea Statelor Unite privind sancțiunile și garanțiile de securitate
Noi incidente de securitate în Polonia: Dronă neutralizată deasupra clădirilor guvernamentale, doi cetățeni belaruși reținuți
România permite cu bună știință folosirea spațiului ei național pentru atacarea Ucrainei
Amenințarea de la graniță: De ce vrea Uniunea Europeană să replice modelul de apărare al Ucrainei cu un „Zid de Drone”
Tensiunile dintre Rusia și NATO cresc în mod periculos: Oficiali ruși de nivel înalt afirmă că alianța se află “de facto” în război cu Moscova
Franţa este gata să joace rolul de garant al securității Poloniei: Ce mesaj transmite Rusiei desfăşurarea avioanelor Rafale în sprijinul polonezilor?
Zid anti-drone în stil asiatic: Japonia dezvoltă sistemul de apărare costieră SHIELD
Rusia simulează un atac cu Iskander și noile rachete balistice Oreshnik asupra Europei. Cele șase state luate în vizor de rachetele „imposibil de interceptat”
J-20S este o nouă generație de avioane de luptă stealth cu două locuri, dezvoltate de Aviation Industry Corporation of China. Sursa foto: X.
EXCLUSIV
”Chinezii i-au prins din urmă pe americani”; cât e propagandă, cât adevăr. De la noul portavion ”Fujian”, la F-35 care depinde de pământuri rare din China
Franța și Germania au dezvoltat un nou concept al viitorului tanc de luptă principal, denumit EMBT Enhanced Main Battle Tank.
EXCLUSIV
Miliardele din SAFE, pe înțelesul tuturor: României i se deschide ușa spre tancul european sau drone MALE. Dar adio contractelor cu SUA, Israel sau Coreea?
Rusia construiește o bază de rachete în Belarus, la doar 245 de kilometri de Polonia
Războiul dronelor ieftine: Când sistemele de miliarde de dolari ale NATO se luptă cu drone de 10.000 de dolari
Ministrul ucrainean al Apărării: Războiul trebuie terminat, Rusia nu trebuie lăsată să atace din nou
Lovitură dată de ucraineni în inima exporturilor rusești: Atac cu peste 200 de drone la cel mai mare terminal petrolier din Marea Baltică
Rusia și Belarus au început exercițiul strategic “Vest-2025”. La manevre participă și grupe operative și contingente militare din state ale OTSC și SCO
Cele 8 ținte strategice pe care dacă Ucraina le-ar putea lovi ar paraliza mașinăria de război rus. Rachete și drone din Transnistria până Vladivostok
F-35 și F-16 / captură video: Forțele Armate Poloneze, facebook
EXCLUSIV
Adevăratul cost al apărării: Cum a folosit NATO rachete AIM-120C-7 pentru a doborî drone rusești „Gerbera” în spaţiul aerian al Poloniei
Lecțiile frontului din Ucraina: Cum își adaptează Statele Unite apărarea pentru un posibil război al dronelor cu China în Indo-Pacific
Franța își modernizează arsenalul nuclear: M51.4, racheta care va asigura viitorul descurajării militare

Ştiri Recomandate

După un zbor de peste 1.700 de kilometri, dronele ucrainene au lovit un gigant chimic rusesc
Germania vrea armată obligatorie / Abordarea României: Serviciu militar voluntar; proiectul, trimis deja în Parlament
Aflat la putere de un sfert de secol, Putin e îngrijorat de alegerile din România / MAE român: Rusia nu poate da lecții de democrație; acolo, opozitia e asasinată la doi pași de Kremlin
Putin spune că Rusia nu a provocat niciodată vreun război și de fapt „tigrul de hârtie” e NATO
Venezuela condamnă un presupus zbor ilegal al unui avion de vânătoare american în largul coastei sale
Rusia și Ucraina au făcut un nou schimb de prizonieri de război
„Dormiți liniștiți, nu ne provocați”: Strategia lui Vladimir Putin de descurajare a statelor europene se rezumă la ameninţări cu atacuri iminente
Tomahawk vs. ,,tigrul de hârtie'': De ce aleg acum Statele Unite să încurajeze Ucraina să lovească în inima sistemului rusesc de rafinării
Un general eston explică de ce doborârea avioanelor rusești MiG-31 ar fi fost o greşeală strategică: Analiza incursiunilor Rusiei și riscul de escaladare
Sistemele Patriot ar avea o rată de succes în scădere în Ucraina. Rușii au reprogramat rachetele Iskander și lovesc prin surprindere
,,Fantoma din cer'': De ce s-a întors F-117A Nighthawk, avionul de vânătoare retras de U.S. Air Force, și ce caută el lângă Mexic?
Aici este dovada că drone ruseşti au fost doborâte în spațiul aerian al NATO: Un F-35 olandez se mândrește cu reușita sa (FOTO)
Tancurile României se „bat” cu achiziția de F-35. Ce știm despre program și cum tancurile intră fulgerător în topul celor mai mari achiziții din istoria României
Ce mai aruncă Rusia în luptă pe frontul din Ucraina? Un lot nou de vehicule blindate BMPT „Terminator” trimis la sacrificiu în faţa dronelor (VIDEO)
Ungaria va cumpăra gaze de la compania franceză Engie, dar nu renunță la gazul rusesc
Zidul se ridică. Președintele Nicușor Dan spune că „în câteva luni” zidul împotriva dronelor rusești ar putea deveni operațional
Sancțiunile nu funcționează? Aviația civilă din Rusia, nevoită să-și ”canibalizeze” opt aeronave Boeing pentru piese de schimb
Cum a ajuns Turcia să detoneze o dronă ucraineană Magura, cunoscută și drept „coșmarul Rusiei” pe mare
Proiectul de lege privind serviciul militar VOLUNTAR, discutat azi în Guvern. Patru luni de pregătire militară, în condiții similare cu cele ale militarilor profesioniști
SUA vor furniza Ucrainei informații pentru atacuri în interiorul Rusiei, scrie presa americană
Militarii francezi au urcat pe unul dintre petrolierele Flotei Fantomă a Rusiei (Video). Boracay, suspectat că era folosit pe post de portavion pentru dronele rusești
Punctul de cotitură al noului război hibrid. Cum ,,flota din umbră'' a Rusiei a forțat NATO să iasă ,,la vânătoare'' în Marea Baltică
Rușii discută despre reacordarea gradului de mareșal în armată. Deocamdată însă, le lipsește eroul care ar putea să-l poarte
Centrala nucleară de la Cernobîl a rămas fără electricitate după un bombardament rusesc
Viktor Orban spune că Ungaria nu e pregătită să renunțe la petrolul rusesc, lucru cerut de SUA
Trupele ruse și-au intensificat atacurile aeriene în luna septembrie: Peste 5.600 de drone și 185 de rachete au vizat ținte de pe teritoriul Ucrainei
Premiul Nobel: Miza personală a lui Donald Trump în geopolitică
Rusia, aproape de eșec total: De la benzină nelimitată la rații de 10-30 de litri. Atacurile ucrainenilor au paralizat rafinăriile, iar logistica armatei e afectată
Lovitură simbolică în Crimeea: O dronă ucraineană a „orbit” ochii sistemului rusesc S-400, atacând chiar radarul destinat să o intercepteze
Instruirea operatorilor rusi de drone. Sursa foto: pl-llc.ru.
EXCLUSIV
Europa își caută scut: Din Norvegia și până în România, incursiunile dronelor forțează Europa să ridice mai rapid „Zidul” anti-dronă
Novorossiisk a evitat scenariul de groază al submarinului ”Kursk”, dar pericolul încă nu a trecut: Prezintă risc de explozie
Rușii folosesc o nouă armă: Bombă aeriană cu motor de pe AliExpress. Racheta de croazieră ”Banderol” poate fi lansată din drone
pixel