Poți descărca aplicația:
Get it on App Store Get it on Google Play
Războiul viitorului se va duce pe inteligența artificială. Iar cel mai important front de luptă al AI va fi protejarea sistemelor împotriva deturnării
Strategica
Data publicării:
Orizontul de evoluție a inteligenței artificiale (AI) este deja văzut ca fiind practic nelimitat. În aceste condiții, sistemele bazate AI încep să devină active strategice, iar siguranța foarte multor oameni va depinde de cât de bine sunt ele protejate.

Un expert american care a condus efortul de digitalizare a CIA timp de patru ani (octombrie 2019 – ianuarie 2024) atrage atenția asupra unui „domeniu mai puțin vizibil, relativ necunoscut și potențial mai important: contra-AI”.

Termenul de „contra-AI” - așa cum rezultă el din articolul (publicat pe Cypher Brief la 21 mai) fostului director-adjunct al CIA pentru Inovare Digitală, Jennifer Ewbank - se referă la contracararea AI adverse care încearcă să infiltreze și să manipuleze seturile de date, pe baza cărora sistemele AI proprii iau decizii.

Pentru a înțelege, totuși, mai bine semnificația, să ne imaginăm că un spion al unei agenții secrete este intoxicat cu informații false de un serviciu advers. Spionul nu este conștient de acest lucru și trimite, propriei agenții, informațiile cu greu obținute, spunându-i că sunt de încredere. Astfel, în baza de date a agenției secrete pot fi introduse informații false care, pot produce, imediat sau mai târziu, pagube mari și posibil ireparabile. Desigur, modurile, în care bazele de date ale sistemelor AI pot fi corupte, sunt unele dintre cele mai diverse și sofisticate, însă ideea este că „memoria”, pe baza căreia AI ia decizii, poate fi compromisă dacă nu este protejată adecvat.

Preocuparea și îngrijorarea exprimate de Ewbank nu sunt generice, ele fiind bazate pe operații AI adverse care sunt reale.

„În timp ce conduceam transformarea digitală la CIA, am fost martor, la prima mână, la modul în care operațiile AI adverse remodelează peisajul amenințărilor, adesea mai repede decât se pot adapta apărările națiunii noastre. Această cursă silențioasă pentru protejarea sistemelor AI împotriva manipulării ar putea fi cea mai importantă competiție AI dintre toate, cu implicații profunde pentru securitatea națională”, a opinat Ewbank.

Metoda principală, prin care actori rău intenționați corup bazele de date ale AI, este Învățarea Automată Adversă (în engleză Adversarial Machine Learning – prescurtat AML).

„AML reprezintă una dintre cele mai sofisticate amenințări la adresa sistemelor AI de astăzi. În termeni simpli, AML este arta și știința manipulării sistemelor AI pentru a se comporta în moduri pentru care nu au fost concepute. Metodele prin care AML poate duce la rezultate dăunătoare sunt limitate doar de imaginația și abilitățile tehnice ale actorilor stat-națiune criminali și ostili”, afirmă Ewbank.

AML manipulează „modul în care inteligența artificială percepe realitatea”. Agențiile și departamentele de securitate națională din SUA au semnalat, din ce în ce mai mult, AML ca o vulnerabilitate critică în operațiile militare și de informații, potrivit lui Ewbank.

 

Prin AML, un sistem AI este deturnat de la scopul său, putând fi folosit în scopuri total opuse celui proiectat. Cu consecințe catastrofale

 

2. Inteligenț... (us_army_inteligenta_artificialasua_97915700.jpg)

„O inteligență artificială compromisă ar putea duce la orice, de la un inconvenient minor până la o încălcare catastrofală a securității”, avertizează Ewbank.

Ewbank dă trei exemple privind modul în care este deformată percepția asupra realității, cu ajutorul instrumentelor AML.

O bancă ia decizii eronate despre cui să acorde credite.

„Imaginați-vă o instituție financiară care implementează un sistem de aprobare a împrumuturilor bazat pe AI, antrenat pe baza a decenii de date privind creditarea. Fără știrea băncii, o persoană din interior a manipulat subtil aceste date de antrenament - nu suficient pentru a declanșa alarme, dar suficient pentru a crea o prejudecată ascunsă. Luni mai târziu, când sistemul este operațional, acesta respinge sistematic candidații calificați din anumite cartiere, în timp ce aprobă candidați mai puțin calificați din altele. Aceasta este otrăvirea datelor, o formă de atac AML care schimbă modul în care inteligența artificială evaluează riscul.”

Un sistem militar autonom de recunoaștere, corupt fiind, concluzionează greșit că anumite ținte sunt civile, în realitate ele fiind militare. 

„Luați în considerare o dronă militară autonomă aflată într-o misiune de recunoaștere. Sistemul de vedere al dronei a fost antrenat cu atenție pentru a distinge prietenul de dușman. Cu toate acestea, un adversar a descoperit că plasarea unui anumit model pe vehiculele sale, chiar și unul invizibil pentru observația umană, face ca drona să le clasifice greșit în mod constant drept infrastructură civilă. Acest „atac de evitare” („evasion attack”) nu necesită niciun fel de hacking. Pur și simplu exploatează modul în care inteligența artificială interpretează informațiile vizuale.”

Sisteme de securitate națională, bazate pe AI, nu declanșează alarme la apariția unor indicii critici.

„Imaginați-vă un scenariu în care un adversar manipulează subtil sistemele de inteligență artificială care susțin analiza informațiilor. Un astfel de atac ar putea determina aceste sisteme să treacă cu vederea tiparele critice sau să genereze concluzii înșelătoare, lucru destul de dificil de detectat, dar potențial devastator pentru procesul decizional la cele mai înalte niveluri de guvernare.”

 

Vulnerabilități profunde pentru baze de date esențiale

 

De asemenea, modul, în care sunt construite în prezent sistemele AI, poate genera vulnerabilități profunde pentru baze de date esențiale, inclusiv ducând la afectarea seturilor de antrenament considerate elemente cheie de funcționalitate și stabilitate ale AI.

Într-o lucrare de referință din 2020, experții au demonstrat cum atacatorii ar putea „fura” eficient modele comerciale de recunoaștere facială. Printr-o tehnică numită „inversiune de model”, au reușit să extragă fețele reale folosite pentru a antrena sistemul. În esență, au recuperat imagini recognoscibile ale unor indivizi specifici, dezvăluind modul în care sistemele AI pot memora și expune în mod accidental date sensibile de antrenament, precizează Ewbank.

Deși amenințarea la adresa integrității sistemelor AI devine tot mai mare, capabilitățile defensive rămân complet inadecvate.

Potrivit lui Ewbank, această stare de lucruri este cauzată de trei aspecte importante – volumul mare de muncă, lipsa expertizei și prejudecățile.

„Atacatorii trebuie să găsească o singură vulnerabilitate, în timp ce apărătorii trebuie să se protejeze împotriva tuturor atacurilor posibile. Pe lângă această provocare, apărarea eficientă necesită expertiză specializată care să facă legătura între securitatea cibernetică și învățarea automată, o combinație rară în forța de muncă de astăzi. Între timp, structurile organizaționale separă adesea dezvoltarea AI de echipele de securitate, creând bariere neintenționate care împiedică colaborarea eficientă. (…) Există o abordare predominant reactivă, mai degrabă, îndreptată spre vectorii de atac cunoscuți, decât securizând proactiv sistemele împotriva amenințărilor emergente”, precizează Ewbank.

Soluții există dar, este nevoie de voință și coordonare la nivel strategic între guvern, industrie și mediul academic, precum și de colaborare internațională.

„La nivel strategic, contracararea AI necesită o coordonare fără precedent între guvern, industrie și mediul academic. Avem nevoie de mecanisme pentru a partaja informații despre amenințări cu privire la capabilitățile adversarilor, standarde internaționale care să stabilească cadre de securitate comune și inițiative concentrate pe dezvoltarea forței de muncă care să construiască o rețea de talente cu expertiză care acoperă atât domeniile AI, cât și cele ale securității cibernetice. Unii experți au sugerat, de asemenea, un regim riguros de testare a siguranței pentru modelele de frontieră (cele mai avansate tehnologic – nota autorului), atât înainte de implementare, cât și pe tot parcursul duratei lor de viață. Este o propunere încărcată cu dimensiuni politice și juridice, deoarece modelele de frontieră rămân proprietatea intelectuală a companiilor private, dar este necesară o formă de asigurare a siguranței”, a schițat Ewbank principalele direcții strategice de construire a protecției sistemelor AI.

 

Miza este uriașă pentru că sistemele AI susțin procese critice ale securității naționale

 

3. -imagine fara descriere- (exercitiu-militar-inteligenta-artificiala_30654500.jpg)

„Pe măsură ce sistemele AI stau din ce în ce mai mult la baza funcțiilor critice de securitate națională, siguranța lor devine inseparabilă de postura de securitate(…). Întrebarea nu este dacă adversarii vor viza aceste sisteme. O vor face. Dar vom fi pregătiți?”, avertizează Ewbank.

Amenințarea la adresa integrității sistemelor AI este mare, iar neglijarea ei va avea urmări grave. Sunt în joc drepturi și libertăți fundamentale ale oamenilor.

„Și să fim clari cu privire la ce este în joc. Națiunea care stăpânește contra-AI va determina probabil dacă inteligența artificială devine un gardian al libertății în sine sau o amenințare la adresa acesteia. (…) Când vorbesc despre libertate în acest context (…) mă refer la ceva mai fundamental decât simpla guvernare democratică. Mă refer la libertatea esențială a cetățenilor de a face alegeri semnificative cu privire la viața lor, de a accesa informații precise și de a participa la procese civice fără manipulare. Un ecosistem AI vulnerabil la manipularea venită din partea adversarilor amenință aceste libertăți fundamentale în moduri profunde”, avertizează Ewbank.

Crezi că ai ceva bun dar, în realitate, nu ai nimic sau, mai grav, ceea ce ai nu este controlat de tine și lucrează împotriva ta.

„Gândiți-vă la o lume în care ecosistemele informaționale sunt din ce în ce mai sprijinite de AI, dar aceste sisteme rămân susceptibile la influențele sofisticate ale adversarilor. Într-o astfel de lume, cine controlează manipularea acestor sisteme, controlează efectiv peisajul informațional. Potențialul operațiilor de influență în masă, manipularea țintită a factorilor de decizie și subversiunea ascunsă a infrastructurii critice reprezintă un vector de amenințare serioasă la adresa societăților libere”, avertizează Ewbank.

Domeniul contra-AI ar putea fi direcția cea mai importantă din vastitatea preocupărilor privind AI. Acest domeniu va proteja integritatea sistemelor AI, unele puternice și vitale în viitor, capabile să rămână „fidele intenției umane și sub atacurile adverse”.

„O națiune care stăpânește contra-AI dezvoltă nu doar un avantaj tehnic, ci și rezistență la aceste forme de manipulare digitală. Ea păstrează integritatea ecosistemului său informațional, fiabilitatea infrastructurii sale critice și, în cele din urmă, suveranitatea proceselor sale decizionale. În acest sens, contra-AI devine scutul care protejează libertatea în era inteligenței artificiale.

Cursa AI, despre care citim atât de des, este mai mult decât o cursă pentru a construi cea mai puternică AI. Este, de asemenea, o cursă pentru a construi o AI rezistentă care rămâne fidelă intenției umane chiar și sub atacuri adverse. (…) Viitorul nu aparține celor care doar creează cea mai capabilă inteligență artificială, ci celor care o pot apăra de sabotaj.

Este timpul să recunoaștem acest front de luptă silențios pentru ceea ce este: una dintre cele mai importante competiții tehnologice ale timpului nostru. Securitatea inteligenței artificiale nu mai poate rămâne o idee secundară (….)”, a concluzionat Ewbank.


Fii primul care află cele mai importante știri din domeniu cu aplicația DefenseRomania. Downloadează aplicația DefenseRomania de pe telefonul tău Android (Magazin Play) sau iOS (App Store) și ești la un click distanță de noi în permanență

Get it on App Store
Get it on Google Play

Google News icon  Fiți la curent cu ultimele noutăți. Urmăriți DefenseRomania și pe Google News

„Graalul” Rusiei împotriva dronelor ucrainene: Atacurile de tip „Deep Strike” ale Ucrainei, blocate cu drone-interceptoare și conexiune tăiată la internet
O baricadă de foc: De ce cinci țări NATO renunță la interzicerea minelor antipersonal
Măcelul de la Dobropillia: Liderul Azov dezvăluie ce înseamnă tactica rusească „tanc pumn” și bilanțul masiv al pierderilor
IMAGINE ILUSTRATIVĂ: Baterie de coastă antinavă Neptun a Ucrainei
EXCLUSIV
Flamingo și Neptune, perechea perfectă? Ucraina lovește zdravăn Rusia cu cele două rachete în tandem. Trei concluzii care ar trebui să îngrijoreze Rusia
Rușii au lăsat Kievul în beznă în urma celui mai mare atac asupra infrastructurii energetice a Ucrainei (VIDEO)
Generalul (r.) Marius Crăciun, fost comandant al Forțelor pentru Operații Speciale (FOS). Colaj DefenseRomania
EXCLUSIV
Cât de pregătiți suntem dacă sună goarna? Generalul (r.) Marius Crăciun, fost comandant al Forțelor pentru Operații Speciale (FOS), la Obiectiv EuroAtlantic
NATO pregătește un răspuns mai ferm la provocările Rusiei. Posibile soluții: Drone înarmate și reguli simplificate pentru doborârea aeronavelor rusești
Generalul Gheorghiță Vlad: Armata României, pregătită să reziste unui eventual atac al Rusiei. Există instrumente și pentru a ajuta Moldova
Generalul Oleksandr Sirski, comandantul Forțelor Terestre Ucrainene și comandantul Grupului Est al Forțelor Armate ale Ucrainei. Sursa Foto: Facebook Сухопутні війська ЗС України.
EXCLUSIV
Generalul Sirski raportează despre capcana ucraineană de la Dobropillia. Între timp s-a așternut liniștea la est de Kramatorsk
Foto: Ministerul Apărării din China
EXCLUSIV
Războiul ideologic al Chinei: Strategia PCC din Xinjiang forțează Europa să aleagă între comerț și drepturile omului. Implicațiile pentru NATO.
Stocurile de armament greu ale Rusiei sunt tot mai puţine: Peste jumătate din tancurile și artileria din depozite, „canibalizate” pentru războiul din Ucraina
Forțele pentru Operații Speciale ale Republicii Moldova. Sursă foto: Ministerul Apărării de la Chișinău
EXCLUSIV
Strategia ,,Moldova 2035'': De la "mizerie și dezordine" la digitalizare și apărare cibernetică. Cum își construiește Chișinău scutul anti-Rusia
Armată profesionistă și investiții în echipamente. Republica Moldova are o nouă Strategie militară, dar obiectivul de 1% pentru Apărare e considerat insuficient
Rusia își protejează cu plase anti-dronă situl nuclear arctic de la Novaya Zemlya, la 2.500 km de linia frontului din Ucraina (FOTO)
Centrala Nucleară Zaporijjea
EXCLUSIV
Rusia pare să reia șantajul nuclear. Centrala de la Zaporojie intră din nou în prim-planul amenințării
Forțele ucrainene au lovit uzina Sverdlov - De ce este aceasta ținta numărul 1 și un nod cheie al industriei de apărare a Rusiei? (FOTO/VIDEO)
Decizia „pe jumătate” a lui Trump privind rachetele Tomahawk pentru Ucraina: „Vreau să aflu ce fac cu ele”
Semnale de alarmă de la Bruxelles: Rusia ar lua în calcul efectuarea unui atac asupra NATO, potrivit serviciilor germane de informaţii
Mai câștigi războaie cu tancuri? Achiziția a 216 de tancuri de către România naște controverse iar verdictul îl dă o putere europeană
Foto: Ministerul Apărării Naționale (MApN)
EXCLUSIV
Rezerva operatională a României: Între patriotismul trădat și nevoia de modernizare
Hățișul birocraţiei europene ţine pe loc trenurile NATO cu ajutor pentru Flancul Estic. Un general francez trage semnalul de alarmă
Rușii își refac forțele care luptă în Ucraina: Un nou lot de bombardiere de front de tip Su-34, livrat. E al cincilea lot livrat în 2025
Valul de drone "cu întrebuințare militară" care paralizează Europa: De la München la bazele NATO, o nouă fază a războiului hibrid
Sursă foto: Cybercommand.ro
EXCLUSIV
Un raport oficial dezvăluite o mare problemă de securitate națională în România: Digitalizarea, tratată ca anexă tehnică și birocratică, nu ca prioritate de securitate națională
US Army, prezentă la o paradă militară în Polonia. Sursă foto: Ministerul Apărării de la Varșovia
EXCLUSIV
Asul din mânecă și norocul României? Trei motive cruciale pentru care SUA nu se vor retrage din România
„Dormiți liniștiți, nu ne provocați”: Strategia lui Vladimir Putin de descurajare a statelor europene se rezumă la ameninţări cu atacuri iminente
Tomahawk vs. ,,tigrul de hârtie'': De ce aleg acum Statele Unite să încurajeze Ucraina să lovească în inima sistemului rusesc de rafinării
Un general eston explică de ce doborârea avioanelor rusești MiG-31 ar fi fost o greşeală strategică: Analiza incursiunilor Rusiei și riscul de escaladare
Punctul de cotitură al noului război hibrid. Cum ,,flota din umbră'' a Rusiei a forțat NATO să iasă ,,la vânătoare'' în Marea Baltică
Trupele ruse și-au intensificat atacurile aeriene în luna septembrie: Peste 5.600 de drone și 185 de rachete au vizat ținte de pe teritoriul Ucrainei

Ştiri Recomandate

Adio F-35, bun venit Typhoon: Turcia semnează cu Marea Britanie contractul pentru 20 de avioane Eurofighter
,,Războiul Rece al AI'' se joacă acum pe piața neagră: China continuă să folosească cipuri Nvidia H100 pentru dezvoltarea unor drone militare autonome
Războiul definit de software: Viitoarele conflicte militare se vor purta între roiuri de drone "pilotate de algoritmi"
Armata ucraineană demontează falsul rusesc despre ocuparea localității Rodînske (Video)
Polonia, ''uzina NATO'' pentru un nou tip de rachete: Industria poloneză de apărare devine producătorul rachetelor de croazieră americane Barracuda-500
Burevestnik: De ce „arma invincibilă” a Rusiei este, de fapt, un bluff radioactiv și un pericol global
Backup dacă SUA se retrag: O nouă „uniune nucleară” în Europa, pentru descurajarea Rusiei? Marea Britanie și Germania trebuie să aibă o strategie nucleară comună
Rachete chinezești cu tehnologie americană? China, suspectată că și-a îmbunătățit rachetele PL-15 cu ajutorul informațiilor sustrase din SUA
ROMARM începe să respire în sfârșit: Offset în programul K9, dar și discuții despre retehnologizare, producție, muniție și arme pentru Armată și MAI, pe agendă în Coreea
Vânători de Shahed. SUA au reprofilat avioane de atac la sol A-10 Thunderbolt II pentru misiuni de combatere a dronelor
Bizar: Un avion F/A18 și un elicopter MH-60R Sea Hawk de pe portavionul american USS Nimitz s-au prăbușit în două incidente separate la 30 de minute distanță
Norvegia avertizează că Rusia își consolidează flota nucleară în apropierea Cercului Arctic
Mesaj pentru Trump: Bombardiere chineze H-6K au survolat împrejurimile Taiwanului, chiar înainte de întrevederea președintelui SUA cu Xi
Rafale F5 e „noul avion” al Franței, cu motoare mai puternice. Planul B după ce ruptura de Germania în avionul viitorului de generația a 6-a e mai mare decât părea
Ucraina pune presiune pe capitala Rusiei și atacă cu drone Moscova: Două aeroporturi închise azi noapte, mai multe explozii în Moscova
Cel mai mare cumpărător de petrol din Rusia găsește un nou zăcământ gigantic
Rusia acuză o „tentativă titanică” de a sabota dialogul ei cu SUA și „pacea” în Ucraina
HIMARS hipersonic. SUA vor avea o rachetă hipersonică care să poate fi utilizată de sistemele HIMARS actuale
Sistemul rusesc de detecție a eșuat din nou: Minus trei radare și o navă de debarcare, după un atac ucrainean în Crimeea
Noi tensiuni la frontiera NATO. După "schema migranții", Belarusul scapă baloane peste graniță. Lituania ar putea opri tranzitul către Kaliningrad
SUA au împânzit coasta Venezuelei cu o întreagă flotă: După portavionul Gerald Ford, în regiune ajunge și un distrugător din clasa Arleigh Burke cu sistem anti-rachetă Aegis
Situația din Donețk devine critică: Jumătate din atacurile rusești se concentrază pe direcția Pokrovsk
Industria de apărare din Rusia încetinește. Noile date nu arată deloc bine pentru Kremlin
Rușii spun au încheiat testele rachetei "Burevestnik" cu propulsie nucleară
Cambodgia și Thailanda au ajuns la un nou armistițiu. Acordul, mediat de Trump
Kievul este din nou ținta atacurilor teroriste rusești
SUA își mențin prezența în Marea Neagră: O dronă de recunoaștere RQ-4B a monitorizat activitățile militare rusești din zonă
Gripen, aproape de un moment istoric: "Contăm pe 150 de avioane" și primul ajunge anul viitor, spune Kievul; SAAB va produce 20-30 de unități pe an
Trump nu se va întâlni cu Putin fără un acord de pace. Nu vrea să-și piardă timpul
Croația reintroduce serviciul militar obligatoriu. Două luni de pregătire militară sau patru luni de serviciu civil
Ziua Armatei României. Moșteanu: Continuăm investițiile în echipamente militare, dar cea mai importantă investiție rămân militarii
Trei chinezi arestați în Georgia când încercau să cumpere uraniu
pixel