De Oluwapelumi BankoleCercetător, Sisteme Informaționale & Securitate Cibernetică, Universitatea din Nevada, Las Vegas
În fiecare dimineață, milioane de americani se trezesc în case pline de dispozitive conectate. Termostatul știe când pleci. Camera video de la ușă îți supraveghează strada. Spitalul de pe stradă folosește pompe de perfuzie, monitoare pentru pacienți și sisteme HVAC care comunică prin aceeași categorie de rețea ca frigiderul tău inteligent. Și aproape niciunul dintre aceste dispozitive nu este protejat corespunzător.
Am construit o infrastructură extraordinară de mașini conectate și o apărăm cu instrumente concepute pentru o altă eră.
Aceasta nu este o problemă de conștientizare. Securitatea cibernetică este o prioritate federală de top. Agenția pentru Securitate Cibernetică și Infrastructură (CISA) publică avize săptămânal. Miliarde de dolari curg în firewall-uri de întreprindere, protecție endpoint și centre de operațiuni de securitate. Și totuși, suprafața de atac continuă să crească. Începând cu 2024, doar rețeaua electrică din SUA găzduiește peste 2,3 milioane de dispozitive IoT conectate, multe rulând firmware învechit fără program de actualizare și fără monitorizare.
Decalajul nu este între ceea ce știm și ceea ce ne temem. Decalajul este între sistemele de securitate pe care le-am construit și mediile în care aceste sisteme trebuie efectiv să funcționeze.
Laboratorul Nu Seamănă Deloc cu Lumea Reală
Sistemele de detectare a intruziunilor, software-ul conceput pentru a semnala activitatea malițioasă într-o rețea, s-au îmbunătățit dramatic în ultimul deceniu. Modelele de învățare automată și învățare profundă pot acum identifica modele de atac cu o acuratețe remarcabilă în setări de cercetare. Arhitecturi transformer împrumutate din procesarea limbajului natural, rețele de memorie pe termen lung scurt antrenate pe date de trafic secvențiale, modele de ansamblu care combină clasificatori multipli: literatura academică este plină de sisteme care ating 98 sau 99 la sută acuratețe.
Aceste cifre sunt adesea înșelătoare.
Cifra de acuratețe provine de obicei dintr-un set de date de laborator, colectat în condiții controlate, cu distribuții de trafic relativ curate și testat pe același tip de date pe care modelul a fost antrenat. Rețelele IoT reale nu arată așa. Sunt haotice, eterogene și în continuă schimbare. Dispozitive de la o duzină de producători trimit date în formate diferite. Modelele de trafic se schimbă când cineva instalează un nou aparat, își schimbă rutina sau pur și simplu pleacă pentru o săptămână. Și, în mod critic, atacurile reale sunt evenimente rare într-o mare de trafic normal.
Când un model este antrenat pe un set de date în care atacurile reprezintă 40 la sută din înregistrări, apoi implementat pe o rețea unde atacurile reprezintă 0,1 la sută din traficul real, comportamentul modelului se schimbă complet. Nu a învățat niciodată cum arată raritatea genuină. Rezultatul este un sistem care ratează exact amenințările pe care a fost construit să le prindă, generând în același timp suficiente alarme false pentru a copleși analiștii care trebuie să le revizuiască.
Problema Dezechilibrului de Clase Nu Este o Notă de Subsol
În comunitatea de cercetare, neconcordanța dintre datele de antrenament și condițiile din lumea reală poartă un nume tehnic: dezechilibru de clase. Este bine înțeles, studiat activ și în mod constant subevaluat de organizațiile care implementează aceste sisteme.
Iată problema principală. Un sistem de detectare a intruziunilor în rețea trebuie să clasifice fiecare pachet sau flux de trafic fie ca normal, fie ca malițios. În realitate, marea majoritate a traficului este normală. Traficul de atac este clasa minoritară, reprezentând uneori mai puțin de un procent din toate evenimentele observate. Modelele standard de învățare automată, optimizate pentru a maximiza acuratețea globală, învață rapid că cea mai bună strategie este să clasifice aproape totul ca normal. Această strategie produce scoruri excelente de acuratețe. Produce rezultate catastrofale în lumea reală.
Un sistem care ratează 80 la sută din atacuri pentru că a fost antrenat să favorizeze clasa majoritară nu este un sistem de securitate. Este o bifă de conformitate.
Cercetarea tehnicilor precum Adaptive SMOTE, care generează exemple sintetice de atacuri de clasă minoritară pentru a ajuta modelele să învețe cum arată amenințările rare, a arătat o promisiune reală. Dar aceste abordări trebuie implementate cu grijă, testate împotriva seturilor de date care reflectă efectiv condițiile de implementare și evaluate pe metricile potrivite. Recall, procentul de atacuri reale pe care sistemul le prinde efectiv, contează mult mai mult decât acuratețea globală atunci când consecințele unei detectări ratate sunt o infecție ransomware la un spital sau o injectare de date false în sistemul de control al unei utilități.
Problema Multidimensională pe Care Nimeni Nu Vrea să o Rezolve
Există o problemă conexă care primește și mai puțină atenție: cum decidem dacă un sistem de detectare a intruziunilor este suficient de bun pentru a fi implementat.
Majoritatea evaluărilor aleg una sau două metrici și le optimizează. Acuratețea este comună. Scorul F1 este popular în lucrările academice. Dar o implementare IoT din lumea reală necesită echilibrarea simultană între cel puțin patru dimensiuni concurente: acuratețea detectării, eficiența computațională, rata fals pozitivă și adaptabilitatea la noi tipuri de atacuri.
Un sistem care detectează 99 la sută din atacurile cunoscute, dar consumă mai multă putere de procesare decât dispozitivul IoT pe care îl protejează, nu este un sistem implementabil. Un sistem care funcționează eficient, dar generează zece alarme false pentru fiecare amenințare reală, creează o oboseală de alertă atât de severă încât analiștii încetează să investigheze. Un sistem optimizat pentru taxonomia actuală a atacurilor care nu se poate adapta când adversarii își schimbă tacticile este un sistem cu o dată de expirare cunoscută.
Absența unui cadru de evaluare multidimensional partajat înseamnă că organizațiile care achiziționează sau implementează sisteme de detectare a intruziunilor nu pot face comparații semnificative. Un furnizor poate revendica rate de detectare de top în industrie în timp ce optimizează discret pentru o metrică care arată bine într-o demonstrație și eșuează în producție.
Ce Trebuie să se Schimbe
Calea de urmat necesită reducerea distanței dintre ceea ce construiesc cercetătorii și ceea ce operatorii implementează efectiv.
În primul rând, comunitatea de cercetare trebuie să evalueze sistemele de detectare a intruziunilor împotriva distribuțiilor de trafic realiste, nu doar a seturilor de date de referință echilibrate. Testarea împotriva CIC-IDS2017 sau NSL-KDD cu configurații implicite produce cifre care sunt esențial fictive comparativ cu cum arată o rețea spitalicească reală sau o rețea electrică inteligentă.
În al doilea rând, organizațiile care implementează aceste sisteme trebuie să solicite dovezi de performanță multidimensională înainte de achiziție. Doar rata de detectare nu este suficientă. Cereți rate de fals negative pentru categorii de atacuri rare. Cereți date de performanță sub bugete computaționale limitate. Întrebați cum funcționează sistemul șase luni după implementare, când modelele de trafic s-au schimbat.
În al treilea rând, și cel mai urgent, agențiile federale responsabile de protejarea infrastructurii critice trebuie să stabilească standarde minime de evaluare pentru detectarea intruziunilor bazată pe AI. CISA și NIST au produs cadre excelente. Traducerea acestor cadre în criterii de performanță specifice și testabile pentru sistemele de securitate IoT este următorul pas.
Dispozitivele conectate nu vor dispărea. Atacatorii care le investighează nu se duc nicăieri. Întrebarea este dacă sistemele pe care le construim pentru a le proteja sunt efectiv construite pentru lumea în care aceste sisteme vor funcționa sau pentru lumea în care am fi dorit să trăim când am scris datele de antrenament.
Oluwapelumi Bankole este cercetător în sisteme informaționale și securitate cibernetică la Universitatea din Nevada, Las Vegas, unde munca sa se concentrează pe detectarea intruziunilor bazată pe AI pentru rețele IoT și cloud. Deține un masterat dual în Sisteme Informaționale de Management și Securitate Cibernetică.
