Kunstig Intelligens (KI) har vært et stort tema de siste årene med inntoget av ChatGPT, Copilot, og MidJourney for tekst- og bildegenerering. Ifølge Forbes forventes KI-markedet å nå 407 mrd ved inngangen av 2027. Bruk av KI øker drastisk og investeringsviljen er stor innenfor dette. Flere virksomheter bruker KI for små og store oppgaver, og det forventes store omveltninger i flere sektorer.
Likevel er det ikke kun muligheter med KI-systemer. Blant annet hadde Uber første dødelige ulykke med selvkjørende bil i 2018. Vedkommende som satt bak rattet, ble dømt for uaktsomt drap som følge av ulykken. Amazon har også laget flere KI-verktøy som har hatt uheldige konsekvenser. Et ansiktgjenkjenningsverktøy designet av dem matchet kongressmedlemmer med bilder av fengselsinnsatte (“mugshots”). De har tidligere også hatt problemer med utviklingen av rekrutteringsverktøy som favoriserte menn til nye stillinger.
Hva er egentlig AI?
KI er et samlebegrep som har blitt brukt om dyp læring (DL) og maskinlæring (ML). Begrepet har blitt brukt helt siden 1950-tallet, men det var stort sett ved å programmere inn enkle regler basert på logikk for en oppgave. Utover 1990-tallet ble statistisk læring introdusert under navnet maskinlæring. Slik læring er god på å gjenkjenne mønstre og avvik, men uten at man nødvendigvis har gode måter å beskrive fenomener. I senere tid har man også vært vitne til dyp læring og nevrale nettverk. Nevrale nettverk prøver å simulere den samme type aktivitet som ligger i den menneskelige hjernen ved hjelp av den menneskelige hjernen ved hjelp av å bearbeide flere lag med informasjon. I likhet med hjernen, vil samme spørsmål gi ulike svar. I kombinasjon med økt mengde data og beregningskraft har feltet innenfor KI, ML og DL lagt grunnlaget for generativ KI.
Hvordan er KI og cybersikkerhet koblet sammen?
KI og cybersikkerhet er koblet sammen på tre ulike måter:
The good: I KI for cybersikkerhet brukes KI som et verktøy for å sørge for at systemer blir bedre sikret for cybersikkerhet. Det tar mindre tid, den kan analysere mer i et komplekst miljø og klarer i større grad å gjenkjenne mønstre som mennesket ikke ser. Sånn vi kan bruke KI på den «gode» måten. KI for cybersikkerhet bidrar til å styrke cybersikkerhet ved å gi smartere deteksjon, raskere respons og proaktivt forsvar. Det ser vi allerede et storstilt bruk av nå, med blant annet innbruddsdeteksjon (IDS) for unormal trafikk. Den kan eksempelvis trenes på signaturer typisk for skadevare for å undersøke om de finnes i nettverket1.
The bad: Ondsinnet KI kan gjøres på to måter: ved ondsinnet bruk av KI og ondsinnet misbruk av KI. Førstnevnte brukes til å øke effekten av cyberangrepene (“som verktøy”) mens ondsinnet misbruk endrer evnene til KI, slik at systemet ikke fungerer som tiltenkt (“som angrepsmål”). Det øker frekvensen og minsker tiden det tar for å utføre cyberangrep betydelig. Dette er altså «dårlig» bruk av KI. Det finnes allerede flere eksempler hvor KI har blitt brukt med ondsinnet hensikt. Blant annet ble Ferraris administrerende direktør utsatt for deep fake scam under en samtale, hvor angripere hadde kopiert stemmen hans. Forskning har også utført forsøk på “adversarial perturbation”. Da endres verdier nede på pikselnivå på dataen man sender inn for å lære opp modellen. Endrede pikselverdier fører til at klassifiseringen bli feil fordi KI-modellen ikke lenger klarer å klassifisere bildet korrekt. Angripere kan altså legge inn forstyrrelser i treningsdataen til KI systemene allerede i designfasen, som kan gi store konsekvenser ved bruk.
The ugly: Den siste delen handler om cybersikkerhet for KI. Hvordan skal vi beskytte KI systemer mot angrep? Her handler det om å sette søkelys på å designe sikre, trygge og rettferdige KI systemer, som blant annet kan gi pålitelige svar, hindre favorisering av enkelte grupper og at den driftes forsvarlig. Denne delen er en del av fagfeltet som er “ugly” for øyeblikket. Vi har identifisert flere utfordringer som bør bli addressert av fagmiljøene i de kommende AI forskningssentrene mot høsten.
Hvordan kan man sikre KI-systemer?
Det finnes allerede flere databaser med informasjon som kan bidra til en god risikohåndtering av KI-systemer:
- MITRE ATLAS er en kunnskapsdatabase basert på taktikker og teknikker fra virkelige hendelser, og forskning.
- MIT Al Risk repository er en omfattende database som identifserer over 1600 risiko knyttet til KI basert på årsak og risikodomene.
- NIST AI RMF er et rammeverk for risikohåndtering av KI systemer ved bruk av fire funksjoner: Measure, Manage, Map og Govern som mapper de ulike risikoene. De har også lansert en plattform som evaluerer karakteristikkene til en KI-modell mot AI trustworthiness for Measure funksjonen.
KI har kommet for å bli, og man vil se en økning av det også i kritiske applikasjoner og safety-kritiske systemer, hvor KI i større grad vil ta egne beslutninger. Både forsvarere og angripere av digital infrastruktur vil bruke KI som et verktøy. Likevel er det også viktig å forstå hvordan KI kan bli et angrepsmål ved utvikling og bruk. Preventive tiltak er nødvendig for å forutse de fremtidige bevegelsene til angripere og de ulike måtene et system kan bli utnyttet.
Trenger du hjelp og veiledning? Ta kontakt med oss for et uforpliktende møte.
- Det finnes en kunnskapsdatabase over KI-hendelser: https://incidentdatabase.KI/ ↩︎