Utfordringer med kunstig intelligens og sikkerhet

I de siste årene har det vært en dramatisk økning i interessen for kunstig intelligens, ikke minst etter lanseringen av store språkmodeller som ChatGPT for mindre enn to år siden. Kunstig intelligens har blitt tatt i bruk mange aspekter av “det virkelige liv”, som tolkning av røntgenbilder i Helse Sør-Øst.

Hva har så dette med sikkerhet å gjøre? Det er tre hoveddimensjoner:

  • Kunstig intelligens for sikkerhet – bruk av kunstig intelligens for forbedret deteksjon av skadevare, inntrengning, osv.
  • Ondartet kunstig intelligens – bruk av kunstig intelligens til å angripe både konvensjonelle systemer (f.eks. som en del av skadevare) og andre systemer som bruker kunstig intelligens
  • Sikkerhet for kunstig intelligens – forsterkning av systemer som bruker kunstig intelligens slik at de er beskyttet mot ondsinnet påvirkning

Det er en viss grad av overlapp mellom disse, men i det følgende vil vi fokusere mest på den siste: Sikkerhet for kunstig intelligens.

Vi har identifisert 6 sikkerhetsutfordringer som vi mener bør adresseres i Forskningsrådets satsning på kunstig intelligens til høsten.

Utfordring 1: Oppdatering av trusselmodeller for systemer som bruker kunstig intelligens, både fra annen kunstig intelligens og konvensjonelle metoder

  • Mange forskjellige datatyper
    • En overvekt av dagens sikkerhetsforskning relatert til kunstig intelligens fokuserer bare på bilder, men det er nødvendig å ta også andre former for data i betraktning, og ta høyde for at en angriper kan kombinere forskjellige datatyper.
  • Mange forskjellige paradigmer for kunstig intelligens
    • En overvekt av dagens sikkerhetsforskning fokuserer bare på dype nevrale nett, og overser tradisjonelle algoritmer som brukes i praksis (i mange tilfeller trenger man ikke bruke kunsitg intelligens i det hele tatt når man bare har tilstrekkelig datakraft).
  • Bli bedre kjent med angriperen
    • Sikkerhetsforskning tar i liten grad hensyn til kostnaden forbundet med angrep og forsvar, og hvilke måter trusselen fra kunstig intelligens kan manifesteres i et angrep.
  • Mange forskjellige angrepstyper mot livssyklusen til kunstig intelligens
    • Dagens forskning ser i liten grad på helhetsbildet, men fokuserer på isolerte enkeltstadier i livssyklusen.
  • Sikring av leverandørkjeden til kunstig intelligens
    • Det er for lite fokus på beskyttelse av immaterielle rettigheter, og beskyttelse mot sårbarheter i hvert ledd av kjeden.

Utfordring 2: Kunstig intelligens i den virkelige verden

  • Vurdering av konsekvenser og gjennomførbarhet av trusler relatert til kunstig intelligens i den virkelige verden
    • Det er i dag i liten grad eksperimenter på virkelige systemer med kunstig intelligens, men forskere utfører i stedet angrep på “hjemmelagde” løsninger.
  • Ta hele kjeden til systemer med kunstig intelligens i betraktning
    • Det er i dag utfordrende å gjenskape hele kjeden, ettersom de forskjellige elementene ikke er offentlig tilgjengelige.

Utfordring 3: Den menneskelige faktor

  • Manglende vurdering av konsekvenser av trusler fra kunstig intelligens på mennesker
    • Dagens forskning tar i liten grad høyde for å studere hvordan mennesker reagerer på potensielt uriktige resultater fra kunstig intelligens

Utfordring 4: Konseptglidning

  • Ettersom miljøer utvikler seg, kan systemer med kunstig intelligens oppleve tilsvarende evolusjon, med degradering av sikkerhetsegenskaper som en mulig konsekvens
    • Dagens sikkerhetsforskning fokuserer primært på systemer med kunstig intelligens som må læres opp med datasett, men i framtiden må det også forskes på systemer som er selv-lærende.
  • Maskinlæringssystemer er iboende probabilistiske, slik at hvis man dytter samme data inn to ganger, vil man ikke få samme resultat
    • Vi trenger nye testmetoder som bedre kan detektere bevisste forsøk på misbruk.

Utfordring 5: Overføringsverdi av angrep

  • Trusler relatert til kunstig intelligens kan være overførbare til andre modeller
    • Vi trenger mer forskning på i hvilken grad angrep kan overføres til andre maskinlæringsmodeller. Når maskinlæringsmodeller trenes i et miljø og så rulles ut i et annet miljø, kan eventuelle uønskede bivirkninger også overføres, f.eks. via forgiftede forhåndstrente modeller.

Utfordring 6: Samvirke og avveininger mellom sikkerhet og prinsipper for tillit til kunstig intelligens

  • Tiltro til kunstig intelligens er basert på en blanding av flere forskjellige prinsipper (trygghet og pålitelighet; personvern og styring av databruk; rettferdighet og ikke-diskriminering; samfunnsmessig og miljømessig velvære; mulighet til å utfordre resultater; ansvarlighet; transparens og forklarbarhet)
    • Dagens forskning fokuserer i stor grad på å vurdere prinsippene hver for seg.
  • Hvordan kan vi kvantifisere og adressere sosiale og sosio-tekniske trusler?
    • F.eks. for motvirkning av spredning av feilinformasjon, “deepfakes”, bevaring av individuelle rettigheter og samfunnsmessige verdier

Vi tar gjerne utfordringen!

Vi har allerede identifisert mange konkrete forskningsmål for å svare på disse utfordringene, og har som ambisjon å bidra til minst ett av de forespeilede forskningssentrene innen kunstig intelligens. Følg med utover høsten!

Med bidrag fra Ravi Borgaonkar m.fl.

Illustrasjon av https://midjourney.co/generator