Når maskinene blir smartere, blir mennesket viktigere

Hva kan norsk forskning på autonomi og menneske-maskin-samspill lære Forsvaret?

Kunstig intelligens og autonome systemer er i ferd med å endre hvordan moderne militære operasjoner planlegges og gjennomføres. Krigen i Ukraina har vist hvor raskt ubemannede luftsystemer, maritime droner, avanserte sensorer og AI-baserte beslutningsstøttesystemer har blitt en integrert del av moderne krigføring. Samtidig investerer NATO-land betydelige ressurser i å utvikle nye kapasiteter basert på kunstig intelligens og autonomi.

Teknologien skaper nye muligheter for raskere beslutninger, bedre situasjonsforståelse og mer presis bruk av militær makt. Men den reiser også et grunnleggende spørsmål:

Når maskinene blir stadig smartere, hvordan sikrer vi at mennesket fortsatt har reell kontroll?

Dette spørsmålet står sentralt i forskningsprosjektet MIDAS – Mennesket i fremtidens havromsoperasjoner, og i boken Safety by Design: Human-Centered Approaches to AI, Automation, and Remote Operations. Boken er redigert av Frøy Birte Bjørneseth, Stig Ole Johnsen, Ole Andreas Alsos, Vidar Hepsø og Gunhild Birgitte Sætren, og samler forskning og praktiske erfaringer fra MIDAS og flere norske og internasjonale fagmiljøer innen utvikling av autonome, fjernstyrte og AI-baserte systemer i sikkerhetskritiske operasjoner.

Jeg skriver denne artikkelen med utgangspunkt i arbeidet med å formidle norsk forskning og erfaring på dette området. Som informasjonsansvarlig og representant for Ocean Autonomy Cluster i MIDAS-prosjektet har jeg fulgt prosjektet og arbeidet med å gjøre kunnskapen fra forskningen tilgjengelig for et bredere publikum. Artikkelen er derfor ikke en bokanmeldelse, men en formidling av noen av problemstillingene og erfaringene fra MIDAS og Safety by Design som jeg mener er særlig relevante for Forsvaret.

Selv om MIDAS har sitt utgangspunkt i havromsoperasjoner, henter boken erfaringer fra flere sikkerhetskritiske sektorer. Problemstillingene er derfor høyst relevante også for Forsvaret.

Autonomi handler ikke om å fjerne mennesket

Debatten om kunstig intelligens dreier seg ofte om hvor mye som kan automatiseres. Kan algoritmer analysere raskere enn mennesker? Kan autonome systemer overta oppgaver som tidligere krevde menneskelige vurderinger?

Safety by Design peker på at dette er de feil spørsmålene å starte med.

Den største utfordringen er ikke å utvikle stadig mer avansert kunstig intelligens. Den største utfordringen er å utvikle systemer der mennesker og teknologi utfyller hverandre på en måte som gir bedre beslutninger, høyere sikkerhet og økt operativ effekt.

Derfor står begrepet Meaningful Human Control, meningsfull menneskelig kontroll, sentralt i boken.

Det er ikke tilstrekkelig at et menneske formelt er plassert i en beslutningssløyfe. Dersom operatøren ikke forstår systemets vurderinger, ikke får relevant informasjon i tide eller ikke har reell mulighet til å gripe inn, er den menneskelige kontrollen i praksis begrenset. Meningsfull kontroll forutsetter at mennesker har tilstrekkelig forståelse av situasjonen, innsikt i systemets begrensninger, nødvendig myndighet til å handle og faktisk mulighet til å påvirke utfallet.

Begrepet har også fått en tydelig forankring i NATO. I rapporten Human Systems Integration for Meaningful Human Control Over AI-Based Systems (2) beskrives meningsfull menneskelig kontroll som en egenskap ved hele systemet, fra kravstilling og anskaffelse til design, testing, trening, operativ bruk og kontinuerlig læring. Rapporten understreker at menneskelig kontroll ikke kan legges til mot slutten av utviklingsløpet. Den må bygges inn fra starten gjennom systematisk Human Systems Integration og menneskesentrert design.

Det er nettopp dette Safety by Design viser hvordan kan gjøres i praksis. Gjennom Human Factors Engineering, oppgaveanalyse, brukermedvirkning, prototyping, simulering og kontinuerlig læring beskriver boken hvordan autonome systemer kan utvikles slik at de styrker, og ikke svekker, menneskelig beslutningsevne.

Dette representerer et viktig skifte i hvordan autonomi bør forstås. Målet er ikke å utvikle systemer som erstatter mennesker, men systemer som gjør mennesker bedre i stand til å ta riktige beslutninger under krevende operative forhold.

Denne erkjennelsen er like relevant på broen til et autonomt fartøy som i et luftvernssystem, et operasjonssenter eller en militær kommandoplass. Jo mer avansert teknologien blir, desto viktigere blir menneskets evne til å forstå situasjonen, vurdere informasjonen og ta ansvar når beslutninger skal fattes.

Lærdommen fra KNM Helge Ingstad

Havariet til KNM Helge Ingstad i 2018 illustrerer hvorfor samspillet mellom mennesker, teknologi og organisasjon er avgjørende i komplekse systemer. Ulykken kan ikke forklares med én enkelt feil. Havarikommisjonens undersøkelser viste at hendelsen oppsto gjennom et samspill mellom flere faktorer: dårlig design, situasjonsforståelse, kommunikasjon, arbeidsprosesser, tekniske systemer og organisatoriske forhold.

Poenget er ikke at mer autonomi ville forhindret ulykken. Lærdommen er en annen: Teknologi fungerer aldri isolert. Sikkerhet og operativ effekt oppstår i samspillet mellom mennesker, systemer og organisasjon.

Denne erkjennelsen er særlig relevant når Forsvaret tar i bruk stadig mer avanserte AI-baserte og autonome systemer. Fremtidens operatør vil i mindre grad styre alle funksjoner direkte og i større grad overvåke, forstå og gripe inn når systemene møter situasjoner de ikke håndterer. Det stiller nye krav til hvordan systemene utvikles. Teknologien må utformes slik at mennesker forstår hva den gjør, hvorfor den gjør det, og når det er nødvendig å overstyre den.

Det er nettopp denne tankegangen som ligger til grunn for Safety by Design. Operativ sikkerhet og effekt skapes ikke først og fremst gjennom mer avansert teknologi, men gjennom systemer som er utviklet med utgangspunkt i brukerbehov, menneskelige forutsetninger, arbeidsprosesser og beslutningsbehov.

Ukraina viser hvorfor mennesket fortsatt er avgjørende

Krigen i Ukraina har gitt verden et unikt innblikk i hvordan kunstig intelligens, sensorer og ubemannede systemer endrer moderne krigføring. Droner brukes til rekognosering, målangivelse, logistikk og direkte bekjempelse. Sensorer, satellittdata og AI-baserte analyser gjør det mulig å identifisere mål og reagere raskere enn tidligere.

Likevel viser erfaringene fra Ukraina at teknologi alene ikke avgjør utfallet. Den militære effekten oppstår når teknologi, organisasjon og mennesker fungerer sammen.

En drone er ikke en militær kapasitet i seg selv. Den blir en kapasitet når operatøren forstår situasjonen, tolker informasjonen riktig og tar gode beslutninger under tidspress. Det samme gjelder kunstig intelligens. AI kan analysere store datamengder og identifisere mønstre langt raskere enn mennesker, men den kan ikke alene forstå den operative konteksten, håndtere usikkerhet eller vurdere de taktiske, juridiske og etiske konsekvensene av å bruke militær makt.

Det ansvaret ligger fortsatt hos mennesker.

Samtidig er det viktig å huske at mennesker står i begge ender av teknologien. Bak en autonom eller fjernstyrt kapasitet sitter det mennesker som vurderer informasjon og tar beslutninger om bruk av dødelig makt. På den andre siden står det mennesker som er målet for disse beslutningene, soldater som skal bekjempes, og i verste fall sivile som kan bli rammet.

Autonome systemer endrer derfor ikke det grunnleggende ved krig. Det er fortsatt mennesker som beslutter å bruke dødelig makt mot andre mennesker. Teknologien kan støtte beslutningen, forbedre situasjonsforståelsen og øke presisjonen, men den kan ikke overta det menneskelige ansvaret.

Droneteknologien har samtidig endret forholdet mellom fysisk avstand og menneskelig nærhet. Operatøren kan befinne seg hundrevis av kilometer fra stridsområdet, men følge enkeltmennesker på bakken gjennom høyoppløselige sanntidsbilder, både før, under og etter et angrep. Den geografiske avstanden øker, mens den visuelle og mentale nærheten til konsekvensene av beslutningen ofte blir større.

Dette understreker hvorfor diskusjonen om autonomi ikke først og fremst handler om teknologi, men om mennesker. Jo mer avanserte systemene blir, desto større blir behovet for operatører som forstår teknologien, kan utfordre dens anbefalinger og tar ansvar for beslutningene som fattes. Det er også den sentrale konklusjonen i Safety by Design: Når teknologien blir mer avansert, blir behovet for meningsfull menneskelig kontroll større, ikke mindre.

Teknologien er ikke den vanskeligste delen

Det er lett å tro at den største utfordringen ligger i å utvikle stadig mer avanserte AI-modeller. Erfaringene viser imidlertid at den virkelige utfordringen ofte er å få teknologien til å fungere i reelle arbeidsprosesser.

Dette gjelder ikke bare i forsvarssektoren. En analyse fra MIT (3) av innføringen av generativ kunstig intelligens fant at bare om lag fem prosent av de undersøkte initiativene hadde dokumentert tydelige, målbare gevinster. Blant forklaringene var svak tilpasning til arbeidsflyt, utilstrekkelig læring fra bruk og resultater og mangelfull integrasjon i organisasjonen. 

For forsvarssektoren kan konsekvensene av slike svakheter være langt mer alvorlige enn manglende økonomisk gevinst. De kan føre til redusert operativ effekt, feil situasjonsforståelse, sikkerhetsrisiko og uklare ansvarsforhold. Innføring av kunstig intelligens bør derfor ikke starte med spørsmålet om hvilken algoritme som er best, men med en analyse av oppgavene som skal løses, beslutningene som skal tas, informasjonen operatørene trenger og hvilke feil som kan oppstå under krevende operative forhold.

Dette er også den gjennomgående tilnærmingen i Safety by Design. Boken bygger på mange års forskning og praktisk erfaring og argumenterer for at utviklingen av AI-baserte systemer må ta utgangspunkt i menneskene som skal bruke dem. Teknologi må tilpasses oppdraget, arbeidsprosessene og organisasjonen, ikke omvendt.

NASAMS viser hva gode utviklingsprosesser kan gi

Et av de mest interessante eksemplene i Safety by Design er utviklingen av neste generasjon Fire Distribution Centre for NASAMS. Prosjektet tok ikke utgangspunkt i hva teknologien kunne gjøre, men i hva operatørene måtte kunne oppnå under ekstremt tidspress.

Operatører, designere og ingeniører analyserte reelle arbeidsoppgaver, arbeidsflyt, informasjonsbehov, arbeidsbelastning og behovet for felles situasjonsforståelse. Løsningene ble utviklet gjennom observasjoner, oppgaveanalyser, enkle prototyper og tett brukermedvirkning, før de ble testet, forbedret og implementert.

Resultatene var målbare. Etter at operatørene hadde tilpasset seg den nye arbeidsflyten, ble beslutningstidene redusert. Informasjonstettheten i hovedgrensesnittet redusert betydelig. Operatørene beskrev den nye løsningen som mer avansert, men samtidig enklere å lære og bruke. Treffprosenten er nå på 94 % som er svært høyt.

NASAMS er i dag i operativ bruk i Ukraina. Erfaringene viser at systemets styrke ikke bare ligger i sensorer, missiler eller programvare, men i hvordan mennesker under høyt tidspress kan skape situasjonsforståelse, samarbeide og fatte riktige beslutninger.

Dette er et viktig poeng. Den operative gevinsten kom ikke først og fremst fordi systemet fikk mer avansert teknologi. Den kom fordi teknologien ble utviklet rundt menneskelige forutsetninger og operative behov.

NASAMS illustrerer derfor kjernen i forskningen bak MIDAS og Safety by Design. Operativ effekt skapes ikke av kunstig intelligens alene. Den oppstår når teknologi, mennesker og organisasjon utvikles som ett sammenhengende system.

Det er en viktig lærdom også for fremtidige AI-satsinger i Forsvaret. Den største innovasjonen er ikke nødvendigvis den mest avanserte algoritmen, men utviklingsprosessen som sikrer at teknologien faktisk fungerer når den tas i bruk under reelle operative forhold. Det er her Human Factors Engineering og systematisk brukerinvolvering blir avgjørende, ikke som en brems på innovasjon, men som en forutsetning for at innovasjonen skal gi operativ effekt.

En norsk mulighet

Forskningen bak MIDAS og Safety by Design viser at Norge har gode forutsetninger for å lykkes med utvikling og innføring av autonome og AI-baserte systemer. Vi har en avansert forsvarsindustri, sterke forskningsmiljøer innen autonomi, Human Factors og menneske-maskin-samspill, lang erfaring fra maritime og andre sikkerhetskritiske operasjoner, og korte avstander mellom operative brukere, industri, forskning og offentlige myndigheter.

Dette kan bli et viktig norsk konkurransefortrinn, men bare dersom brukerne involveres systematisk gjennom hele utviklingsløpet. Soldater, operatører, teknikere og ledere bør ikke først møte systemet når en nesten ferdig løsning skal godkjennes. De må delta fra problemdefinisjon og fordeling av oppgaver mellom mennesker og teknologi, gjennom prototyping og øvelser, til anskaffelse, implementering og kontinuerlig læring fra operativ bruk.

Dette er ikke en brems på innovasjon. Tvert imot reduserer tidlig brukermedvirkning risikoen for feil problemforståelse, kostbare ombygginger, utilstrekkelig opplæring og systemer som fungerer godt i laboratoriet, men dårlig under operative forhold. Gode utviklingsprosesser kan dermed forkorte veien fra en teknologisk idé til en trygg og effektiv operativ kapasitet.

Erfaringene fra Ukraina illustrerer dette tydelig. Nye løsninger utvikles, prøves, forbedres og tas i bruk i et tempo vi knapt har sett tidligere. Operative erfaringer fra soldater og operatører går raskt tilbake til utviklerne, som justerer systemene fortløpende. Innovasjon handler derfor ikke bare om å utvikle ny teknologi, men om å etablere organisasjoner som lærer kontinuerlig av praktisk erfaring.

Denne måten å arbeide på er også i tråd med anerkjente prinsipper for menneskesentrert utvikling, slik de blant annet er beskrevet i ISO 9241-210 (4). Målet er å forstå hvordan arbeidet faktisk utføres, identifisere operative og menneskelige behov, utvikle løsninger sammen med brukerne og forbedre dem gjennom korte læringssløyfer. Testing må ikke bare omfatte normalsituasjoner, men også tidspress, bortfall av kommunikasjon, feilaktig eller usikker informasjon, cyberpåvirkning og andre degraderte eller fiendtlige forhold.

Mennesket er fortsatt den viktigste kapasiteten

Debatten om kunstig intelligens handler ofte om hva maskinene snart vil kunne gjøre. Forskningen bak MIDAS og Safety by Design peker i en annen retning. Det avgjørende spørsmålet er ikke hvor intelligent teknologien blir, men hvordan den påvirker menneskers evne til å forstå situasjoner, samarbeide og ta gode beslutninger.

Det er den gjennomgående lærdommen fra boken. Operativ effekt skapes ikke av algoritmer alene. Den oppstår når teknologi, mennesker og organisasjon utvikles som ett integrert system. Kunstig intelligens kan styrke beslutningsgrunnlaget, øke reaksjonsevnen og redusere arbeidsbelastningen, men bare dersom systemene er utviklet med utgangspunkt i menneskelige forutsetninger og reelle operative behov.

For Forsvaret innebærer dette at investeringer i kunstig intelligens og autonomi må følges av tilsvarende investeringer i menneskelig kompetanse, organisasjonsutvikling og systematisk brukerinvolvering. Det er først når disse elementene utvikles sammen at teknologien kan gi den operative effekten den lover.

MIDAS og Safety by Design gir ikke bare et forskningsbasert rammeverk for hvordan dette kan gjøres. De viser også at en menneskesentrert tilnærming ikke står i motsetning til innovasjon. Tvert imot er den en forutsetning for at ny teknologi skal fungere når den virkelig gjelder.

Når maskinene blir smartere, blir derfor ikke mennesket mindre viktig.Det blir viktigere enn noen gang.

Foto: Ole Andreas Vekve / Forsvaret