Noen personer har bedre forutsetninger for å forutsi om det blir krig mellom Russland og Ukraina. Det finnes også noen måter å predikere på som er mer treffsikre enn andre. I denne artikkelen trekkes det frem en rekke individuelle egenskaper og metoder som ser ut til å henge sammen med prediksjonsevne.
Dette er den andre i en serie på tre artikler som presenterer resultater fra FFIs prediksjonsturnering (2017–2020). Hensikten med turneringen var å undersøke hvor godt det er mulig å forutsi utviklinger av relevans for norsk sikkerhet og hva som kjennetegner personene som treffer best. Alle de foreløpige resultatene er beskrevet i en ny FFI-rapport.[1] Her oppsummeres utvalgte funn. |
Den første artikkelen om resultatene fra FFIs prediksjonsturnering viste hvor vanskelig det er å forutsi internasjonal politikk. Selv eksperter sliter med å treffe bedre enn tilfeldig gjetning på spørsmål som hvorvidt Russland vil invadere Ukraina eller ikke. Dette overskygger samtidig et mer optimistisk funn, nemlig at noen personer, inkludert eksperter, treffer bedre enn andre.
Hvordan kan vi vite hvem vi bør stole mest på? I denne andre artikkelen vil jeg oppsummere hva som kjennetegner deltagerne som treffer bedre enn andre i FFIs prediksjonsturnering.
Arv og miljø i sikkerhetspolitiske prediksjon
På samme måte som personer med høyere intelligens har bedre anlegg for å være gode i sjakk, er det funn som tilsier at noen har bedre forutsetninger for å predikere sikkerhetspolitikk.[2] Disse forutsetningene kan også måles gjennom psykologiske tester, som gjør at vi på forhånd kan identifisere hvem som sannsynligvis vil treffe mer enn andre.
Treffsikkerhet handler imidlertid også om hvordan vi velger å predikere i praksis. Noen måter å forutsi fremtiden på er mer treffsikre enn andre, men det er ikke nødvendigvis dem vi bruker mest. Det er heller ingen sammenheng mellom hvor gode vi tror vi er til å predikere og hvor godt vi faktisk treffer. Alle bør derfor forsøke å bruke de riktige teknikkene, uansett hvem vi er eller kan fra før.
Evne eller flaks?
Er prediksjonsevne en reell evne, som sjakkferdigheter – eller handler det kun om flaks, slik vanskelighetene med å slå tilfeldig gjetning kan gi inntrykk av?
Etter å ha samlet prediksjoner fra over 800 deltagere gjennom tre år tyder resultatene fra FFIs turnering på at treffsikkerhet er en ferdighet. Dette fant vi ut ved å dele deltagerne inn i de 100 beste og 100 dårligste etter at de 25 første spørsmålene var avgjort. Hvis treffsikkerheten var tilfeldig, ville forskjellen mellom gruppene ha jevnet seg ut utover i turnering. Det skjer ikke. Tvert imot treffer de beste deltagerne også best på 109 (87 %) av de 125 påfølgende spørsmålene. Sannsynligheten for at dette mønsteret er tilfeldig, er svært liten (under 0,1 %).[3]
Dette er akkurat det samme funnet som i den eneste tilsvarende turneringen som har blitt gjennomført tidligere, The Good Judgment Project (GJP), som er oppsummert i en egen FFI-rapport.[4] Her fant forskerne også en rekke egenskaper som hang sammen med deltagernes prediksjonsevne, men funnene har aldri blitt etterprøvd av andre.
Noen har bedre forutsetninger enn andre
For å undersøke om de samme sammenhengene finnes i en norsk forsvars- og sikkerhetspolitisk kontekst, ble deltagerne i FFIs turnering målt på de samme egenskapene som i GJP.
Egenskapene bestod av tre kategorier – intelligens, kunnskapsnivå og tenkemåter – som på ulike måter kan være relevante for evnen til å forutsi sikkerhetspolitikk. Innenfor hver kategori finnes det ulike typer egenskaper, der noen korrelerer med treffsikkerheten, mens andre gjør det ikke.
1) Høyere intelligens
Den første kategorien egenskaper var tre typer evner som handler om hvor gode vi er til å tenke:
- Kognitiv kontroll er evnen til å «kontrollere» hjernen slik at vi unngår mentale snarveier som leder til gale svar. Tenk deg at du får følgende oppgave: «Et balltre og en ball koster 1,10 dollar. Balltreet koster 1 dollar mer enn ballen. Hvor mye koster ballen?». De fleste tenker 10 cent, men det er feil.[5] Oppgaven krever at vi tenker oss mer om enn det som faller oss mest naturlig. Evnen til å unngå slike tankefeil henger sammen med bedre treffsikkerhet på flere områder, og kan derfor også gjøre det innenfor sikkerhetspolitikk.[6]
- Tallforståelse handler om hvor godt vi forstår konsepter som prosent og sannsynlighet. På spørsmål om oljepris vil tallkyndige personer ha lettere for å forstå forholdet mellom dagens kurs og variasjoner over tid. Å tenke statistisk er imidlertid ikke naturlig for alle. Deltagerne fikk derfor oppgaver som: «I en skog er 20 % av soppene røde, 50 % brune og 30 % hvite. En rød sopp har 20 % sannsynlighet for å være giftig. En sopp som ikke er rød, har 5 % sannsynlighet for å være giftig. Hva er sannsynligheten for at en giftig sopp i skogen er rød?».[7]
- Abstrakt resonneringsevne handler om evnen til å se regelmessigheter, utlede hypoteser og teste dem. Dette ble målt ved «IQ-test»-lignende oppgaver, der deltagerne måtte finne ut hvilke deler av flere figurer som manglet. I prediksjonssammenheng kan det være relevant å være god til å se regelmessigheter mellom et dagsaktuelt spørsmål, som sannsynligheten for et kupp i Russland, og relevante historiske tilfeller.
Alle disse tre evnene kan sees på som ulike aspekter av samlebetegnelsen «intelligens», men det er spesielt den siste, abstrakt resonneringsevne, som er tettest assosiert med dette begrepet.[8]
Det er imidlertid kun de to første typene – kognitiv kontroll og tallforståelse – som korrelerer med treffsikkerheten i FFIs og GJPs turneringer. Dette tilsier at evnene til å unngå intuitive, gale svar og til å forstå sannsynligheter er en fordel når vi skal forutsi internasjonal politikk. Deltagernes abstrakte resonneringsevne korrelerer derimot bare i GJP, ikke i FFIs turnering, som sår tvil om betydningen av akkurat denne typen intelligens for bedre prediksjonsevne.[9]
Sammenhengen mellom treffsikkerhet og intelligens er interessant, fordi det berører spørsmålet om ferdigheter skyldes arv eller miljø: Er prediksjonsevne medfødt eller noe vi kan trene oss bedre i?
På den ene siden mener noen forskere at det er den usedvanlige høye intelligensen til de aller flinkeste sjakkspillerne i verden som gjør dem så gode.[10] På den andre siden mener andre at, over en viss terskel, er det mengdetrening som betyr mest.[11]GJP fant støtte for det siste synet, fordi korrelasjonen mellom intelligens og treffsikkerhet var sterkere i starten enn på slutten av turneringen. Betydningen av intelligens ble altså mindre etter at deltagerne hadde fått øvd seg på flere spørsmål.
I FFIs turnering er det ingen slik korrelasjon, hverken i starten eller slutten av turneringen. Dette sår også tvil om hvorvidt forskjellene i intelligens kan reduseres gjennom trening – i alle fall innenfor rammen av de spørsmålene deltagerne fikk øve seg på i FFIs turnering.[12]
2) Kunnskap om internasjonal politikk
Den andre kategorien egenskaper var kunnskapsnivå, som handler om hva vi kan. Selv om noen har lettere for å lære enn andre, er ikke faktakunnskap noe en blir født med, men noe som må tilegnes. Det er nettopp eksperters fordypning i f.eks. Russland som gjør at vi tenker de er bedre til å forutsi om landet vil angripe Ukraina.
Kunnskap om internasjonal politikk ble målt ved at deltagerne fikk 50 påstander der de ble bedt om å svare om de mente påstanden var riktig eller feil. Eksempelvis: «I 2018 hadde USA og Russland mer enn 90 % av verdens atomvåpen».
Resultatene tilsier at kunnskapsnivå og treffsikkerhet henger sammen: Jo flere riktige svar på kunnskapstesten, jo bedre treffer deltagerne. Denne korrelasjonen gjelder også innenfor separate temaer, som tilsier at mer detaljkunnskap om temaet som skal predikeres også hjelper.
På den ene siden kan dette fremstå som det motsatte av forrige artikkels funn om at eksperter ikke treffer bedre enn amatører. Funnene er likevel ikke direkte sammenlignbare. Mens sammenligningen av eksperter og amatører baserte seg på hvorvidt deltagerne jobbet med arbeidet med forsvars- og sikkerhetspolitikk eller ikke, undersøker vi her sammenhengen med hvor mye kunnskap deltagerne faktisk hadde, som kanskje er et mer presist mål på ekspertise.
På den annen side styrkes den andre konklusjonen i forrige artikkel, nemlig at områdeeksperter ikke treffer bedre enn andre eksperter. Når vi avgrenser analysen til kun ekspertene forsvinner nemlig alle korrelasjonene mellom treffsikkerhet og kunnskapsnivå, både generelt og innenfor hvert tema. Det er altså fortsatt ingen grunn til å forvente at den ene eksperten treffer bedre enn den andre, bare fordi vedkommende kan mer om de aktuelle temaene.
3) Fordomsfri tenkning
Den tredje kategorien egenskaper handler om hvordan vi tenker. Noen personer er mer tilbøyelige enn andre til å tenke på bestemte måter. Det var spesielt tre tenkemåter deltagerne ble målt på:
- Aktiv fordomsfri tenkning handler om å behandle ulike konklusjoner likt, selv om de går imot våre foretrukne svar. Dette ble målt ved at deltagerne måtte oppgi hvor enig eller uenig de var i påstander som: «Å endre din egen oppfatning er et tegn på svakhet».
- Kognitiv lukking handler om behovet for å trekke konklusjoner raskt, ofte før alle bevis har blitt samlet, og aversjon mot tvetydighet. Dette er en vanlig forklaring på hvorfor en ikke har klart å forutse nært forestående angrep, som 9/11, til tross for at en hadde informasjonen tilgjengelig. Behovet for kognitiv lukking ble målt ved at deltagerne måtte ta stilling til påstander som: «Jeg liker ikke situasjoner som er usikre.».
- Reve- vs. pinnsvintenkning. En tidligere studie av eksperters treffsikkerhet (som jeg har skrevet om tidligere) har vist at det er mulig å skille mellom gode og dårlige eksperter – rever og pinnsvin – basert på hvordan de predikerer. Revene, som traff best, valgte ulike teorier og metoder avhengig av hva de skulle predikere, men pinnsvinene hadde én teori om hvordan internasjonal politikk fungerer som de appliserte på alle spørsmål. Graden av reve- vs. pinnsvintenkning ble målt ved at deltagerne fikk en kort beskrivelse av hver tilnærming og ble bedt om å vurdere hvilken som passet dem best.
Alle disse tre kan sees som ulike aspekter av fordomsfri tenkning om fremtiden. Det er imidlertid kun deltagernes score på testen av aktiv fordomsfri tenkning som korrelerer med treffsikkerheten – både i FFIs og GJPs turneringer. Disse funnene kan således så tvil om betydningen av tenkemåter for treffsikkerheten. I FFIs turnering har vi imidlertid gjort kvalitative undersøker som nyanserer dette.
Prediksjon i praksis
Etter at FFIs turnering var over, spurte vi deltagerne om hvordan de faktisk tenkte når de predikerte.
Selv om deltagernes generelle behov for kognitiv lukking ikke korrelerte med prediksjonsevnen deres, er det en signifikant forskjell mellom treffsikkerheten til dem som praktiserte denne måten å tenke på og ikke. F.eks. traff deltagerne som «baserte seg på det første som slo dem som sannsynlig» dårligere enn dem som ikke gjorde dette. Selv om de fleste deltagerne scoret høyt på aktiv fordomsfri tenkning, var det kun et mindretall som praktiserte dette gjennom å samle informasjon fra flere kilder før de svarte – men de som gjorde det, traff også bedre.
Selv om våre tilbøyeligheter til å tenke på bestemte måter, som behovet for kognitiv lukking, er delvis arvelige, er spesifikk adferd i prediksjonssammenheng ikke det.[13] Unødvendige tankefeil kan motvirkes gjennom konkrete teknikker. De mest treffsikre måtene å predikere på i FFIs turnering var å lete etter informasjon fra flere kilder, tenke over lignende historiske tilfeller med forskjellige utfall, og å bruke «statistiske» tilnærminger som grunnfrekvens, referanseklasser og ekstrapolasjon.
Derimot var bruk av intuisjon («magefølelsen») forbundet med dårligere treffsikkerhet. Dette var ikke bare den vanligste fremgangsmåten i turneringen, men eksperters intuitive vurderinger er kildegrunnlaget som mange fremtidsanalyser baserer seg på.[14]
Forsøk på å ta hensyn til uforutsigbare, overraskende hendelser, som ofte anbefales, hang derimot ikke sammen med treffsikkerheten i det hele tatt. Det gjorde heller ikke det å basere seg på en bestemt teori eller generell oppfatning en hadde fra før, som at verden blir mer eller mindre fredfull.
Det er således relevant å vite nøyaktig hvordan ekspertene som har predikert ulike utfall av dagens konflikt mellom Russland og Ukraina har kommet frem til sine vurderinger.
Muligheter for økt treffsikkerhet i den virkelige verdenen
Heldigvis er det grunn til å tro at de individuelle egenskapene og tenkemåtene som henger sammen med bedre treffsikkerhet i FFIs turnering, også er gyldige i den virkelige verdenen.
For det første samsvarer resultatene med funn fra kognitiv psykologi generelt. Bedre kognitiv kontroll og tallforståelse henger sammen med høyere prestasjonsnivå på helt andre områder, som hukommelse og reaksjonstid.[15] Personer som er gode til å predikere er sannsynligvis også gode på andre ting. I den grad disse evnene er arvelige, kan vi hevde at anlegg for sikkerhetspolitisk prediksjonsevne også er det.
For det andre er metodene som bidrar til treffsikkerhet i FFIs turnering også forbundet med bedre treffsikkerhet i andre situasjoner, som når vi skal estimere tiden det tar å fullføre prosjekter.[16] Magefølelsens begrensede verdi i sikkerhetspolitisk sammenheng er i tråd med tidligere forskning, fordi intuitive vurderinger treffer dårlig i omgivelser preget av stor usikkerhet, som internasjonal politikk. Her skiller sikkerhetspolitikk seg fra sjakk, der spillereglene er kjente og fremtiden er avgrenset til et visst antall trekk. Sjakkens omgivelser gjør det derfor både mulig og fordelaktig med en intuitiv evne til å gjenkjenne ulike situasjoner raskt.[17]
For det tredje ville de fleste deltagerne antageligvis ha truffet bedre i virkeligheten. Deltagerne ble nemlig spurt om hva de ville ha gjort annerledes, hvis de ble bedt om å predikere samme spørsmål i sin virkelige jobb. Flesteparten svarte at de ville ha samlet inn mer informasjon, brukt mer tid på spørsmålene og gjort «grundigere» analyser – altså mer av de tingene som fungerte i turneringen.
Manglende selvinnsikt i egen prediksjonsevne
Samtidig bommet deltagerne antageligvis også mer enn nødvendig, fordi de valgte ulike fremgangsmåter avhengig av hvor godt grunnlag de følte de hadde for å svare.
Deltagerne baserte seg oftere magefølelsen på spørsmål de ikke kunne noe om, mens på spørsmål de følte de hadde litt peiling på, tenkte de seg grundigere om. Det er imidlertid ingen sammenheng mellom hvor godt grunnlag de mente de hadde og hvor godt de faktisk traff. Deltagerne traff like godt på spørsmål hvor de «bare gjettet» som på spørsmål hvor de var «helt sikre».
Samtidig kan det synes som om deltagerne har lært noe om egen prediksjonsevne av å delta i turneringen. Under registreringen ble alle deltagerne bedt om å vurdere sin egen evne til å forutsi sikkerhetspolitiske spørsmål. Halvparten svarte «hverken god eller dårlig», mens en tredel var «litt» eller «ganske» god. Det er imidlertid ingen korrelasjon mellom deltagernes vurderinger av egen prediksjonsevne ved starten av turneringen og hvor godt de faktisk traff.
Etter turneringen ble alle deltagerne bedt om å svare på samme spørsmål på nytt. Hele 60 % av dem hadde endret mening og nå korrelerte plutselig deltagernes vurdering av egen prediksjonsevne med deres faktiske treffsikkerhet. Hvorvidt deltagerne vil ta med seg denne selvinnsikten inn i den virkelige verden vet vi ikke. Det fremstår imidlertid som et godt tips å bruke teknikker forbundet med bedre treffsikkerhet, uansett hvilket grunnlag en selv tror en har for å svare.
Avslutning
Vi vil aldri vite på forhånd hvem som kommer til å treffe på enkeltspørsmål, som hvorvidt Russland vil invadere Ukraina eller ikke, men vi vet noe om hva som kjennetegner personer som treffer bedre på denne typen spørsmål over tid. Treffsikkerheten henger både sammen med delvis arvelige forutsetninger, som intelligens og tenkemåter, men også om hvordan en faktisk velger å predikere. Et spørsmål som må analyseres nærmere er den relative betydningen av det å identifisere «de riktige folkene» og å bruke «de riktige teknikkene».
At noen treffer bedre enn andre betyr imidlertid ikke at de treffer godt nok til at prediksjonene kan ha verdi for beslutningstagere. I tredje og siste artikkel vil jeg derfor diskutere hva som kjennetegner deltagerne som traff aller best, hvor godt de traff i praksis og hvordan vi eventuelt kan bruke dem til å forbedre treffsikkerheten i trusselvurderinger og forsvarsplanleggingen generelt.
[1] Beadle, Alexander W. (2021), ‘FFIs prediksjonsturnering – datagrunnlag og foreløpige resultater’, FFI-rapport 21/00737 (Kjeller: FFI).
[2] Burgoyne, Alexander P. mfl. (2016), ‘The relationship between cognitive ability and chess skill: A comprehensive meta-analysis’, Intelligence, 71, ss. 92–96.
[3] Dette er en forenklet forklaring. Mer spesifikt er det en signifikant forskjell på 0.0001-nivå mellom den gjennomsnittlige treffsikkerheten til de 100 beste og 100 dårligste deltagerne, både i FFIs og GJPs turneringer.
[4] Den mest relevante studiene fra GJP i denne sammenheng er Mellers, Barbara mfl. (2015), ‘The Psychology of Intelligence Analysis: Drivers of Prediction Accuracy in World Politics’, Journal of Experiment Psychology: Applied, 21:1, ss. 1106–1115.
[5] Riktig svar er 5 cent. Oppgaven er hentet fra Frederick, Shane (2005), ‘Cognitive Reflection and Decision Making’, Journal of Economic Perspectives, 19:4, ss. 25–42.
[6] Se f.eks. Moritz, Brent mfl. (2013), ‘Judgmental Forecasting: Cognitive Reflection and Decision Speed’, Production and Operations Management, 23:7, ss. 1146–1160; og Corgnet, Brice mfl. (2021), ‘Forecasting Skills in Experimental Markets: Illusion or Reality?’, Management Science.
[7] Riktig svar er 50 %. Oppgaven er hentet fra Cokely, Edward T. mfl. (2012), ‘Measuring Risk Literacy: The Berlin Numeracy Test’, Judgment and Decision Making, 7:1, ss. 25–47.
[8] Intelligens brukes som en samlebetegnelse om menneskers evner til oppfattelse, tenkning og problemløsning. Det var ikke deltagernes intelligenskvotient (IQ) som ble målt i FFIs turnering, men deltagernes scores på disse tre spesifikke kognitive evnene, som anses som ulike aspekter av det bredere intelligensbegrepet. Abstrakt resonneringsevne omtales også som «induktiv resonneringsevne», «flytende intelligens» eller bare «intelligens».
[9] Det er ingen åpenbar forklaring på de motstridende funnene. Det ble brukt ulike tester i FFIs og GJPs turneringer, men de anses som likeverdige alternativer til å måle flytende intelligens i klinisk sammenheng. Det er ingenting som tyder på at testene ikke ble gjennomført på riktig måte, og resultatene i FFIs turnering blir de samme uansett utvalg og korrelasjonsmål.
[10] Plomin, R., Shakeshaft, N. G., McMillan, A. og Trzaskowski, M. (2014), ‘Nature, nurture, and expertise’, Intelligence, 45, ss. 46–59.
[11] Ericsson, K. A. (2014), ‘Why expert performance is special and cannot be extrapolated from studies of performance in the general population: A response to criticisms’, Intelligence, 45, ss. 81–103.
[12] En mulig forklaring kan være at GJPs analyse er basert på 199 spørsmål, mens FFIs er basert på de 150 spørsmålene som så langt er avgjort. Vi vil derfor analysere sammenhengene på nytt etter at alle de 240 spørsmålene i FFIs turnering er avgjort om et par år.
[13] Ksiazkiewicz, Aleksander mfl. (2016), ‘The Role of Cognitive Style in the Link Between Genes and Political Ideology’, Political Psychology, 37:6, ss. 761–776.
[14] Den anerkjente Delphi-metoden er basert på kontrollert bruk av eksperters «informerte intuitive vurderinger» i prediksjonssammenheng. For mer om de vanligste metodene i fremtidsforskningen, se kapittel 2 i Beadle, Alexander W. (2016), ‘Å forske på Forsvaret i fremtiden – muligheter, begrensninger og kognitive fallgruver’, FFI-rapport 16/01810 (Kjeller: FFI).
[15] Frederick, Shane (2005), ‘Cognitive Reflection and Decision Making’, Journal of Economic Perspectives, 19:4, ss. 25–42; og Cokely, Edward T. mfl. (2012), ‘Measuring Risk Literacy: The Berlin Numeracy Test’, Judgment and Decision Making, 7:1, ss. 25–47.
[16] Grunnfrekvens og referanseklasser er assosiert med Daniel Kahnemans «utsideperspektiv», som handler om å plassere fenomener inn i en større kontekst før man begynner å studere dem mer detaljert fra innsiden. For mer om utsideperspektivet, se kapittel 23 i Kahneman, Daniel (2013), Tenke, fort og langsomt (Oslo: Pax Forlag).
[17] Se f.eks. Carlsen, Henrik (2013), ‘Slik ble Magnus verdens beste’, NRK Ytring, 6. november 2013. Her trekker faren til Magnus Carlsen frem hans «unike intuisjon» som en forklaring på hvorfor sønnen er så god.
