Statistisk signifikans

Statistisk signifikans er et begrep som brukes for å beskrive sannsynligheten for at noe er et resultat av tilfeldigheter. Et resultat av en statistisk analyse betegnes som statistisk signifikant dersom det er lite sannsynlig at resultatet har oppstått tilfeldig. Begrepet signifikans i statistisk sammenheng betegner ikke nødvendigvis at noe er viktig, slik det ofte kan i andre sammenhenger. Det betegner kun at noe sannsynligvis ikke er tilfeldig.

Uttrykket signifikansnivå benyttes ofte for å beskrive hvor statistisk signifikant et resultat må være for å være akseptabelt.^[1] Statistisk signifikans kan blant annet måles som p-verdi,^[2] eller uttrykkes ved konfidensintervaller. Statistisk signifikans er et sentralt begrep innen hypotesetesting, metoder som ofte benyttes når man skal benytte en statistisk analyse til å ta avgjørelser.

Det er viktig å være klar over at signifikansnivå gir hvorvidt resultatet er statistisk signifikant, men at dette nivået ikke angir en objektiv grense for hvorvidt noe er riktig eller kan falsiferes. Mangel på objektive kriterier gjør at mange forskere mener begrepene er problematiske.^[3][1]

En statistisk analyse tar for seg et datamateriale og søker å finne ut hvordan data varierer mellom forskjellige måter å gruppere dem på. Noe variasjon i datamateriale er ventet av ren tilfeldighet, og beregninger av statistisk signifikans søker å gi et bilde av hvor sannsynlig det er at observerte variasjoner er et utslag av tilfeldig variasjon. I slike tilfeller er begrepet statistisk signifikans knyttet til matematisk definerte mål på signifikans slik som p-verdi eller konfidensintervall. Beregninger av signifikans er viktig for å kvalitetssikre en statistisk analyse, og kan til en viss grad være til hjelp ved planlegging av datainnsamling. Resultatene av en statistisk analyse vil alltid være noe usikre; beregning av statistisk signifikans avdekker hvor sikre eller usikre resultatene er.^[2]

Et illustrerende eksempel kan være myntkast. Når en mynt blir kastet gjentatte ganger, er den statistiske forventningen at de to resultatene, krone og mynt, vil forekomme like ofte. Dersom ett resultat forekommer oftere enn det andre, kan det tyde på at mynten som kastes ikke er rettferdig. En statistisk analyse kan teste hvor rettferdig en mynt er ved at denne kastes gjentatte ganger, og resultatene registreres. Ettersom noe variasjon i resultatene vil forekomme rent tilfeldig, er det ikke tilstrekkelig å bare registrere hvor stor andel av hvert resultat som er representert blant myntkastene. Dersom få kast er registrert, vil en overvekt av det ene resultater kunne forklares som tilfeldigheter, men dersom mange kast er registrert vil en slik overvekt tyde på at mynten ikke er rettferdig. Å kaste kun 75% mynt på fire kast vil ikke være en veldig statistisk signifikant pekepinn på at mynten ikke er rettferdig, men å kaste 75% mynt på tolv kast vil være en signifikant indikasjon på at mynten er urettferdig. I begge tilfeller er det usikkerhet i analysen, men den er vesentlig mindre for eksperimentet med tolv kast.

Statistisk signifikans måles ofte som p-verdi. P-verdien for et resultat av en analyse er sannsynligheten for at et tilfeldig resultat får en minst like ekstrem verdi. Lav p-verdi, eller liten sannsynlighet for at resultat har oppstått tilfeldig svarer til en høy signifikans, og høy p-verdi tilsvarer lav signifikans.

For eksempelet med myntkast kan man regne ut sannsynligheten for å, med en rettferdig mynt, få minst 75% mynt på henholdsvis fire og tolv kast. Sannsynligheten for å få mynt på et kast med en rettferdig mynt er 0,5. Sannsynlighetsregning gir da en sannsynlighet på 0,25 for å kaste 75% mynt på fire kast, og en sannsynlighet på 0,0537 (=220/4096) for å kaste mynt på 75% av tolv kast. Dvs på ni av tolv kast.