Skepticism for dummies
Del 3. Bygg din egen bullshit-detektor!
I de siste par bloggene har vi sett hvordan våre egne psykologiske predisposisjoner gjør oss sårbare for selvbedrag samt lært å identifisere de vanligste logiske feilslutningene. Dette er viktige basiskunnskaper når vi skal bygge vår egen bullshit-detektor. Det er også nødvendig med en viss kjennskap til vitenskaplig metodikk - f.eks. hvordan et dobbeltblindt eksperiment utføres og hva som menes med falsifikasjon - foruten grunnleggende kjennskap til vitenskap generelt, f.eks. hvordan naturlig utvalg virker, at energi ikke kan skapes eller ødelegges, men alltid går over til mindre anvendelige former når den brukes til å utføre arbeid etc. Følgende blogg tar for seg diverse spørsmål vi bør stille oss selv når vi konfronteres med sensasjonelle påstander, samt hvilke faresignaler som automatisk bør få bullshit-detektoren til å aktivere.
Hvor er påstanden publisert?
Seriøse forskere presenterer sine funn først for andre forskere i form av artikler i fagfellevurderte vitenskaplige tidsskrifter. Artikkelen går så gjennom en kritisk evaluering fra det vitenskaplige miljøet for å avdekke metodiske svakheter og teste om resultatene lar seg reprodusere. Først når påstanden eventuelt har gått gjennom dette nåløyet, blir den annonsert for offentligheten og massemedia. Å henvende seg direkte til offentligheten via massemedia, bøker eller internett er som regel et tegn på manglende seriøsitet, og tyder på at påstanden ikke tåler en kritisk evaluering fra det vitenskaplige miljøet. Trolig det meste som utgir seg for vitenskap i massemediene - inkludert mye såkalt "dokumentarstoff" - havner i kategorien "infotainment", og har liten eller ingen vitenskaplig legitimitet. Merk for øvrig at mange pseudovitenskaplige miljøer også har sine egne tidsskrifter hvor pseudoforskere evaluerer hverandre. Sjekk at resultatene er fagfellevurdert i vitenskaplig anerkjente tidsskrifter og vær på vakt mot diskrediterte kilder.
Hvem er kilden?
Har kilden relevante faglige kvalifikasjoner, og er hans/hennes syn i så fall representativt for den vitenskaplige konsensus på området? Har flertallet av forskere innvendinger mot kildens syn, og i så fall hvorfor? Vær spesielt på vakt mot kilder som har en åpenbar økonomisk eller ideologisk agenda, f.eks. å promotere et kommersielt produkt eller forsvare et kristenkonservativt livssyn. Ideologisk, moralsk indignert eller sterkt følelsesladet språkbruk har ingenting i en vitenskaplig kontekst å gjøre, og bør umiddelbart få bullshit-detektoren til å aktivere.
Er påstanden testbar?
Vitenskaplige hypoteser fører til konkrete forutsigelser om utfallet av empiriske tester som enda ikke er gjennomført, slik at forutsigelsene kan måles direkte opp mot testresultatet når det foreligger. Dersom en påstand er like kompatibel med ethvert tenkelig resultat, blir enhver test meningsløs.* Vitenskapen krever derfor også at hypoteser må være falsifiserbare. Vær skeptisk hvis hypotesen fører til så vage forutsigelser at ethvert testresultat kan tolkes som en bekreftelse av hypotesen i ettertid. Bullshit-detektoren bør spesielt reagere på ad-hoc-løsninger for å immunisere påstander mot uttesting og gjøre dem ufalsifserbare.
* Analogt: tenk deg en person som svarer ja enten riktig svar er ja eller nei.
Er påstanden etterprøvbar?
Vitenskapen krever at forskningsresultater må kunne gjentas og etterprøves av andre, og andre må oppnå samme resultat. Vær skeptisk hvis kilden kun gjengir konklusjonen og ikke hvilke metoder som er brukt for å utlede den (se neste punkt). Vær spesielt på vakt mot uetterrettelige anekdoter og vitnesbyrd av ethvert slag. Husk: Det er ikke gitt at folk snakker sant selv om de ikke lyver. Verken det vi tror vi ser, det vi tror vi hører eller det vi tror vi husker er fotografiske "avtrykk" av virkeligheten slik den virkelig er, men rekonstruksjoner i hjernen som til dels kan være ekstremt subjektive og upålitelige. Vi kan ikke stole helt på andre av samme grunn som vi ikke kan stole helt på oss selv.
Er det brukt forsvarlig metodikk?
En konklusjon kan aldri bli sikrere enn metodene som er brukt for å utlede den. Har man gjort nok for å utelukke kjente feilkilder? Er det gjort seriøse forsøk på å falsifisere påstanden? For å finne ut om behandlingsform X virker, må man alltid ha en kontrollgruppe som kun mottar et placebo Y for å ha et sammenlikningsgrunnlag, og verken pasienter eller terapeuter (helst ikke engang statistikerne som analyserer resultatene) må vite hvem som har mottatt X henholdsvis Y så lenge eksperimentet pågår. For å oppnå pålitelige resultater må gruppene være tilstrekkelig store og mest mulig homogene mhp. sjanser for helbredelse. Vær spesielt på vakt mot post-hoc-slutninger som at "8 av 10 pasienter hevder å føle seg bedre etter å ha prøvd X". Sannsynligheten er stor for at pasienter som tror de har mottatt X ville hevdet det samme selv om de bare hadde mottatt et placebo.
Forholder kilden seg selektivt til data?
Vær skeptisk hvis kilden kun inkluderer data som støtter hans påstander og ignorerer eller bortforklarer resten. Det er viktig å se på hvor hovedtyngden av data peker, og ikke stirre seg blind på enkeltstudier. Selv om en påstand er 100% feil, er det ingen grunn til å forvente at det ikke skulle finnes en eneste tilsynelatende positiv studie. Sørg for å holde deg til de største og beste studiene, og ikke forveksle støy med signal.
Er den observerte effekten knapt merkbar?
Vær skeptisk når den observerte effekten ligger helt på grensen til bakgrunnsstøy, spesielt dersom forbedring av observasjonsmetodene ikke fører til noen forsterkning av effekten. Effekten er nesten helt sikkert illusorisk dersom den blir stadig svakere i takt med at observasjonsmetodene forbedres. Men selv om man har en marginal positiv effekt som ikke går bort over tid, er det mye som tyder på at effekten kun skyldes støy i systemet. Det er neppe mulig å eliminere alle potensielle støykilder.
Er påstanden konsistent med etablert kunnskap?
Ny viten oppstår ikke i et vakuum, men må passe inn i et større puslespill av etablert og veltestet kunnskap. Hvis all empiri i verden entydig viser at sykdom X skyldes virus Y, er det all grunn til å stille seg skeptisk til behandlingsformer som forutsetter at X skyldes helt andre ting enn Y, enten det er ubalanse mellom kroppsvæskene, blokkert ”livsenergi” eller for den saks skyld "synd". Vær spesielt skeptisk til påståtte fenomener, evner eller behandlingsformer som ikke har noen plausibel naturlig mekanisme. Bullshit-detektoren bør umiddelbart utløses dersom kilden må postulere nye og hittil ukjente fenomener, krefter eller mekanismer for å forsvare sin påstand.
Angriper kilden etablert vitenskap?
Bullshit-detektoren bør automatisk reagere dersom kilden ikke presenterer noen positive beviser for sitt syn, men kun angriper etablerte teorier. Vær spesielt skeptisk dersom kilden krever at hans syn skal godtas uten noen nærmere begrunnelse fordi den etablerte teorien ikke virker.
Hevder kilden at mektige interesser forsøker å undertrykke hans/hennes funn?
Bullshit-detektoren bør aktiveres umiddelbart dersom kilden tyr til konspirasjonsteorier for å bortforklare mangelen på beviser for hans/hennes påstander eller hvorfor det vitenskaplige miljøet ikke tar påstandene på alvor. Noen eksempler er påstanden om at regjeringen skjuler bevisene for aliens, eller at leger som motarbeider homøopati er kjøpt og betalt av legemiddelindustrien for å holde oss syke. Dette er trolig et av de sikreste tegnene på pseudovitenskap.
Overlever påstanden møtet med Occams kniv?
Postulerer kilden nye fenomener, krefter eller mekanismer for å forklare X når X kan forklares like godt ut fra etablert kunnskap? Occams kniv skjærer bort antakelser vi klarer oss like godt (eller like dårlig! *) uten. Av to ellers likeverdige forklaringer, velg den som forutsetter færrest nye antakelser.
* Det samme gjelder selvsagt dersom X ikke kan forklares tilfredsstillende verken med eller uten de ekstra antakelsene.
Overlever påstanden møtet med Humes kniv?
Hvilken forklaring er minst utrolig: at magi faktisk virker eller at mennesker av og til innbiller seg ting? Humes kniv (som er opphavet til mitt nick) gjør kort prosess på alle påstander om mirakler med mindre det forutsetter et enda større mirakel å anta at påstanden er feil.
Finnes det en enklere forklaring?
Det er alltid viktig å se etter naturlige forklaringer, for eksempel: Kan tilsynelatende "mirakuløse" sammentreff skyldes tilfeldigheter? Husk hvor dårlig vår intuisjon er til å estimere sannsynlighet. Noen vinner faktisk toppgevinsten i lotto nesten hver uke: i gjennomsnitt nøyaktig så mange som statistisk sannsynlighet skulle tilsi. Gitt hvor mange usannsynlige sammentreff som potensielt kunne inntruffet, er det knapt til å unngå at noen av dem inntreffer i virkeligheten. Hva med påstått mirakuløse helbredelser? Ville sykdommen gått over av seg selv, også uten noen behandling? Er det i det hele tatt sikkert at personen var syk i utgangspunktet? Hevder pasienter som kun har mottatt sukkerpiller - eller for den saks skyld ingenting - å oppleve de samme positive effektene som tilskrives såkalt "alternativ medisin"? Kan tilsynelatende ”paranormale” opplevelser skyldes feiltolkninger, hallusinasjoner eller selvbedrag? Kan juks utelukkes? Kan påstått "synske" gjøre noe som ikke en profesjonell mentalist eller tryllekunstner kan gjøre minst like godt? Husk også at en overnaturlig forklaring ikke blir rett av mangel på annen viten.
Appellerer kilden til "gammel visdom"?
Vær på vakt mot anakronistisk tankegods. En ide blir ikke automatisk rett bare fordi den har overlevd i århundrer. Faktum er snarere at vår kunnskap blir stadig sikrere og mer komplett med tiden, ettersom vitenskapen stadig forbedrer og bygger videre på de teoriene som virker, samt forkaster dem som ikke virker. Våre forfedre hadde ikke kjenskap til den vitenskaplige metode, men stolte ofte blindt på religiøse dogmer og magisk tenkning. Resultatet var menneskeofring, heksebrenning, årelating, det geosentriske verdensbilde og en gjennomsnittlig levetid på et par årtier. Heksejakter forekommer for øvrig fremdeles i deler av Afrika og Midtøsten hvor overtroen lever i beste velgående og vitenskaplig tenkning er like ukjent som i middelalderens Europa.
Hevder kilden at påstanden kun kan testes av troende?
Husk hva vi har lært om rasjonalisering. Ingenting er lettere enn å tolke et hvilket som helst resultat som bekreftelse av en påstand når man allerede tror på den. Husk: virkeligheten er det som ikke blir borte når man slutter å tro på det.
Hevder kilden at det påståtte fenomenet kun kan observeres under utilstrekkelig kontrollerte test-betingelser?
Bullshit-detektoren bør utløses umiddelbart dersom det hevdes at et påstått "paranormalt" fenomen kun manifesterer seg under forhold hvor juks ikke kan utelukkes, f.eks. når ingen ser på, når ingen skeptikere er til stede etc.
Misbruker kilden vitenskaplig terminologi?
Bullshit-detektoren bør automatisk reagere når vitenskaplig terminologi ("energi", "dimensjoner" etc..) brukes på feil måte eller i en kontekst hvor de ikke har noen relevans. Se opp for alt snakk om "energi" i medisinsk kontekst samt appeller til kvantemekanikk i forbindelse med ”åndelige” eller ”paranormale” evner.
Brukes vitenskaplig måleutstyr til noe annet enn sitt tiltenkte formål?
Bullshit-detektoren bør automatisk reagere når vitenskaplig måleutstyr brukes til å registrere ”paranormale” eller ”åndelige” fenomener. Et E-meter er laget for å måle elektrisk motstand, ikke for å gjennomføre personlighetstester, slik det brukes av scientologene. Utstyr for å måle elektromagnetiske felter er ikke beregnet på å detektere gjenferd, men reagerer over alt hvor det er elektriske apparater, ledninger i veggene etc.
Hvor er påstanden publisert?
Seriøse forskere presenterer sine funn først for andre forskere i form av artikler i fagfellevurderte vitenskaplige tidsskrifter. Artikkelen går så gjennom en kritisk evaluering fra det vitenskaplige miljøet for å avdekke metodiske svakheter og teste om resultatene lar seg reprodusere. Først når påstanden eventuelt har gått gjennom dette nåløyet, blir den annonsert for offentligheten og massemedia. Å henvende seg direkte til offentligheten via massemedia, bøker eller internett er som regel et tegn på manglende seriøsitet, og tyder på at påstanden ikke tåler en kritisk evaluering fra det vitenskaplige miljøet. Trolig det meste som utgir seg for vitenskap i massemediene - inkludert mye såkalt "dokumentarstoff" - havner i kategorien "infotainment", og har liten eller ingen vitenskaplig legitimitet. Merk for øvrig at mange pseudovitenskaplige miljøer også har sine egne tidsskrifter hvor pseudoforskere evaluerer hverandre. Sjekk at resultatene er fagfellevurdert i vitenskaplig anerkjente tidsskrifter og vær på vakt mot diskrediterte kilder.
Hvem er kilden?
Har kilden relevante faglige kvalifikasjoner, og er hans/hennes syn i så fall representativt for den vitenskaplige konsensus på området? Har flertallet av forskere innvendinger mot kildens syn, og i så fall hvorfor? Vær spesielt på vakt mot kilder som har en åpenbar økonomisk eller ideologisk agenda, f.eks. å promotere et kommersielt produkt eller forsvare et kristenkonservativt livssyn. Ideologisk, moralsk indignert eller sterkt følelsesladet språkbruk har ingenting i en vitenskaplig kontekst å gjøre, og bør umiddelbart få bullshit-detektoren til å aktivere.
Er påstanden testbar?
Vitenskaplige hypoteser fører til konkrete forutsigelser om utfallet av empiriske tester som enda ikke er gjennomført, slik at forutsigelsene kan måles direkte opp mot testresultatet når det foreligger. Dersom en påstand er like kompatibel med ethvert tenkelig resultat, blir enhver test meningsløs.* Vitenskapen krever derfor også at hypoteser må være falsifiserbare. Vær skeptisk hvis hypotesen fører til så vage forutsigelser at ethvert testresultat kan tolkes som en bekreftelse av hypotesen i ettertid. Bullshit-detektoren bør spesielt reagere på ad-hoc-løsninger for å immunisere påstander mot uttesting og gjøre dem ufalsifserbare.
* Analogt: tenk deg en person som svarer ja enten riktig svar er ja eller nei.
Er påstanden etterprøvbar?
Vitenskapen krever at forskningsresultater må kunne gjentas og etterprøves av andre, og andre må oppnå samme resultat. Vær skeptisk hvis kilden kun gjengir konklusjonen og ikke hvilke metoder som er brukt for å utlede den (se neste punkt). Vær spesielt på vakt mot uetterrettelige anekdoter og vitnesbyrd av ethvert slag. Husk: Det er ikke gitt at folk snakker sant selv om de ikke lyver. Verken det vi tror vi ser, det vi tror vi hører eller det vi tror vi husker er fotografiske "avtrykk" av virkeligheten slik den virkelig er, men rekonstruksjoner i hjernen som til dels kan være ekstremt subjektive og upålitelige. Vi kan ikke stole helt på andre av samme grunn som vi ikke kan stole helt på oss selv.
Er det brukt forsvarlig metodikk?
En konklusjon kan aldri bli sikrere enn metodene som er brukt for å utlede den. Har man gjort nok for å utelukke kjente feilkilder? Er det gjort seriøse forsøk på å falsifisere påstanden? For å finne ut om behandlingsform X virker, må man alltid ha en kontrollgruppe som kun mottar et placebo Y for å ha et sammenlikningsgrunnlag, og verken pasienter eller terapeuter (helst ikke engang statistikerne som analyserer resultatene) må vite hvem som har mottatt X henholdsvis Y så lenge eksperimentet pågår. For å oppnå pålitelige resultater må gruppene være tilstrekkelig store og mest mulig homogene mhp. sjanser for helbredelse. Vær spesielt på vakt mot post-hoc-slutninger som at "8 av 10 pasienter hevder å føle seg bedre etter å ha prøvd X". Sannsynligheten er stor for at pasienter som tror de har mottatt X ville hevdet det samme selv om de bare hadde mottatt et placebo.
Forholder kilden seg selektivt til data?
Vær skeptisk hvis kilden kun inkluderer data som støtter hans påstander og ignorerer eller bortforklarer resten. Det er viktig å se på hvor hovedtyngden av data peker, og ikke stirre seg blind på enkeltstudier. Selv om en påstand er 100% feil, er det ingen grunn til å forvente at det ikke skulle finnes en eneste tilsynelatende positiv studie. Sørg for å holde deg til de største og beste studiene, og ikke forveksle støy med signal.
Er den observerte effekten knapt merkbar?
Vær skeptisk når den observerte effekten ligger helt på grensen til bakgrunnsstøy, spesielt dersom forbedring av observasjonsmetodene ikke fører til noen forsterkning av effekten. Effekten er nesten helt sikkert illusorisk dersom den blir stadig svakere i takt med at observasjonsmetodene forbedres. Men selv om man har en marginal positiv effekt som ikke går bort over tid, er det mye som tyder på at effekten kun skyldes støy i systemet. Det er neppe mulig å eliminere alle potensielle støykilder.
Er påstanden konsistent med etablert kunnskap?
Ny viten oppstår ikke i et vakuum, men må passe inn i et større puslespill av etablert og veltestet kunnskap. Hvis all empiri i verden entydig viser at sykdom X skyldes virus Y, er det all grunn til å stille seg skeptisk til behandlingsformer som forutsetter at X skyldes helt andre ting enn Y, enten det er ubalanse mellom kroppsvæskene, blokkert ”livsenergi” eller for den saks skyld "synd". Vær spesielt skeptisk til påståtte fenomener, evner eller behandlingsformer som ikke har noen plausibel naturlig mekanisme. Bullshit-detektoren bør umiddelbart utløses dersom kilden må postulere nye og hittil ukjente fenomener, krefter eller mekanismer for å forsvare sin påstand.
Angriper kilden etablert vitenskap?
Bullshit-detektoren bør automatisk reagere dersom kilden ikke presenterer noen positive beviser for sitt syn, men kun angriper etablerte teorier. Vær spesielt skeptisk dersom kilden krever at hans syn skal godtas uten noen nærmere begrunnelse fordi den etablerte teorien ikke virker.
Hevder kilden at mektige interesser forsøker å undertrykke hans/hennes funn?
Bullshit-detektoren bør aktiveres umiddelbart dersom kilden tyr til konspirasjonsteorier for å bortforklare mangelen på beviser for hans/hennes påstander eller hvorfor det vitenskaplige miljøet ikke tar påstandene på alvor. Noen eksempler er påstanden om at regjeringen skjuler bevisene for aliens, eller at leger som motarbeider homøopati er kjøpt og betalt av legemiddelindustrien for å holde oss syke. Dette er trolig et av de sikreste tegnene på pseudovitenskap.
Overlever påstanden møtet med Occams kniv?
Postulerer kilden nye fenomener, krefter eller mekanismer for å forklare X når X kan forklares like godt ut fra etablert kunnskap? Occams kniv skjærer bort antakelser vi klarer oss like godt (eller like dårlig! *) uten. Av to ellers likeverdige forklaringer, velg den som forutsetter færrest nye antakelser.
* Det samme gjelder selvsagt dersom X ikke kan forklares tilfredsstillende verken med eller uten de ekstra antakelsene.
Overlever påstanden møtet med Humes kniv?
Hvilken forklaring er minst utrolig: at magi faktisk virker eller at mennesker av og til innbiller seg ting? Humes kniv (som er opphavet til mitt nick) gjør kort prosess på alle påstander om mirakler med mindre det forutsetter et enda større mirakel å anta at påstanden er feil.
Finnes det en enklere forklaring?
Det er alltid viktig å se etter naturlige forklaringer, for eksempel: Kan tilsynelatende "mirakuløse" sammentreff skyldes tilfeldigheter? Husk hvor dårlig vår intuisjon er til å estimere sannsynlighet. Noen vinner faktisk toppgevinsten i lotto nesten hver uke: i gjennomsnitt nøyaktig så mange som statistisk sannsynlighet skulle tilsi. Gitt hvor mange usannsynlige sammentreff som potensielt kunne inntruffet, er det knapt til å unngå at noen av dem inntreffer i virkeligheten. Hva med påstått mirakuløse helbredelser? Ville sykdommen gått over av seg selv, også uten noen behandling? Er det i det hele tatt sikkert at personen var syk i utgangspunktet? Hevder pasienter som kun har mottatt sukkerpiller - eller for den saks skyld ingenting - å oppleve de samme positive effektene som tilskrives såkalt "alternativ medisin"? Kan tilsynelatende ”paranormale” opplevelser skyldes feiltolkninger, hallusinasjoner eller selvbedrag? Kan juks utelukkes? Kan påstått "synske" gjøre noe som ikke en profesjonell mentalist eller tryllekunstner kan gjøre minst like godt? Husk også at en overnaturlig forklaring ikke blir rett av mangel på annen viten.
Appellerer kilden til "gammel visdom"?
Vær på vakt mot anakronistisk tankegods. En ide blir ikke automatisk rett bare fordi den har overlevd i århundrer. Faktum er snarere at vår kunnskap blir stadig sikrere og mer komplett med tiden, ettersom vitenskapen stadig forbedrer og bygger videre på de teoriene som virker, samt forkaster dem som ikke virker. Våre forfedre hadde ikke kjenskap til den vitenskaplige metode, men stolte ofte blindt på religiøse dogmer og magisk tenkning. Resultatet var menneskeofring, heksebrenning, årelating, det geosentriske verdensbilde og en gjennomsnittlig levetid på et par årtier. Heksejakter forekommer for øvrig fremdeles i deler av Afrika og Midtøsten hvor overtroen lever i beste velgående og vitenskaplig tenkning er like ukjent som i middelalderens Europa.
Hevder kilden at påstanden kun kan testes av troende?
Husk hva vi har lært om rasjonalisering. Ingenting er lettere enn å tolke et hvilket som helst resultat som bekreftelse av en påstand når man allerede tror på den. Husk: virkeligheten er det som ikke blir borte når man slutter å tro på det.
Hevder kilden at det påståtte fenomenet kun kan observeres under utilstrekkelig kontrollerte test-betingelser?
Bullshit-detektoren bør utløses umiddelbart dersom det hevdes at et påstått "paranormalt" fenomen kun manifesterer seg under forhold hvor juks ikke kan utelukkes, f.eks. når ingen ser på, når ingen skeptikere er til stede etc.
Misbruker kilden vitenskaplig terminologi?
Bullshit-detektoren bør automatisk reagere når vitenskaplig terminologi ("energi", "dimensjoner" etc..) brukes på feil måte eller i en kontekst hvor de ikke har noen relevans. Se opp for alt snakk om "energi" i medisinsk kontekst samt appeller til kvantemekanikk i forbindelse med ”åndelige” eller ”paranormale” evner.
Brukes vitenskaplig måleutstyr til noe annet enn sitt tiltenkte formål?
Bullshit-detektoren bør automatisk reagere når vitenskaplig måleutstyr brukes til å registrere ”paranormale” eller ”åndelige” fenomener. Et E-meter er laget for å måle elektrisk motstand, ikke for å gjennomføre personlighetstester, slik det brukes av scientologene. Utstyr for å måle elektromagnetiske felter er ikke beregnet på å detektere gjenferd, men reagerer over alt hvor det er elektriske apparater, ledninger i veggene etc.
0 Comments:
Post a Comment