Undersøgelse af 'spin' i videnskabelige tidsskrifter
En nylig undersøgelse undersøgte "spin" inden for psykiatri og psykologi. Undersøgelsesforfatterne fandt spin i mere end halvdelen af abstrakterne, de analyserede.Hvilken indvirkning kan dette have på lægernes beslutninger?
Da nyheder og medier konkurrerer om synspunkter, kan de undertiden overdrive overskrifter og indhold for at lokke læseren ind.
Selvom mange mener, at videnskabelige tidsskrifter er nogle af de mest pålidelige informationskilder, er de ikke immune over for ønsket om at blive læst og delt.
En nylig undersøgelse har sat sig for at vurdere, hvor meget "spin" -forfattere brugte i abstrakterne af forskningsartikler, der blev offentliggjort i tidsskrifter med psykologi og psykiatri.
De valgte at se på abstrakter, fordi de opsummerer hele papiret, og læger bruger dem ofte til at hjælpe med at informere medicinske beslutninger.
Hvad er spin?
I denne undersøgelse skitserer forfatterne deres definition af spin som følger:
”[Brug] af specifikke rapporteringsstrategier, uanset motiv, for at fremhæve, at den eksperimentelle behandling er gavnlig, på trods af en statistisk ikke-signifikant forskel for det primære resultat, eller for at distrahere læseren fra statistisk ikke-betydningsfulde resultater.”
Forfatterne offentliggjorde deres resultater i tidsskriftet BMJ Evidence Based Medicine. De kiggede på papirer fra de øverste seks tidsskrifter for psykiatri og psykologi fra 2012–2017.
Tidsskrifterne inkluderet JAMA Psykiatri, det American Journal of Psychiatry, og British Journal of Psychiatry.
Specifikt fokuserede forskerne på randomiserede kontrollerede forsøg med "ikke-væsentlige primære endepunkter." Det primære endepunkt for en undersøgelse er hovedresultatet af undersøgelsen, og ”ikke-signifikant” betyder i denne sammenhæng, at teamet statistisk set ikke fandt nok bevis til at bakke op om deres teori.
Spin findes i mange former, herunder:
- selektiv rapportering af resultater, hvor forfatterne kun nævner bestemte resultater
- P-hacking, hvor forskere kører en række statistiske tests, men kun offentliggør tallene fra tests, der giver betydelige resultater
- upassende eller vildledende brug af statistiske foranstaltninger
Hvor almindelig er spin?
I alt analyserede de abstrakterne af 116 papirer. Af disse viste 56% tegn på spin. Dette inkluderede spin i 2% af titlerne, 21% af resultatsektionerne i det abstrakte og 49% i konklusionens sektioner af det abstrakte. I 15% af papirerne var spin til stede i både resultaterne og konklusionerne i abstrakterne.
Forskerne undersøgte også, om industriens finansiering var forbundet med spin. Måske overraskende fandt de ingen beviser for, at det at have økonomisk støtte fra industrien øgede sandsynligheden for spin.
Resultaterne vedrører. Selvom spin i nyhedsmedier generelt er bekymrende i sig selv, bruger læger forskningspapirer til at styre kliniske beslutninger. Som forfatterne skriver:
"Forskere har en etisk forpligtelse til ærligt og klart at rapportere resultaterne af deres forskning." I det abstrakte afsnit kan forfattere dog vælge og vælge de detaljer, de inkluderer. Forfatterne af den nuværende undersøgelse er bekymrede over, hvad dette kan betyde for læger:
”Tilføjelse af spin til abstrakt af en artikel kan vildlede læger, der forsøger at drage konklusioner om en behandling for patienter. De fleste læger læser kun artiklen abstrakt det meste af tiden. ”
Konsekvenserne
Selvom forskere ikke har undersøgt virkningerne af spin i dybden, peger forfatterne på en undersøgelse, der hæmmer deres pointe.
I den indsamlede forskere abstrakter fra kræftforskningsområdet. Alle var randomiserede kontrollerede forsøg med et statistisk ikke-signifikant primært resultat. Alle abstracts inkluderet spin.
Forskerne skabte anden version af disse abstrakter, hvor de fjernede centrifugeringen. De rekrutterede 300 onkologer som deltagere. Forskerne gav halvdelen af dem et originalt abstrakt med spin, og de gav den anden halvdel det abstrakte uden spin.
Bekymrende vurderede lægerne, der læste abstrakterne med spin, den intervention, der er omfattet af papiret, som mere fordelagtig.
Som forfatterne af det nylige studieoplæg skriver: “De, der skriver kliniske forsøgsmanuskripter, ved, at de har en begrænset tid og plads til at fange læsernes opmærksomhed. Positive resultater vil sandsynligvis blive offentliggjort, og mange manuskriptforfattere har henvendt sig til tvivlsomme rapporteringsmetoder for at forskønne deres resultater. ”
En anden undersøgelse, der blev offentliggjort i 2016, udvider omfanget af dette emne. De undersøgte, hvordan peer reviewers - erfarne forskere, der gennemgik papirer inden offentliggørelse - påvirkede spin. De fandt ud af, at peer reviewer i 15% af tilfældene bad forfatterne om at tilføje spin.
Den nuværende undersøgelse har nogle begrænsninger. For eksempel gælder disse resultater muligvis ikke for andre tidsskrifter eller forskningsområder. De bemærker også, at identifikation af spin er en subjektiv bestræbelse, og selvom de har brugt to uafhængige dataudtræk, er der plads til fejl.
Den nøjagtige størrelse af spin-spørgsmålet i medicinsk forskning er stadig at se, men forfatterne konkluderer, at ”[a] forfattere, journalredaktører og peer reviewers bør fortsat være opmærksomme på spin for at reducere risikoen for forudindtaget rapportering af forsøgsresultater. ”
