Vi har alle hørt om peer review. Det giver troværdighed til forskning og videnskabelige artikler. Men hvad betyder det? Hvordan virker det?
Hvad er nøjagtigt peer review? Billede via AJ Cann / Flickr.
.Af Andre Spicer, City, University of London og Thomas Roulet, University of Oxford
Peer review er en af videnskabens guldstandarder. Det er en proces, hvor forskere (”peers”) evaluerer kvaliteten af andre forskeres arbejde. Ved at gøre dette sigter de mod at sikre, at arbejdet er strengt, sammenhængende, bruger tidligere forskning og tilføjer til det, vi allerede vidste.
De fleste videnskabelige tidsskrifter, konferencer og tilskudsansøgninger har en slags peer review-system. I de fleste tilfælde er det ”dobbeltblind” peer review. Dette betyder, at evaluatorer ikke kender forfatteren (e), og forfatteren (e) ikke kender evaluerernes identitet. Intensionen bag dette system er at sikre, at evaluering ikke er partisk.
Jo mere prestigefyldt tidsskriftet, konferencen eller bevillingen er, desto mere krævende er gennemgangsprocessen, og desto mere sandsynligt er afslaget. Denne prestige er grunden til, at disse artikler tendens til at blive mere læse og mere citerede.
Processen i detaljer
Peer review-processen for tidsskrifter involverer mindst tre faser.
1. Evalueringsstadiet i skrivebordet
Når et papir forelægges i et tidsskrift, modtager det en indledende evaluering af chefredaktøren eller en associeret redaktør med relevant ekspertise.
På dette trin kan enten "skrivebord afvise" papiret: det vil sige afvise papiret uden at lægge det til blinde dommer. Generelt afvises papirer på skrivebordet, hvis papiret ikke passer til tidsskriftet, eller hvis der er en grundlæggende fejl, der gør det uegnet til offentliggørelse.
I dette tilfælde kan de afviser redaktører skrive et brev, der opsummerer hans eller hendes bekymringer. Nogle tidsskrifter, f.eks British Medical Journal, desk afviser op til to tredjedele eller mere af papirerne.
2. Den blinde anmeldelse
Hvis redaktionerne bedømmer, at der ikke er nogen grundlæggende mangler, er det til gennemgang for blinde dommerne. Antallet af korrekturlæsere afhænger af feltet: inden for økonomi er der muligvis kun en korrekturlæser, mens tidsskrifter inden for andre samfundsvidenskabelige områder måske spørger op til fire korrekturlæsere. Disse korrekturlæsere vælges af redaktøren på grundlag af deres ekspertviden og deres mangel på et link til forfatterne.
Læserne beslutter, om de vil afvise papiret, at acceptere det som det er (som sjældent sker) eller at bede om, at papiret skal revideres. Dette betyder, at forfatteren er nødt til at ændre papiret i overensstemmelse med korrekturlæsernes bekymringer.
Normalt beskæftiger anmeldelserne sig med gyldigheden og strengheden i den empiriske metode og fundenes betydning og originalitet (hvad der kaldes "bidrag" til den eksisterende litteratur). Redaktøren samler disse kommentarer, vejer dem, tager en beslutning og skriver et brev, der opsummerer korrekturlæsernes og hans eller hendes egne bekymringer.
Det kan derfor ske, at til trods for korrekturlæsere fra anmelderne, kunne redaktøren tilbyde papiret en efterfølgende revisionsrunde. I de bedste tidsskrifter inden for samfundsvidenskab tilbydes 10% til 20% af papirerne en "revidere og indsende igen" efter første runde.
3. Revisionerne - hvis du er heldig nok
Hvis papiret ikke er blevet afvist efter denne første gennemgangsrunde, sendes det tilbage til forfatteren (e) for en revision. Processen gentages så mange gange som nødvendigt for at redaktøren skal nå et konsensuspunkt om, hvorvidt papiret skal accepteres eller afvises. I nogle tilfælde kan dette vare i flere år.
I sidste ende accepteres mindre end 10 procent af de indsendte papirer i de bedste tidsskrifter inden for samfundsvidenskab. Det berømte tidsskrift Natur udgiver omkring 7 procent af de indsendte papirer.
Styrker og svagheder ved peer review-processen
Peer review-processen ses som guldstandarden inden for videnskaben, fordi den sikrer strenghed, nyhed og konsistens i akademiske output. Normalt fjernes mangelfulde ideer gennem gennemgangsrunder, og gode ideer styrkes og forbedres. Peer reviewing sikrer også, at videnskaben er relativt uafhængig.
Fordi videnskabelige ideer bedømmes af andre forskere, er den afgørende målestok videnskabelige standarder. Hvis andre mennesker uden for marken var involveret i at bedømme ideer, kan andre kriterier, såsom politisk eller økonomisk gevinst, bruges til at vælge ideer. Peer reviewing betragtes også som en afgørende måde at fjerne personligheder og bias fra processen med at bedømme viden.
På trods af de utvivlsomme styrker er peer review-processen, som vi kender den, blevet kritiseret. Det involverer en række sociale interaktioner, der muligvis skaber forfordringer - for eksempel kan forfattere identificeres af korrekturlæsere, hvis de befinder sig i det samme felt, og desk-afslag er ikke blinde.
Det kan også favorisere trinvis (tilføjelse til tidligere forskning) snarere end innovativ (ny) forskning. Endelig er korrekturlæsere trods alt menneskelige og kan begå fejl, misforstå elementer eller gå glip af fejl.
Er der nogen alternativer?
Forsvarere af peer review-systemet siger, at selv om der er mangler, er vi endnu ikke ved at finde et bedre system til evaluering af forskning. Imidlertid er der introduceret en række innovationer i det akademiske gennemgangssystem for at forbedre dets objektivitet og effektivitet.
Nogle nye tidsskrifter med åbent adgang (som f.eks PLOS ÉN) offentliggøre artikler med meget lidt evaluering (de kontrollerer, at arbejdet ikke er dybt defekt metodisk). Fokus er der på peer review-systemet efter offentliggørelsen: alle læsere kan kommentere og kritisere papiret.
Nogle tidsskrifter såsom Natur, har gjort en del af gennemgangsprocessen offentlig (“åben” gennemgang), der tilbyder et hybrid-system, hvor peer review spiller en rolle som primære gate-keepere, men det offentlige samfund af lærde dømmer parallelt (eller bagefter i nogle andre tidsskrifter) værdien af forskningen.
En anden idé er at få et sæt korrekturlæsere til at bedømme papiret, hver gang det revideres. I dette tilfælde vil forfattere være i stand til at vælge, om de vil investere mere tid i en revision for at få en bedre vurdering og få deres arbejde offentligt anerkendt.
Andre Spicer, professor i organisatorisk adfærd, Cass Business School, City, University of London og Thomas Roulet, Novak Druce Research Fellow, University of Oxford
Denne artikel blev oprindeligt offentliggjort den Samtalen. Læs den originale artikel.
Nederste linje: Hvad er peer review? Hvad det faktisk betyder, og hvordan det fungerer.