Ett forskningsprosjekt, to vurderinger
Sammen med andre nordiske forskere søkte vi våren 2016 på BEDREHELSE-utlysningen. Prosjektet var delt inn i tre arbeidspakker. For det første ønsket vi å undersøke et utvalg epistemologiske «kartleggingsmaskinerier» og hvordan disse genererer bilder av folkets helse. Et eksempel på et slikt maskineri er Ungdata, et nasjonalt monitoreringsredskap som blant annet produserer tilstandsbilder av unge jenters psykiske helse (4). Dernest ønsket vi å gjøre selve «folkehelsebildene» til gjenstand for undersøkelse, de materialiserte vitenskapsproduktene som beskriver for eksempel folkehelseproblemer, korrelasjoner, årsakssammenhenger og botemidlenes effekter. I prosjektets tredje arbeidspakke ønsket vi å undersøke hvordan folkehelseintervensjoner blir mottatt, dvs. både på et kommunalt nivå og blant «vanlige folk». Hva skjer når den epidemiologisk produserte kunnskapen møter andre kunnskapsformer, folks tro og tvil, og ulike måter målgruppene lever og organiserer sine hverdagsliv på? Vi ønsket med andre ord å gjøre kunnskapsproduksjonen og folkehelsepolitikken til vårt empiriske felt og undersøke dette innenfor en humanistisk og samfunnsvitenskapelig ramme.
Prosjektgruppen representerte blant andre disipliner som idéhistorie, språkvitenskap, antropologi, vitenskaps- og teknologiforskning, politikk- og maktanalyse og sosiologi. Prosjektet posisjonerte seg åpenbart i randsonen av programutlysningens invitasjon, og eventuell støtte ville kreve gehør for søknadens argumentasjon om relevansen av perspektiv- og metodemangfold i folkehelseforskningen.
Tre uker etter innsending av søknaden til programmet leverte vi en identisk søknad til Forskningsrådets FRIHUMSAM-program. Dette er ifølge Forskningsrådet et tematisk «nøytralt» program som blant annet skal fremme «dristig og nyskapende forskning» innenfor humaniora og samfunnsvitenskap. Helsetematikker har med andre ord ingen prioritet i FRIHUMSAM, men er heller ikke ekskludert. I november 2016 mottok vi svarene på begge søknadene. Ingen av dem fikk støtte, men der slutter også likheten mellom de to fagpanelenes vurdering.
Både fagpanelene i BEDREHELSE og i FRIHUMSAM gjorde en vurdering av prosjektenes relevans for programutlysningene. Ikke overraskende ble relevansen vurdert som «svak» av fagfellene i BEDREHELSE, og fikk karakteren 3 på en skala fra 1 til 7, der 7 er høyeste karakter. Med en slik vurdering av relevans kunne man se for seg at en videre vurdering av prosjektet var overflødig.
Forskningsrådets fagpaneler vurderer imidlertid også «vitenskapelig kvalitet» på prosjekter man vurderer som lite relevante. Og det er forskjellene mellom de to fagpanelenes vurderinger av kvalitetskriteriet som etter vårt syn reiser det mer generelle spørsmålet: Hvem er fagfeller?
Vurderingen til fagpanelet i BEDREHELSE var at «prosjektet er ikke tilfredsstillende presentert og/eller har vesentlige kvalitetsmangler. Det er ikke sannsynlig at ny kunnskap vil bli generert». I FRIHUMSAM var vurderingen fra fagpanelet at «prosjektets målsettinger, forskningsspørsmål og hypoteser er svært klart framstilt og er basert på en svært godt formulert og original prosjektidé».
Her kan det være spesielt interessant å legge merke til diskrepansen i vurderingen av søknadens språkføring: «ikke tilfredsstillende presentert» versus «svært klart framstilt». En mulig forklaring kan være at ulike vitenskapelige disipliner utvikler sine «stammespråk» som i knappe prosjektbeskrivelser kan fremstå som uklare og forvirrende for lesere utenfor de vitenskapelige tradisjonene som forskningsprosjektene skriver seg inn i.
Forskjellene i vurderingen av «vitenskapelig kvalitet» var symptomatisk for vurderingen av de øvrige kriteriene. «Prosjektleder og prosjektgruppen», «Gjennomføringsplan og ressursbehov» og «Internasjonalt samarbeid» ble samtlige vurdert som svak/karakter 3 av fagfellene i BEDREHELSE-programmet og som svært god(t)/karakter 6 i FRIHUMSAM-programmet. Slik ble også karaktergivningen på «Samlet vurdering». Disharmonien nådde sitt høydepunkt i vurderingen av «Vitenskapelig dristighet og faglig fornyelse». Her konkluderte fagfellene i FRIHUMSAM med meget god/karakter 7 og skriver: «Prosjektet har et meget stort potensiale for faglig fornyelse. Det vil med høy sannsynlighet resultere i betydelige teoretiske framskritt […] og/eller en radikal utvidelse av kunnskapen på feltet. Prosjektet er eksepsjonelt kreativt». Under kriteriet «Utbytte av prosjektet» skriver fagfellene i BEDREHELSE: «Prosjektet har ingen nytteverdi av betydning». Med karakteren 3 ble vårt prosjekt sortert ut og havnet aldri på programstyrets bord, ifølge Pål Kraft, styreleder i programstyret for BEDREHELSE (5).
I tabell 1 sammenstilles fagfellevurderingene av et utvalg kriterier i de to programmene. Vi gjør oppmerksom på at deler av innholdet er vår oversettelse fra engelsk til norsk.
Tabell 1
Sammenstilling av fagfellevurderingene
| Kriterier | FRIHUMSAM | BEDREHELSE |
| Vitenskapelig kvalitet | Prosjektets målsettinger, forskningsspørsmål og hypoteser er svært klart fremstilt og er basert på en svært godt formulert og original prosjektidé. Prosjektet er i forskningsfronten på sitt felt, og vil kunne bidra til faglig fornyelse og frembringe vesentlig ny kunnskap. | Prosjektet er ikke tilfredsstillende presentert og/eller har vesentlige kvalitetsmangler. Det er ikke sannsynlig at ny kunnskap vil bli generert. |
| Internasjonalt samarbeid | Det internasjonale samarbeidet er av tilfredsstillende omfang og kvalitet. | De internasjonale samarbeidsaktivitetene i prosjektet er svake og i realiteten ikke-eksisterende. |
| Vitenskapelig dristighet og faglig fornyelse. Utbytte av prosjektet. | Prosjektet har et meget stort potensial for faglig fornyelse. Det vil med høy sannsynlighet resultere i betydelige teoretiske fremskritt og/eller utvikling av betydningsfull, ny metode og/eller en radikal utvidelse av kunnskapen på feltet. Prosjektet er eksepsjonelt kreativt. | Prosjektet har ingen nytteverdi av betydning. |
| Samlet vurdering | Et prosjekt på høyt internasjonalt nivå og av stor nasjonal og internasjonal interesse. Det forventes publikasjoner i ledende tidsskrifter. Forskerne er blant de fremste innenfor sitt felt. | Et prosjekt som krever betydelige kvalitetsforbedringer. |
Alle som jobber med fagfellevurdering vet at det er vanskelig å vurdere prosjekter og artikler. Vurderingen av vitenskapelig kvalitet vil aldri være objektiv, men derimot basert på fageksperter og fagpanelers beste skjønn. Vårt mål er at graden av tilfeldige utslag blir minst mulig.
Forskerne Rolf Andreas Markussen og Geir Wackers stiller i Tidsskriftet spørsmål knyttet til Forskningsrådets fagfellevurderinger. De spør om programmenes fagfellevurdering hemmer perspektiv- og metodemangfoldet. Analysen er betimelig og setter fingeren på problemstillinger som krever oppmerksomhet. Slik forskerne påpeker, er det spesielt innenfor tverrfaglige områder som for eksempel «folkehelse» at det vitenskapelige perspektivmangfoldet er spesielt betydningsfullt.
Forskerne sendte samme søknad til Forskningsrådets programmer Bedrehelse og Frihumsam, og fikk henholdsvis karakterene 3 og 6 på samme søknad. Bedrehelse-programmet er et handlingsrettet helseforskningsprogram med tematiske og målrettede utlysninger, mens Frihumsam er en åpen arena for forskning innenfor samfunnsvitenskap og humaniora, der alle tema er like aktuelle. Dette vil kunne føre til ulike vurderinger av samme prosjekt og peker på utfordringene med fagfellevurdering i programmer med ulike formål.
Fagpanelene i Forskningsrådet består av internasjonale fageksperter. Panelene oppnevnes på bakgrunn av program og utlysning, og søkerne inviteres til å komme med forslag til fagfeller. Et vesentlig element i fagpanelenes vurdering av søknader er metodikkens hensiktsmessighet for å belyse og gi svar på de forskningsspørsmålene prosjektet stiller. Vurderingen av faglig kvalitet vil alltid vurderes mot en vitenskapelig forskningsfront innen et fagfelt, og vil kunne variere fra ett fagområde til et annet, eller fra én vitenskapstradisjon til en annen. Markussen og Wackers beskriver dette godt med gullet som analogi. Det viktige er å la prosjektet bli vurdert på de faglige premisser og tradisjoner det utgår fra, også om det er tverrfaglig.
Vi ser at prosjekter som ikke svarer på målene i utlysningen, i noen tilfeller også vurderes lavere på vitenskapelig kvalitet av samme panel. Selv om fagfellevurderinger gjøres på grunnlag av gitte kriterier, kan det altså være vanskelig å skille helt mellom de ulike kriteriene som prosjektene vurderes etter. Det er derfor ikke helt uvanlig at ett prosjekt, søkt på en åpen arena og som svar på en utlysning som har helt klare tema og mål, får ulik vurdering også på vitenskapelig kvalitet.
Det er uheldig at søkere sitter igjen med en oppfatning av at vurderingen er tilfeldig, eller faglig innskrenkende. Forskningsrådet er evaluert til å ha gode rutiner for søknadsbehandling, og er i kontinuerlig prosess for å forbedre arbeidet vårt på feltet. Markussen og Wickstrøm peker på viktige utfordringer med fagfellevurderinger i programmer med ulike formål. Synspunktene deres vil være viktige i vårt videre arbeid med å forbedre prosessene for søknadsvurdering. Vi arbeider nå med å samordne de faglige vurderingene i større grad på tvers av våre programmer.
Det har gått en debatt i Aftenposten og i Tidsskriftet om Forskningsrådets vurdering av søknader og manglende kvalitetssikring av vedtak (1,2). Svar fra Forskningsrådet har dessverre vært lite klargjørende (3).
To forskere fra Universitetet i Tromsø gjenga i Tidsskriftet hvordan samme søknad som ble sendt inn til to forskjellige fagpanel i Forskningsrådet, endte opp med to diametralt ulike vurderinger (2). De sprikende vurderingene kunne ikke forklares ut fra formelle eller faglige forhold. Min erfaring er i tråd med forfatternes. Det virker som at Forskningsrådet har for dårlig kvalitetssikring av det samlede arbeid som ekspertpanel og fagkomiteer gjør.
Forskningsrådet fordeler over 9 milliarder kroner årlig og er en av de største bidragsytere til forskning i Norge og helt avgjørende for norsk grunnforskning. Rådets samfunnsoppdrag er å sikre kvalitet og relevans på innsendte prosjektsøknader. I 2015 Forskningsrådet 835 ulike prosjekter innen helseforskning (4). Et ekspertpanel vurderer og rangerer søknadene først, før en fagkomite fatter bevilgningsvedtak basert på ekspertpanelets rangering. Sammensetningen av fagkomiteen og panelene offentliggjøres på Forskningsrådets nettsider, men hvordan disse internasjonale ekspertene velges og hvordan deres habilitet sikres, er uklart.
Min erfaring er at forskningsfelt som mottar mange søknader, har sterkere ekspertrepresentasjon i panelet enn felt med færre søknader. Store forskningsfelt som hjerte-kar- og kreftsykdommer er rimelig godt ivaretatt av ekspertfagfeller, mens innen muskel-skjelettfeltet er fagfellenes kompetanse mer tilfeldig. Dette slår spesielt sterkt ut der søknader fra ulike forskningsfelt konkurrerer, for eksempel innen sektoren «Frimedbio – medisin, helse og biologi» som ikke er programbasert, og der vitenskapelig kvalitet er avgjørende.
Det er trolig grunnen til at et sykdomsfelt som forårsaker betydelige samfunnsutgifter pga. sykefravær, og som påfører helse-Norge større sykehusutgifter enn alle hjerte- karsykdommer tilsammen, nesten ikke mottar forskningsmidler. I Forskningsrådets statistikker for 2015 tildeles forskning innen kreft og hjerte-karlidelser 13-76 ganger større bevilgninger enn muskel- skjelettsykdommer innen alle Forskningsrådets kategorier (4).
Hva kan gjøres? Fagfeller i ekspertpanel med vesentlig ulik bedømmelse av samme prosjekt, må harmonisere sine bedømmelser bedre. Ved fortsatt uenighet må en tredje fagfelle inn for å kvalitetssikre karakteren. Forskningsrådets søknadsbehandling trenger et utenforstående, uavhengig kompetent tilsyn for kvalitetssikring, spesielt innenfor fri prosjektstøtte. Forskningsrådets virksomhet bør bli mer transparent, for eksempel hvordan fagfeller til ekspertpanelene rekrutteres, deres faglige bakgrunn og hvordan habiliteten sikres for de søkere/prosjekter som vurderes. Et brukerutvalg bør gå gjennom Forskningsrådets organisering og ressursbruk regelmessig. Det bør også opprettes en kommunikasjonskanal mellom søker og saksbehandler for å ta opp åpenbare faktafeil og misforståelser i bedømmelsen når den engelske prosjektbeskrivelsen er vurdert som klart formulert. Videre, når et prosjekt går over flere år med dokumentert god utvikling fra et år til neste, må dette fanges opp av Forskningsrådet.
Litteratur
1. Gautvik KM. Folkesykdommene som ikke prioriteres. Aftenposten 03.02.2018 https://www.aftenposten.no/meninger/debatt/i/MgL3AK/Folkesykdommene-som-ikke-prioriteres--Kaare-M-Gautvik (22.05.2018)
2. Markussen RA, Wackers G. Forskningsrådets fagfellevurderinger: Kvalitetssikring eller grensekontroll. Tidsskr nor legeforen 2018 doi: 10.4045/tidsskr.17.0849
3. Gautvik KM. Forskningsrådet misforstår. Aftenposten 15.02.2018. https://www.aftenposten.no/meninger/debatt/i/MgA7ER/Forskningsradet-misforstar--Kaare-M-Gautvik (22.05.2018)
4. Helseforskning finansiert av Norges forskningsråd. Porteføljeanalyse med Health Research Classification System (HRCS) 2015. https://www.forskningsradet.no/no/Publikasjon/Helseforskning_finansiert_av_Norges_forskningsrad/1254019270376?lang=no (22.05.2018)