Medisinsk effekt
To av de mest sentrale kapitlene i utredningen er kapittel 12 og 13, om effektvurdering. Dette er sentralt fordi behandlingseffekten blir gjort til kriterium for vurdering av de alternative behandlingsmetoder. Det er flere vanskeligheter knyttet til utredningens veivalg her.
For det første problematiserer utredningen effektvurdering (1, kap. 12) Den viser til en rekke mangler ved vurdering av effekt og hvordan vurderingen kan være påvirket av ulike interesser på tross av sitt skinn av å være vitenskapelig. Likevel tar ikke utredningen hensyn til dette når den selv velger metode. Det er altså liten eller ingen sammenheng mellom kapittel 12 og 13.
Kriteriene for å vurdere effekt (1, kap. 13.2.2) er, for det andre, kurativt dominert. Vurderingen av behandlingsmetodenes effekt tar mindre hensyn til pasientenes opplevelse av å være syk og å bli bedre eller verre. Vi skal komme tilbake til dette. Poenget her er at det skinn av nøytralitet som utredningen får ved ikke å ta stilling til virkningsmekanismer, blir borte. Dette understrekes når utredningen benytter «generelle kvalitetskrav til kvantitativ forskning» for å vurdere alternative behandlingsformer (1, kap. 13.2.6). Dermed har utredningen allerede tatt stilling til fordel for skolemedisin i forhold til alternativ medisin.
For det tredje diskuteres placeboeffekten uten at det får følger for effektkriteriene som velges. Dersom placeboeffekten har virkning på folks oppfatning av å være syke, bør det begrunnes hvorfor den utelates fra effektvurderingene.
For det fjerde synes dokumentasjonskriteriene som benyttes (1, kap. 13.2.6) å være ubegrunnet. Det henvises til generelle kvalitetskrav for kvantitativ forskning, men konklusjonen fra kapittel 3 om at det bør være balanse mellom kvantitative og kvalitative tilnærmingsmåter synes ikke å være tatt til følge.
For det femte synes utredningens sekstrinnsskala for vurdering av dokumentert effekt (1, kap. 13.2.7) å være problematisk. Denne skalaen benyttes for den endelige vurderingen av de alternative behandlingsformene og er utredningens arkimediske punkt. Det viktigste kriteriet i skalaen er sikkerhet i effektdokumentasjon. Selv om utredningen viser til hvordan den vurderer virkning av alternativmedisinske metoder (1, kap. 13.2.3), ulike nivåer av dokumentasjon (1, kap. 13.2.4), vitenskapelige kriterier for vurdering av dokumentasjon (1, kap. 13.2.6) og hvilke praktiske kriterier den legger til grunn for å vurdere dokumentasjon (1, kap. 13.2.5), forklarer ikke utredningen hvordan disse kriteriene benyttes i sekstrinnsskalaen. Dessuten inneholder skalaen tre dimensjoner: dokumenterbarhet, klinisk erfaring og effekt. Hvordan disse dimensjonene er vurdert på de ulike trinnene i skalaen sier utredningen lite om. Ut fra beskrivelsen av trinnene i skalaen, kan det virke som om dimensjonene veies ulikt på de ulike trinnene. Det er videre verdt å merke seg at i tre av de seks trinn i skalaen er effekten kjent: 1 Dokumentert effektiv, 5 Ikke effektiv og 6 Farlig. I praksis vurderes alle de alternative behandlingsformene på trinn to til fire (2 Mulig/trolig effektiv, 3 Kanskje effektiv, 4 Utilstrekkelig datagrunnlag), det vil si at de ikke har kjent effekt. Det eneste unntaket er akupunktur ved postoperativ og cellegiftindusert kvalme hos voksne, som er dokumentert effektiv . Dette betyr i praksis at man har laget en vurderingsskala som viser at alternativ medisin ikke er noe alternativ til dokumentert skolemedisin.
For det sjette, benyttes det skjønn for å vurdere de ulike behandlingsformers dokumenterte effekt i forhold til sekstrinnsskalaen. Denne kvalitative vurderingen strider mot det inntrykket utredningen gir av å benytte kvantitative vitenskapelige kriterier (1, kap. 13). Utredningens effektvurdering er derfor delvis skjult for leseren. Dersom utredningen ønsket å ta til følge sine vitenskapsteoretiske betraktninger i kapittel 3 og benytte en kvalitativ vurdering av alternativ medisin, så kommer ikke dette klart frem. En slik strategi ville også kreve en presentasjon av eller referanse til den kvalitative metoden som skulle benyttes. En slik referanse mangler i utredningen. Dette betyr at utredningen, under skinn av ikke å ta stilling til fordel for skolemedisin i vurderingen av alternativ medisin, likevel benytter et skolemedisinsk ståsted for å vurdere alternative behandlingsformer for effekt. Bak denne metoden for vitenskapelig vurdering av dokumentert effekt ligger det en normativ vurdering. Hvilket grunnlag utvalget legger til grunn for denne normative vurderingen, er ikke eksplisitt. Således blir ståstedet for utredningens effektvurdering i beste fall uklar.
Kort sagt: Utredningens problematisering av effektbegrepet synes ikke å angå den skalaen for effektvurderinger som blir enerådende for vurderingen av alternative behandlingsformer. Videre benytter utvalget en sekstrinnsskala som synes dårlig begrunnet, og som under skinn av å være kvantitativ, likevel har kvalitative elementer. Ståstedet for en slik kvalitativ vurdering kommer ikke frem i utredningen, bl.a. pga. mangel på refleksjon og legitimering av eget normativt ståsted.
En annen kritikkverdig side ved effektvurderingene, er at utredningen mangler en drøfting av om skolemedisin og alternativ medisin opererer innenfor samme virkefelt. Dette skal vi kommentere i det følgende.