Av 110 studier valdes enbart åtta studier ut

Shang Aijing, Huwiler-Müntener Karin, Nartey Linda, Jüni Peter, Dörig

Stephan, Sterne Jonathan A C, Pewsner Daniel och Egger Matthias

The Lancet: 2005; 366: 726-32

Shang et als meta-analys publicerad år 2005, säger sig jämföra homeopatisk behandling med konventionell medicinsk behandling, men den har kritiserats skarpt för att inte vara vetenskapligt korrekt utförd.

Shang et al valde att jämföra effekterna av homeopatisk behandling i åtta studier, med konventionell medicinsk behandling i sex studier, i stället för att jämföra 110 möjliga studier ur respektive grupp med varandra. Detta utan att tala om vilka studier som valdes ut, och på vilka grunder urvalet gjordes.

Det var år 2005 som medicintidskriften The Lancet publicerade en meta-analys som jämförde placebokontrollerade studier gjorda på homeopatisk behandling, med placebokontrollerade studier på konventionell medicinsk behandling. Meta-analysen ”Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy.” hade gjorts av Shang et al.

Meta-analysen har blivit skarpt kritiserad för att inte vara vetenskapligt korrekt utförd och för att den drar för långt gående slutsatser på ett tunt och icke redovisat underlag.

Bakgrunden till meta-analysen enligt forskargruppen Shang et al var att homeopati är utbrett, men att specifika effekter av homeopatiska läkemedel inte verkar plausibla, det vill säga rimliga eller sannolika. Shang et al menar att det kan handla om bias – metodfel och snedvridning – och närmare bestämt om systematiska fel i genomförandet och rapporterandet från både homeopatiska och konventionella behandlingar. Därför analyserade och bedömde Shang et al de olika ingående studierna och vilka behandlingseffekter i dem som var minst sannolika att vara präglade av bias.

Inom vetenskaplig metodik har man utvecklat olika metoder för att minska risken för bias. Ett exempel är att använda sig av en placebokontroll, där man ger ett aktivt läkemedel till hälften av patienterna i en studie och verkningslösa sockerpiller till den andra hälften av patienterna. Samtidigt föredras dubbelblinda studier, där patienterna väljs slumpmässigt till den ena eller andra gruppen, utan att de själva, behandlaren eller forskaren, vet vem som får ett aktivt läkemedel och vem som får verkningslösa sockerpiller.

Andra former av bias i vetenskapliga sammanhang är publikationsbias som innebär att en artikel med positivt resultat anses ha större värde än en artikel med negativt resultat och därmed troligen större chans att bli publicerad i en vetenskaplig tidskrift. Forskare kan också mer eller mindre medvetet vara mindre intresserad av att publicera en negativ artikel än en positiv artikel. Eller så kan själva urvalet av patienter som ingår i en studie ha ett samband med de variabler man mäter. Det kallas för selektionsbias. Observationsbias eller informationsbias innebär systematiska fel i hur två eller flera grupper studeras, som att forskaren bedömer och bemöter de olika grupperna olika vid intervjuer, eller underskattar biverkningar hos patienter som hoppar av en studie.

Shang et al fann 110 dubbelblinda adekvat randomiserade högkvalitativa homeopatiska studier, samt 110 matchande studier med konventionell behandling. I medeltal ingick 65 patienter i varje studie.

21 av studierna gjorda på homeopatisk behandling uppskattades hålla mycket hög kvalitet, jämfört med nio av de konventionellt utförda behandlingsstudierna. I båda grupperna visade studier med färre antal deltagare och lägre kvalitet på utförandet bättre effekter av behandlingarna, jämfört med större och högkvalitativa studier.

Så långt är allt väl med Shang et als meta-analys, men det är nu det blir knepigt. Shang et al jämför inte de 110 studierna ur respektive behandling med varandra. Inte heller jämför Shang et al de 21 högkvalitativa studierna på homeopatisk behandling med 21 studier som är gjorda på konventionell behandling.

I stället väljer Shang et al ut åtta (8) studier av de 110 studier som är gjorde på homeopatisk behandling. Dessa åtta studier jämför man med sex (6) studier som är gjorda på konventionell behandling.

Shang et al redovisar inte vilka kriterier man hade som grund för att göra urvalet. Inte heller redovisar man vilka åtta studier som ingår i den slutliga jämförelsen. Lika lite redovisar forskargruppen vilka sex studier som används från konventionell behandling. Det framgår inte hur många patienter som ingick i de åtta, respektive sex, utvalda studierna, effekter av behandlingen, och så vidare.

Det som är vetenskaplig praxis; att redovisa kriterier för urval, ”hoppar” Shang et al över. Forskargruppen går direkt in på att redovisa effekterna av homeopatisk behandling jämfört med konventionell behandling baserat på åtta, respektive sex, studier.

Shang et als tolkning av meta-analysen är att det förekommer bias i placebokontrollerade studier både när det gäller studier av homeopatisk och konventionell behandling. När forskargruppen korrigerade för biaser i meta-analysen fann de att det finns svaga bevis för effekter av homeopatiska läkemedel och starka bevis för specifika effekter vid konventionell behandling. Utifrån detta drar Shang et al slutsatsen att deras meta-analys visar att kliniska effekter vid homeopatisk behandling är placebo effekter.

Shang et als meta-analys har kritiserats kraftigt. Tidskriften The Lancet, som publicerade meta-analysen, har även med tre inlägg som problematiserar Shang et als meta-analys.

Shang et als meta-analys kritiseras för att inte följa accepterade och publicerade guidelines, bland annat Cochrane Collaborations riktlinjer, för hur man rapporterar en meta-analys. Meta-analyser bör redovisa deskriptiva (beskrivande) data för ingående studier. Shang et al rapporterade inte vilka studier man uteslöt, på vilka grunder de uteslöts, eller odds ratio för de studier som inkluderades, eller vilka åtta studier som inkluderades.

Att Shang et al inte redovisar hur de gått till väga gör det helt omöjligt för andra forskare att upprepa och pröva meta-analysen. En grundbult i vetenskapliga sammanhang är att en studie ska kunna upprepas, och därigenom prövas för att se att slutsatserna håller. Denna vetenskapliga praxis följer inte Shang et al.

Dessutom kritiseras Shang et al för att ha använt tvivelaktiga metoder för exkluderingen av studier, så kallade funnel plots, för att identifiera bias i studierna.

För att se mer ingående vetenskaplig analys, och kritik, av Shang et als studie: Se forskningschefen och läkaren Robert Hahns analyserande artiklar på

roberthahn2010.wordpress.com Välj Är homeopati bättre än placebo
roberthahn.nu Skriv in sökordet Homeopati

Artikeln Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy av Shang et al kan köpas här.