Tidig meta-analys visade god effekt av homeopati

Kleijnen J, Knipschild P, ter Riet G.

Clinical trials of homoeopathy.

Br Med J. 1991; 302: 316-23.

År 1991 publicerades den första meta-analysen av hur effektiv homeopatisk behandling är. Av totalt 105 studier visade 81 positiva effekter, medan 24 studier inte visade några tydliga effekter.

Artikeln Clinical trials of homoeopathy, som publicerades i tidskriften British Medical Journal år 1991, är en meta-analys, troligen den första, där tre forskare: Jos Kleijnen, Paul Knipschild och Gerben ter Riet, undersökte om det finns bevis för att homeopatisk behandling av människor är effektivt.

Studien lades upp som en meta-analys med systematisk värdering av kvaliteten hos de studier forskargruppen lyckades hitta efter att sökt vitt och brett efter både publicerade, och icke-publicerade studier. Utifrån predefinierade kvalitetskriterier poängsattes de olika studierna.

Forskartrions slutsatser är att bevisen för homeopatins effektivitet är positiva, men trion vill inte dra några definitiva slutsatser, dels på grund av att de flesta studierna höll en låg metodologisk kvalitet, dels för att det kunde finnas risk för bias, det vill säga metodfel i form av systematiska fel i insamlandet och tolkningen av data i de ingående studierna. Forskartrion lyfte särskilt fram risken för så kallad publikationsbias, som innebär att en artikel med positivt resultat från en studie anses ha större värde än en artikel med negativt resultat. Därför har artiklar med positivt resultat större chans att bli publicerade i en vetenskaplig tidskrift. Forskare kan också mer eller mindre medvetet vara mer intresserade av att få en positiv artikel publicerad, än en negativ.

För att minska risken för metodfel när det gäller just publiceringar, ägnade Kleijen et al mycket tid åt att samla in artiklar, och att höra med forskare om de hade artiklar som inte blivit publicerade. De lade också stor vikt vid hur många patienter som ingick i studierna, eftersom det anses troligt att forskare som jobbat mycket med en stor och arbetskrävande studie gärna ser den publicerad, oavsett om resultaten är positiva eller negativa.

Kleijnen och hans kollegor beskriver att bakgrunden till att de blev intresserade av att göra en meta-analys var en enkät bland 293 allmänpraktiserande läkare i Nederländerna. Den visade att 45 procent av läkarna trodde att homeopatiska läkemedel är effektiva för att behandla inflammationer i de övre luftvägarna eller hösnuva. Detta, fastslår Kleijnen et al, samtidigt som många läkare inte alls tror på homeopatisk behandling av det skälet att det inte är plausibelt, alltså antagligt eller tänkbart, att en kraftigt utblandad urtinktur kan ha några effekter.

Forskartrion menade också att det påstods då, i slutet av 1980-talet, att det saknades utvärderingar av homeopatisk behandling som utförts i kontrollerade studier. Detta höll dock forskartrion inte alls med om. De hade särskilt fastnat för en studie som visade synnerligen bra resultat vid behandling av hösnuva. Denna studies goda resultat, fick forskartrion att sätta igång arbetet med meta-analysen. De ägnade tre år åt att samla in studier, träffa forskare, besöka tillverkare, med mera.

Totalt fann Kleijnen et al 107 kontrollerade studier. Av dessa hade 105 tillräckliga data för att ingå i meta-analysen.

Studierna granskades utifrån i förväg uppsatta kriterier för vad som skulle poängsättas. Som mest kunde en studie få 100 poäng. Bland annat bedömdes:

  1. Att patientens symtom hade beskrivits adekvat, med hur lång tid symtomen funnits, och hur allvarliga de var. Max 10 poäng.
  2. Antalet patienter som ingick i studien. 100 patienter eller fler gav maximala 30 poäng, 50-99 patienter 20 poäng och 25-49 patienter 10 poäng.
  3. Randomisering, alltså slumpmässig uppdelning i grupper, med kontrollgrupp, samt att tillvägagångssättet beskrivits. Max 20 poäng.
  4. Hur väl interventionen med medicin, potens och antalet doser beskrevs. Max 5 poäng.
  5. Dubbel-blindning, det vill säga att studien utförts utan att patienten, homeopaten eller forskaren vet vilka som får homeopatiska läkemedel och vilka som får placebo, samt att placebogruppen inte gick att särskilja i studien. Max 20 poäng.
  6. Hur väl och utförligt effekterna mätts och beskrivits. Max tio poäng.
  7. Om resultaten presenterats på ett sådant sätt att analysen kunde kontrolleras av läsare. Max 5 poäng.

Varje publicerad artikel gicks igenom av minst två av de tre forskarna. De poängsatte studiens kvalitet och jämförde sedan sina bedömningar. Som mest skiljde sig bedömningarna med 13 poäng. Vid olika poängsättning diskuterade man fram en gemensam poängsättning. Det visade sig att man tyckte mest olika när det handlade om hur patientens tillstånd beskrevs, samt hur de uppmätta effekterna tolkades.

Av de totalt 107 studierna fick 23 studier 55 poäng eller mer, medan 84 fick under 55 poäng. Detta får forskartrion att besviket konstatera att den metodologiska kvaliteten överlag är dålig i homeopatiska studier. Hälften av de publicerade artiklarna, 63 stycken, handlade om studier med färre än 25 patienter i varje grupp. 68 studier var randomiserade, men det exakta tillvägagångssättet beskrevs enbart i 17 av dessa. 75 studier var dubbelblinda, men placebogruppen beskrevs inte som omöjlig att skilja ut från aktiv substans i fler än 31 av dem.

I 14 av studierna gavs klassisk behandling. En av dessa fick över 69 poäng, det var Brigo, som år 1987 hade testat att ge medel i C30 till 30 patienter med migrän, åtta olika medel var aktuella, medan 30 fick placebo. Efter fyra månader uppgav de som fick homeopatisk behandling att migränens svårighetsgrad på en skala 0-10 hade sjunkit från 9,1 till 2,9, medan placebogruppen gick från 8,4 till 7,8. Även frekvensen och hur länge migränen höll i sig hade samma positiva förbättring för de homeopatiskt behandlade, jämfört med placebogruppens patienter.

I 58 studier gavs samma medel (klinisk homeopati), i 26 studier användes kombinationer av homeopatiska läkemedel (komplex) och nio studier använde isopati.

De vanligaste diagnoserna i studierna gällde luftvägar, hösnuva, astma, mag- och tarm, smärtor och reumatologiska sjukdomar.

Av de 105 studier som ingick i meta-analysen visade 81 positiva effekter av homeopatisk behandling när de jämfördes med placebogruppen. Ser man enbart till de 22 studier som fick 55 poäng eller mer i kvalitetsbedömningen visade 15 positiva resultat, medan sju inte visade några effekter vid homeopatisk behandling. Ser man på de 83 studier som fick under 55 poäng visade 66 positiva resultat och 17 negativa.

När Kleijnen et al analyserar meta-analysens resultat pekar de på flera saker som kan krångla till det för forskare. Bland annat att det finns olika homeopatiska behandlingsmetoder, och att även tillverkningen av homeopatiska läkemedel skiljer sig åt (hur mycket alkohol, det vill säga D- eller C-potenser, antalet skakningar vid potenseringen, etcetera). Samtidigt som de konstaterar att det saknas en vetenskaplig förklaring till hur homeopatiska läkemedel fungerar, konstaterar de att det finns otaliga exempel även inom den konventionella medicinen där man inte känner till medicinernas mekanismer. Slutligen pekar även Kleijnen et al på problemet med cross-over effekten vid dubbel-blindade studier. Eftersom effekten av homeopatiska läkemedel sitter i under en längre tid kan den påverka resultatet efter att försökspersonen skiftar från aktiv behandling till placebo.

Eftersom forskartrion inför meta-analysen pekade på risken för publikationsbias ansträngde de sig extra mycket för att reda ut om det fanns metodfel, som att positiva artiklar skulle ha publicerats mer, särskilt i alternativa tidskrifter. Inga samband hittades dock mellan studiernas resultat och var studierna publicerades. Genom att prata med olika forskare hittades sex artiklar som inte hade publicerats. Varför de inte hade publicerats gick inte att få fram men Kleijnen et al tror att det kan vara negativa resultat som ligger bakom.

Slutligen konstaterar Kleijnen et al att de många positiva effekterna som studierna visade förvånade dem och de för sedan ett långt resonemang om hur positiva resultat tas emot hos folk i allmänhet. Frågan är, skriver Kleijnen et al, år 1991: Vilka mer bevis behövs? Fler väl utförda kontrollerade studier, ja, men hur många för att man ska kunna dra definitiva slutsatser? De bevis, skriver Kleijnen et al, som meta-analysen visar borde räcka för att etablera homeopatin som en behandlingsform i vissa sammanhang.

De menar även att det inte finns några skäl att tro att influensen av publikationsbias och dålig metodologi, skiljer sig från studier inom den konventionella medicinen.

Troligen, fastslår Kleijnen et al, så behövs det en plausibel förklaring till mekanismen bakom homeopatin. De avslutar med att de gärna vill se några väl genomförda kontrollerade studier som är rigoröst dubbel-blindade och som framför allt omfattar många deltagare.

Konklusionen av metaanalysen blev att det för stunden finns en positiv effekt utifrån kliniska försök, men att det inte är tillräckligt för ett definitivt avgörande eftersom majoriteten av studierna håller en allt för låg kvalitet, samt att det är osäkert hur mycket som publikationsbias spelar in.

Studien finns här:

 

Av 110 studier valdes enbart åtta studier ut

Shang Aijing, Huwiler-Müntener Karin, Nartey Linda, Jüni Peter, Dörig
Stephan, Sterne Jonathan A C, Pewsner Daniel och Egger Matthias

Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy
 
The Lancet: 2005; 366: 726-32

Shang et als meta-analys publicerad år 2005, säger sig jämföra homeopatisk behandling med konventionell medicinsk behandling, men den har kritiserats skarpt för att inte vara vetenskapligt korrekt utförd.

Shang et al valde att jämföra effekterna av homeopatisk behandling i åtta studier, med konventionell medicinsk behandling i sex studier, i stället för att jämföra 110 möjliga studier ur respektive grupp med varandra. Detta utan att tala om vilka studier som valdes ut, och på vilka grunder urvalet gjordes.

Det var år 2005 som medicintidskriften The Lancet publicerade en meta-analys som jämförde placebokontrollerade studier gjorda på homeopatisk behandling, med placebokontrollerade studier på konventionell medicinsk behandling. Meta-analysen ”Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy.” hade gjorts av Shang et al.

Meta-analysen har blivit skarpt kritiserad för att inte vara vetenskapligt korrekt utförd och för att den drar för långt gående slutsatser på ett tunt och icke redovisat underlag.

Bakgrunden till meta-analysen enligt forskargruppen Shang et al var att homeopati är utbrett, men att specifika effekter av homeopatiska läkemedel inte verkar plausibla, det vill säga rimliga eller sannolika. Shang et al menar att det kan handla om bias – metodfel och snedvridning – och närmare bestämt om systematiska fel i genomförandet och rapporterandet från både homeopatiska och konventionella behandlingar. Därför analyserade och bedömde Shang et al de olika ingående studierna och vilka behandlingseffekter i dem som var minst sannolika att vara präglade av bias.

Inom vetenskaplig metodik har man utvecklat olika metoder för att minska risken för bias. Ett exempel är att använda sig av en placebokontroll, där man ger ett aktivt läkemedel till hälften av patienterna i en studie och verkningslösa sockerpiller till den andra hälften av patienterna. Samtidigt föredras dubbelblinda studier, där patienterna väljs slumpmässigt till den ena eller andra gruppen, utan att de själva, behandlaren eller forskaren, vet vem som får ett aktivt läkemedel och vem som får verkningslösa sockerpiller.

Andra former av bias i vetenskapliga sammanhang är publikationsbias som innebär att en artikel med positivt resultat anses ha större värde än en artikel med negativt resultat och därmed troligen större chans att bli publicerad i en vetenskaplig tidskrift. Forskare kan också mer eller mindre medvetet vara mindre intresserad av att publicera en negativ artikel än en positiv artikel. Eller så kan själva urvalet av patienter som ingår i en studie ha ett samband med de variabler man mäter. Det kallas för selektionsbias. Observationsbias eller informationsbias innebär systematiska fel i hur två eller flera grupper studeras, som att forskaren bedömer och bemöter de olika grupperna olika vid intervjuer, eller underskattar biverkningar hos patienter som hoppar av en studie.

Shang et al fann 110 dubbelblinda adekvat randomiserade högkvalitativa homeopatiska studier, samt 110 matchande studier med konventionell behandling. I medeltal ingick 65 patienter i varje studie.

21 av studierna gjorda på homeopatisk behandling uppskattades hålla mycket hög kvalitet, jämfört med nio av de konventionellt utförda behandlingsstudierna. I båda grupperna visade studier med färre antal deltagare och lägre kvalitet på utförandet bättre effekter av behandlingarna, jämfört med större och högkvalitativa studier.

Så långt är allt väl med Shang et als meta-analys, men det är nu det blir knepigt. Shang et al jämför inte de 110 studierna ur respektive behandling med varandra. Inte heller jämför Shang et al de 21 högkvalitativa studierna på homeopatisk behandling med 21 studier som är gjorda på konventionell behandling.

I stället väljer Shang et al ut åtta (8) studier av de 110 studier som är gjorde på homeopatisk behandling. Dessa åtta studier jämför man med sex (6) studier som är gjorda på konventionell behandling.

Shang et al redovisar inte vilka kriterier man hade som grund för att göra urvalet. Inte heller redovisar man vilka åtta studier som ingår i den slutliga jämförelsen. Lika lite redovisar forskargruppen vilka sex studier som används från konventionell behandling. Det framgår inte hur många patienter som ingick i de åtta, respektive sex, utvalda studierna, effekter av behandlingen, och så vidare.

Det som är vetenskaplig praxis; att redovisa kriterier för urval, ”hoppar” Shang et al över. Forskargruppen går direkt in på att redovisa effekterna av homeopatisk behandling jämfört med konventionell behandling baserat på åtta, respektive sex, studier.

Shang et als tolkning av meta-analysen är att det förekommer bias i placebokontrollerade studier både när det gäller studier av homeopatisk och konventionell behandling. När forskargruppen korrigerade för biaser i meta-analysen fann de att det finns svaga bevis för effekter av homeopatiska läkemedel och starka bevis för specifika effekter vid konventionell behandling. Utifrån detta drar Shang et al slutsatsen att deras meta-analys visar att kliniska effekter vid homeopatisk behandling är placebo effekter.

Shang et als meta-analys har kritiserats kraftigt. Tidskriften The Lancet, som publicerade meta-analysen, har även med tre inlägg som problematiserar Shang et als meta-analys.

Shang et als meta-analys kritiseras för att inte följa accepterade och publicerade guidelines, bland annat Cochrane Collaborations riktlinjer, för hur man rapporterar en meta-analys. Meta-analyser bör redovisa deskriptiva (beskrivande) data för ingående studier. Shang et al rapporterade inte vilka studier man uteslöt, på vilka grunder de uteslöts, eller odds ratio för de studier som inkluderades, eller vilka åtta studier som inkluderades.

Att Shang et al inte redovisar hur de gått till väga gör det helt omöjligt för andra forskare att upprepa och pröva meta-analysen. En grundbult i vetenskapliga sammanhang är att en studie ska kunna upprepas, och därigenom prövas för att se att slutsatserna håller. Denna vetenskapliga praxis följer inte Shang et al.

Dessutom kritiseras Shang et al för att ha använt tvivelaktiga metoder för exkluderingen av studier, så kallade funnel plots, för att identifiera bias i studierna.

För att se mer ingående vetenskaplig analys, och kritik, av Shang et als studie: Se forskningschefen och läkaren Robert Hahns analyserande artiklar på

roberthahn2010.wordpress.com Välj Är homeopati bättre än placebo
roberthahn.nu Skriv in sökordet Homeopati

Artikeln Are the clinical effects of homoeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy av Shang et al kan köpas här.