Zusammenhang zwischen Studienqualität und Behandlungsergebnissen in Studien zur Wirksamkeit von stationärer Psychotherapie – Eine Metaanalyse

Zusammenfassung

Einleitung: Die Qualität von Psychotherapiestudien wird immer wieder als möglicher Einflussfaktor auf das ermittelte Behandlungsergebnis diskutiert. Da sich in einer aktuellen Metaanalyse zur Wirksamkeit von stationärer Psychotherapie im deutschsprachigen Raum höchst uneinheitliche Behandlungseffekte zeigten, soll überprüft werden, inwiefern die Heterogenität der ermittelten Behandlungseffekte mit der Studienqualität zusammenhängt.

Material und Methoden: Die Qualität der 103 eingeschlossenen Studien wurde anhand von 19 Kriterien zur allgemeinen Studienqualität sowie zur internen und externen Validität beurteilt. Der Zusammenhang zwischen Studienqualität und Behandlungseffekt (Effektstärke Hedges’ g im Global Severity Index der Symptomcheckliste (SCL GSI) sowie einem Gesamtmaß über diverse Ergebnisparameter) wurde mittels univariater Korrelationsanalysen sowie Metaregression geprüft.

Ergebnisse: Insgesamt zeigt sich eine hohe Varianz der Studienqualität sowohl zwischen den eingeschlossenen Arbeiten als auch zwischen den verschiedenen Qualitätskriterien. Im Durchschnitt kann die Qualität der eingeschlossenen Studien als mittelmäßig beurteilt werden. Zwischen den meisten Qualitätskriterien und dem Behandlungseffekt liegen keine signifikanten Zusammenhänge vor. Tendenziell zeigen höherwertige Studien höhere Behandlungseffekte.

Diskussion: Die Operationalisierung einzelner Qualitätsaspekte erscheint noch optimierbar, da einige Kriterien fast nie, andere hingegen immer erfüllt wurden. Da sich je nach Kriterium sowohl positive als auch negative Zusammenhänge mit den Behandlungseffekten zeigen, kann die Studienqualität keinesfalls als einheitliches Konstrukt betrachtet werden. Die Bildung eines Qualitäts-Gesamtscores erscheint wenig sinnvoll.

Schlussfolgerung: In Hinblick auf die hier überprüfte Metaanalyse zur Wirksamkeit psychotherapeutischer Krankenhausbehandlung ist trotz der Berücksichtigung einiger qualitativ weniger hochwertiger Studien keine Überschätzung der aggregierten Behandlungsergebnisse anzunehmen.

Abstract

Introduction: It is widely accepted that the quality of a study may affect its results. A possible influence of the studies’ quality on the heterogeneity of the treatment effects will therefore be examined on the basis of studies being included in a recent meta-analysis on inpatient psychotherapy in German speaking countries.

Material and methods: The quality of the 103 included studies was assessed by means of 19 criteria addressing general study quality as well as internal and external validity. We examined the relation between study quality and treatment outcome (quantified by effect size Hedges’ g either for the Global Severity Index of the Symptom Checklist (SCL GSI) or for an overall outcome calculated across various measures) with univariate correlation analyses as well as metaregression.

Results: Study quality varies considerably between the included studies but also between the different quality criteria. On average, the included studies show a medium quality. Most quality criteria do not correlate significantly with the treatment effects. Studies of higher quality tend to show higher treatment effects.

Discussion: The operationalization of single quality items is still worthy of discussion since some criteria are hardly ever while others are always fulfilled. The study quality does not appear to be a homogenous concept, but there are positive as well as negative correlations between single criteria and treatment outcome. Accordingly, the calculation of a total quality score does not seem feasible.

Conclusion: Regarding the present meta-analysis on the effectiveness of psychotherapeutic hospital treatment, a systematic overestimation due to the inclusion of some studies with lower quality is not to be assumed.

Schlüsselwörter

Studienqualität - Behandlungsergebnis - stationäre Psychotherapie

Keywords

study quality - treatment outcome - inpatient psychotherapy

• Literatur

• 1 Chambless DL, Hollon SD. Defining empirically supported therapies. J Consult Clin Psychol 1998; 66: 7-18
• 2 Lincoln TM, Rief W. How much do sample characteristics affect the effect size? An investigation of studies testing the treatment effects for social phobia. J Anxiety Disord 2004; 18: 515-529
• 3 Moher D, Jadad AR, Nichol G et al. Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials 1995; 16: 62-73
• 4 Schulz KF, Chalmers I, Hayes RJ et al. Empirical evidence of bias: dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995; 273: 408-412
• 5 Higgins JPT, Green S. Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0 (01.03.2011). Im Internet http://www.cochrane-handbook.org Stand: 22.03.2014
• 6 Moher D, Pham B, Jones A et al. Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses?. Lancet 1998; 352: 609-613
• 7 Lambert MJ. The efficacy and effectiveness of psychotherapy. In: Lambert MJ. (Hrsg.) Bergin and Garfields’s handbook of psychotherapy and behavior change. 6. Aufl Hoboken, New Jersey: John Wiley & Sons, Inc; 2013: 169-218
• 8 Cuijpers P, Smit F, Bohlmeijer E et al. Efficacy of cognitive-behavioral therapy and other psychological treatments for adult depression: Meta-analytic study of publication bias. Br J Psychiatry 2010; 196: 173-178
• 9 Cuijpers P, van Straten A, Bohlmeijer E et al. The effects of psychotherapy for adult depression are overestimated: A meta-analysis of study quality and effect size. Psychol Med 2010; 40: 211-223
• 10 Cuijpers P, Clignet F, van Meijel B et al. Psychological treatment of depression in inpatients: A systemtatic review and meta-analysis. Clin Psychol Rev 2011; 31: 353-360
• 11 Wissenschaftlicher Beirat Psychotherapie (WBP). Methodenpapier des Wissenschaftlichen Beirats Psychotherapie. Verfahrensregeln zur Beurteilung der wissenschaftlichen Anerkennung von Methoden und Verfahren der Psychotherapie. Version 2.8 (22.09.2010) Im Internet http://www.wbpsychotherapie.de Stand: 07.09.2015
• 12 Sterne JAC, Higgins JPT, Reeves BC et al. A Cochrane Risk Of Bias Assessment Tool: for Non-Randomized Studies of Interventions (ACROBAT-NRSI). Version 1.0.0 (24.09.2014) Im Internet http://www.riskofbias.info Stand: 07.09.2015
• 13 Barth J, Munder T, Gerger H et al. Comparative Efficacy of Seven Psychotherapeutic Interventions for Patients with Depression: A Network Meta-Analysis. PLoS Med 2013; 10: e1001454
• 14 Steffanowski A, Löschmann C, Schmidt J et al. Meta-Analyse der Effekte stationärer psychosomatischer Rehabilitation. Mesta-Studie. Bern: Hans Huber; 2007
• 1 Liebherz S, Rabung S. Wirksamkeit psychotherapeutischer Krankenhausbehandlung im deutschsprachigen Raum: Eine Meta-Analyse. Psychother Psychosom Med Psychol 2013; 63: 355-364
• 16 Franke GH. SCL-90-R Die Symptom-Checkliste von Derogatis – Deutsche Version. Göttingen: Beltz Test. 1995
• 17 Liebherz S, Rabung S. Do patients’ symptoms and interpersonal problems improve in psychotherapeutic hospital treatment? – A systematic review and meta-analysis. PLoS One 2014; 9: e105329
• 18 Liebherz S, von Wolff A, Kriston L et al. Welche Merkmale sagen die Behandlungsdauer und das Behandlungsergebnis von psychotherapeutischer Krankenhausbehandlung voraus? – Eine Metaanalyse für den deutschsprachigen Raum. Psychiatr Prax 2015; 42: 181-190
• 19 Moher D, Hopewell S, Schulz KF et al. CONSORT 2010 Explanation and Elaboration: updated guidelines for reporting parallel group randomised trials. BMJ 2010; 340 c869
• 20 von Elm E, Altman DG, Egger M et al. The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) Statement: Guidelines for Reporting Observational Studies. PLoS Med 2007; 4: e296
• 21 Des Jarlais DC, Lyles C, Crepaz N. Improving the Reporting Quality of Nonrandomized Evaluations of Behavioral and Public Health Interventions: The TREND Statement. Am J Public Health 2004; 94: 361-366
• 22 Moher D, Liberati A, Tetzlaff J et al. Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. PLoS Med 2009; 6: e1000097
• 23 Liebherz S, Schmidt N, Rabung S. How to Assess the Quality of Psychotherapy Outcome Studies: A Systematic Review of Quality Assessment Criteria. Psychother Res 2015; DOI: 10.1080/10503307.2015.1044763.
• 24 Altman DG. Practical statistics for medical research. London: Chapman and Hall; 1991
• 25 Cohen J. Statistical power analysis for the behavioral sciences. 2. Aufl Hillsdale, NJ: Lawrence Erlbaum; 1988
• 26 George D, Mallery P. SPSS for Windows step by step: A simple guide and reference. 11.0 update 4. Aufl Boston: Allyn and Bacon; 2003
• 27 Hedges LV, Olkin I. Statistical methods for meta-analysis. Orlando: Academic Press; 1985
• 28 Wilson DB. Meta-analysis macros for SAS, SPSS, and Stata. Version 2005.05.23 (11.08.2010) Im Internet http://mason.gmu.edu/~dwilsonb/ma.html Stand: 15.11.2011
• 29 Herbison P, Hay-Smith J, Gillespie WJ. Adjustment of meta-analyses on the basis of quality scores should be abandoned. J Clin Epidemiol 2006; 59: 1249-1256
• 30 Jüni P, Altman DG, Egger M. Assessing the quality of controlled clinical trials. BMJ 2001; 323: 42-46
• 31 Howard KI, Lueger RJ, Maling MS et al. A phase model of psychotherapy outcome: causal mediation of change. J Consult Clin Psychol 1993; 61: 678-685
• 32 Beck AT, Steer RA, Brown GK. BDI-II Beck-Depressions-Inventar. 2. Aufl Frankfurt/Main: Harcourt; 2006