AMSTAR und PRISMA – Reviews bewerten

Die Qualität von Literaturreviews zu beurteilen ist schwierig für Therapeuten, die sich nur am Rande mit Wissenschaft befassen. Doch es gibt zwei praktikable Werkzeuge, an denen man sich entlanghangeln kann: AMSTAR und PRISMA.

Jan Mehrholz

Professor Dr. habil. Jan Mehrholz arbeitet an der Klinik Bavaria Kreischa. Er ist Professor an der SRH Fachhochschule für Gesundheit in Gera und Privatdozent an der Medizinischen Fakultät der TU Dresden.

Wollte man beschreiben, wie die Zahl der Physiotherapiestudien in den letzten Jahren angestiegen ist, wäre „rasant“ wohl am treffendsten. Um die Unmenge dieser Arbeiten zusammenzufassen und daraus Empfehlungen abzuleiten, erscheinen regelmäßig Übersichtsarbeiten. Man unterscheidet dabei zwei Formen: narrative und systematische Reviews. Für die wissenschaftlich untermauerte Physiotherapie sind vor allem die systematisch erstellten relevant.

Reviews haben die allerhöchste wissenschaftliche Anerkennung und Beweiskraft. Umso wichtiger ist es, dass man sich sicher sein kann, solchen Arbeiten auch vertrauen zu können. Ihre Qualität kann man recht gut einschätzen und bewerten - mit der Prüfliste PRISMA und der relativ neuen Skala AMSTAR.

PRISMA: nützliche Checkliste

PRISMA steht für „Preferred Reporting Items for Systematic reviews and Meta-Analyses“ („Internet“). Die Prüfliste wurde mit dem Ziel entwickelt, Autoren von systematischen Reviews ein Werkzeug an die Hand zu geben, an dem sie sich bei der Erstellung orientieren können. Derartige Bewertungswerkzeuge gab es schon vorher, zum Beispiel QUOROM. Dem gegenüber wurde PRISMA jedoch vor allem inhaltlich optimiert.

PRISMA beinhaltet eine Prüfliste mit insgesamt 27 Items und ein ebenfalls sehr nützliches Flussdiagramm, auf dem die einzelnen Schritte aufgelistet sind, die es in einem Review zu dokumentieren gilt: Anzahl der in Datenbanken gefundenen Studien, Anzahl der insgesamt gesichteten Studien, Anzahl der ausgeschlossenen Studien etc. [1, 2].

Doch nicht nur Forscher können PRISMA nutzen, sondern auch diejenigen, die die Reviews letztendlich lesen. Sie können damit einschätzen, ob die Reviewautoren die einzelnen Schritte aufgelistet haben, und sehen so, wie transparent diese gearbeitet haben. PRISMA ist allerdings keine Skala zur Bewertung mit einer Gesamtpunktzahl, anhand derer man einen sofortigen Überblick über die Qualität des Reviews erhält [1, 2]. Diese Lücke könnte AMSTAR schließen.

AMSTAR: praktisch zur Bewertung

AMSTAR bedeutet „A measurement tool for the assessment of multiple systematic reviews“. Es ist eine Elf-Item-Skala, bei der im Gegensatz zu PRISMA Punkte vergeben werden, die man zusammenrechnen und so - ähnlich wie mit PEDro für kontrollierte Studien - die methodische Güte einer Übersichtsarbeit feststellen und graduieren kann („AMSTAR - kompakt“). Für jedes der Items gibt es die AMSTAR hat nach erster Evaluation eine gute Inhaltsvalidität, um die methodische Güte von Reviews einzuschätzen. Allerdings braucht es noch Studien, welche die Reproduzierbarkeit beziehungsweise Zuverlässigkeit bei der Handhabung untersuchen. Auch die Konstruktvalidität von AMSTAR als Skala muss noch geprüft werden. Die Autoren des Werkzeugs betonen daher, dass sie bisher noch keine klaren Empfehlungen zum Gebrauch von AMSTAR machen können [3].

Therapeuten, die nicht selbst in der Forschung arbeiten, können sowohl von PRISMA als auch von AMSTAR profitieren - um einzuschätzen, ob die Autoren von Übersichtsarbeiten bei deren Erstellung sauber vorgegangen sind.

INTERNET

PRISMA

Eine ausführliche Erläuterung zur Review-Prüfliste „PRISMA“ findet sich unter www.prisma-statement.org/statement.htm.

AMSTAR - kompakt

1. Wurde das Design vorher festgelegt?

Forschungsfrage und Einschlusskriterien sollten vorab festgelegt worden sein.

2. Wurden Studienauswahl und Datenextraktion von mehr als einer Person durchgeführt?

Es sollten mindestens zwei voneinander unabhängige Datenextraktoren vorhanden und ein Konsensverfahren für Meinungsverschiedenheiten benannt worden sein.

3. Wurde eine umfassende Literaturrecherche durchgeführt?

Mindestens zwei elektronische Datenbanken sollten durchsucht werden. Der Bericht muss das Jahr der Suche, die Datenbanken, die Schlüsselwörter etc. enthalten. Alle Recherchen sollten zusätzlich eine Handsuche beinhalten und die Referenzlisten der einzelnen gefundenen Studien einbeziehen.

4. War der Publikationsstatus (z. B. graue Literatur, Sprache) relevant, damit eine Studie ins Review eingeschlossen wurde?

Autoren sollten darstellen, unabhängig vom Publikationstyp gesucht zu haben, und angeben, inwiefern Studien von der systematischen Überprüfung ausgeschlossen wurden.

5. Wurden ein- und ausgeschlossene Studien aufgelistet ?

6. Wurde die Charakteristik der eingeschlossenen Studien dargestellt?

Die Daten der Originalstudien (Teilnehmer, Intervention, Outcome) sollten zum Beispiel in einer Tabelle dargestellt werden.

7. Wurde die wissenschaftliche Qualität der eingeschlossenen Studien beurteilt und dokumentiert?

8. Wurde die wissenschaftliche Qualität der eingeschlossenen Studien angemessen in die Schlussfolgerung einbezogen?

Methodische Genauigkeit und wissenschaftliche Qualität der eingeschlossenen Studien sollten in der Analyse und in den Schlussfolgerungen der Übersichtsarbeit in Betracht gezogen und bei der Formulierung von Empfehlungen ausdrücklich berücksichtigt werden.

9. Waren die Methoden, die zur Zusammenfassung der Studienergebnisse genutzt wurden, angemessen?

Für zusammengefasste Ergebnisse sollte ein Test genutzt werden, der Homogenität bzw. Heterogenität der Ergebnisse prüft. Bei einer Heterogenität sollte ein „random effects model“ genutzt und/oder geprüft werden, ob es klinisch überhaupt angemessen ist, diese Studien gmeinsam zu bewerten.

10. Wurde eine mögliche Verzerrung der Ergebnisse durch Publikationsbias in Betracht gezogen?

11. Wurde ein möglicher Interessenkonflikt dargestellt?

Eine potenzielle finanzielle Unterstützung der Übersichtsarbeit und der eingeschlossenen Studien sollte vermerkt werden.