Das CONSORT Statement: Überarbeitete Empfehlungen zur Qualitätsverbesserung von Reports randomisierter Studien im Parallel-Design

Inhaltsübersicht

Zusammenfassung

Um die Ergebnisse aus randomisierten, kontrollierten Studien (Randomized Controlled Trial, Abk.: RCT) richtig einzuschätzen, müssen Leser das Design, die Durchführung, die Analyse und die Interpretation der Studie nachvollziehen können. Dieses Ziel kann nur erreicht werden, wenn die Autoren ihre Methoden vollständig transparent machen. Trotz der Bemühungen der letzten Jahrzehnte, muss die Beschreibung von RCTs verbessert werden. Das ursprüngliche CONSORT Statement („Consolidated Standards of Reporting Trials”: Gemeinsame Standards für die Beschreibung von Studien) wurde von Wissenschaftlern und Herausgebern entwickelt, um Autoren zu helfen, mittels Checklisten und Flussdiagrammen die Dokumentation zu verbessern. Das überarbeitete Statement, das hier vorgestellt wird, beinhaltet neue Erkenntnisse und geht auf einige Kritikpunkte an der ursprünglichen Empfehlung ein.

Die Checkliste befasst sich mit den Inhalten der Überschrift, der Zusammenfassung, der Einführung, der Methoden, der Ergebnisse, sowie der Diskussion. Die überarbeitete Checkliste beinhaltet 22 Punkte, da empirische Evidenz gezeigt hat, dass das Nicht-Berichten von Informationen mit verzerrten Schätzungen des Behandlungseffektes („bias”) assoziiert ist. Zudem ist diese Information notwendig, um die Reliabilität oder Relevanz der Ergebnisse zu beurteilen. Das Flussdiagramm soll den Verlauf der Studienteilnehmer innerhalb eines RCTs zeigen. Das überarbeitete Flussdiagramm zeigt Informationen aus vier Studienabschnitten (Aufnahme, Interventionszuordnung, Nachbeobachtung und Auswertung). Es enthält explizit die Anzahl der Studienteilnehmer für jede Interventionsgruppe, die in die primäre Datenanalyse einbezogen wurde. Die Leser können dank der Berücksichtigung dieser Zahlen beurteilen, ob die Autoren eine „Intention-to-treat” Analyse durchgeführt haben.

Zusammengefasst soll das CONSORT Statement die Beschreibung von RCTs verbessern und es damit den Lesern ermöglichen, die Durchführung einer Studie zu verstehen und die Validität der Ergebnisse zu beurteilen.

Einleitung

Der Bericht über eine randomisierte, kontrollierte Studie sollte dem Leser transparent vermitteln, welches Ziel eine Studie hat und wie sie durchgeführt und analysiert wurde. So konnte beispielsweise eine unzulänglich beschriebene Randomisierung mit einer Verzerrung („bias”) der Schätzung der Wirksamkeit der Intervention in Zusammenhang gebracht werden [1] [2]. Zur Beurteilung der Stärken und Schwächen eines RCTs braucht und verdient der Leser Kenntnis der Qualität der verwendeten Methodik.

Trotz der Ausbildungsbemühungen der letzten Jahrzehnte werden RCTs immer noch nicht angemessen berichtet [3], [4], [5], [6]. So zeigte zum Beispiel eine Übersichtsarbeit über 122 kürzlich veröffentlichte RCTs zur Wirksamkeit von selektiven Serotoninwiederaufnahmehemmern als Initialtherapie bei Depressionen, dass nur in einer Studie (0,8 %) die Randomisierung angemessen beschrieben wurde [5]. Unzureichende Beschreibung erschwert die Interpretation von RCTs oder macht sie sogar unmöglich. Zudem grenzt unzulängliche Berichterstattung ans Unethische, wenn dadurch die verzerrten („biased”) Ergebnisse eine falsche Glaubwürdigkeit erlangen.

Die Geschichte von CONSORT

Mitte der 90er Jahre führten zwei voneinander unabhängige Initiativen zur Qualitätsverbesserung der Beschreibung von RCTs zur Publikation des CONSORT Statements [7]. Das CONSORT Statement wurde entwickelt von einer internationalen Gruppe, bestehend aus klinischen Forschern, Statistikern, Epidemiologen und Herausgebern aus dem biomedizinischen Bereich. CONSORT wird unterstützt von einer zunehmend größeren Zahl medizinischer Zeitschriften [8], [9], [10], [11], von Herausgebervereinigungen, wie vom „International Committee of Medical Journal Editors” (ICMJE, auch bekannt als die Vancouver Group) [12], vom „Council of Science Editors” (CSE) und von der „World Association of Medical Editors” (WAME). CONSORT wird auch auf Holländisch, Englisch, Französisch, Deutsch, Japanisch und Spanisch veröffentlicht. Es ist im Internet zusammen mit weiteren Informationen über die CONSORT Gruppe zugänglich [13].

Das CONSORT Statement besteht aus einer Checkliste und einem Flussdiagramm zur Beschreibung von RCTs. Der Einfachheit halber werden die Checkliste und das Flussdiagramm zusammen CONSORT genannt. CONSORT ist in erster Linie dazu bestimmt, beim Verfassen, Beurteilen und Auswerten von Berichten über einfache, parallele Zweigruppen-RCTs behilflich zu sein.

Vorläufige Studienergebnisse zeigen, dass der Gebrauch von CONSORT tatsächlich dazu beiträgt, die Qualität der Beschreibung von RCTs zu verbessern [14] [15]. Eine Auswertung [14] von 71 RCTs in drei verschiedenen Zeitschriften aus dem Jahre 1994 zeigte, dass bei 43 Studien (61 %) die Geheimhaltung der Behandlungsfolge („allocation concealment”) nicht eindeutig beschrieben worden war. 4 Jahre später, nachdem diese drei Zeitschriften CONSORT verpflichtend für Autoren von RCTs gemacht hatten, fiel der Anteil der Studien, in denen nicht eindeutig über die Geheimhaltung der Behandlungsfolge berichtet wurde, auf 39 % (30 von 77; mittlerer Unterschied, -22 % (Konfidenzintervall des Unterschiedes: -38 %; -6 %)).

Der Nutzen von CONSORT wird durch kontinuierliches Monitoring der biomedizinischen Veröffentlichungen gesteigert. So kann CONSORT, falls es angemessen ist, modifiziert werden und neue Punkte einschließen. Als z. B. Meinert [16] anmerkte, dass im Flussdiagramm wichtige Informationen über die Anzahl der Teilnehmer, die in einen jeweiligen Studienabschnitt (Aufnahme, Behandlungszuordnung, Nachbeobachtung und Datenanalyse) aufgenommen wurden, fehlten, konnte das Diagramm dementsprechend verändert werden. Die Checkliste ist ähnlich flexibel.

Aufgrund dieses schrittweisen Prozesses ist das CONSORT Statement ein sich ständig weiterentwickelndes Instrument. Während sich im Laufe der Zeit die Teilnehmer der CONSORT Gruppe und das Ausmaß ihrer Mitwirkung ändern, gibt es regelmäßige Treffen der Teilnehmer, bei denen die Notwendigkeit einer Überarbeitung von CONSORT geprüft wird. Bei dem Treffen im Jahr 1999 entschieden sich die Teilnehmer, den ursprünglichen CONSORT Report zu revidieren. Aufgrund neuer Evidenz über die Bedeutung einzelner Komponenten von RCTs reflektieren die Veränderungen des vorliegenden Berichtes den Konsensusbeschluss der CONSORT Gruppe zu diesen Fragen.

Überarbeitung des CONSORT Statements

Im Mai 1999 trafen sich 13 Mitglieder der CONSORT Gruppe mit dem Ziel, die ursprüngliche CONSORT Checkliste und das Flussdiagramm nach Bedarf zu überarbeiten. Im Hinblick auf aktuelle Erkenntnisse wurden alle Inhalte auf ihr Verbleiben in der Liste hin diskutiert. Wie bei der Entwicklung des ursprünglichen CONSORT Statement war es unsere Absicht, nur solche Punkte zu berücksichtigen, die als wesentlich für die Beschreibung von RCTs erachtet wurden. Einige für nicht wesentlich erachtete Inhalte können jedoch dennoch sehr wünschenswert sein und sollten daher in einen Studienbericht einfließen, auch wenn sie nicht im CONSORT Statement genannt sind. Dazu gehören z. B. ein positives Votum der Ethik-Kommission, die Finanzierung und eine Studienregistrierungsnummer (wie z. B. die „International Standard Randomized Controlled Trial Number” (ISRCTN), welche zu Beginn einer Studie vergeben wird).

Kurz nach dem Treffen wurde die überarbeitete Version der Checkliste an alle Mitglieder der Gruppe mit Bitte um zusätzliche Kommentare und Rückmeldungen verteilt. Das Flussdiagramm wurde auf die gleiche Weise überarbeitet. Im Mai 2000 wurden die Veränderungen bei einem Treffen aller CONSORT Mitglieder diskutiert und kurz danach als revidiertes Statement verabschiedet.

Das revidierte CONSORT Statement enthält eine Checkliste mit 22 Punkten (Tabelle) und ein Flussdiagramm (Abbildung). Vorrangiges Ziel ist es, Autoren behilflich zu sein, die Qualität der Dokumentation von einfachen, parallelen Zweigruppen-RCTs zu verbessern. Der dem CONSORT Statement zugrunde liegende Grundgedanke kann jedoch auch für Berichte anderer Studiendesigns verwendet werden. Daher wird die Gruppe in Zukunft zusätzliche Empfehlungen zu anderen Studiendesigns ausarbeiten [13]. CONSORT kann auch von Peer-Reviewern und Herausgebern verwendet werden, um Berichte mit unzureichender Beschreibung der Studien und solche mit möglicherweise verzerrten Ergebnissen zu identifizieren [1] [2].

Während des Treffens im Jahre 1999 diskutierte die Gruppe auch die Vorteile einer ausführlichen Langfassung, um den Gebrauch und die Verbreitung von CONSORT zu unterstützen. Als Vorlage diente der Bericht über statistische Aspekte klinischer Forschung [18], welcher entwickelt wurde, um die Umsetzung der Empfehlungen des ICMJE „Uniform Requirements for Manuscipts Submitted to Biomedical Journals” (Einheitliche Anforderungen biomedizinischer Zeitschriften für eingereichte Manuskripte) zu unterstützen. Drei Mitglieder der CONSORT Gruppe (DGA, KFS, DM) entwarfen ein ausführliches und erklärendes Dokument, wobei sie bei einigen Inhalten von weiteren Mitgliedern unterstützt wurden. Dieses Dokument [19] wurde allen Mitgliedern zur Begutachtung zugänglich gemacht und schließlich nach erneuter Durchsicht beim letzten CONSORT Gruppentreffen revidiert.

Veränderungen am CONSORT Statement

1. In der überarbeiteten Checkliste gibt es eine neue Spalte „Publikationsabschnitt”, welche die Inhalte aus der Spalte „Untertitel” des ursprünglichen Berichts zusammenfasst.

2. Die Spalte „Wurde es erwähnt?” ist, wie von einigen Zeitschriften erbeten, umbenannt worden in „Erwähnt auf Seite Nr.”.

3. Die einzelnen Inhaltspunkte der Checkliste sind jetzt nummeriert und die Syntax und Reihenfolge wurden verändert, um den Informationsfluss zu verbessern.

4. „Titel” und „Zusammenfassung” sind jetzt unter dem ersten Punkt zusammengefasst.

5. Obwohl die überarbeitete Checkliste der bisherigen inhaltlich sehr ähnlich ist, werden einige vorher zusammen abgehandelte Punkte nun getrennt gelistet. So z. B. wurden Autoren bisher gebeten, „primäre und sekundäre Endpunkte”, und die „minimale klinisch relevante Differenz” zu erwähnen, und zu erklären, „wie die Fallzahlen bestimmt wurden”. In der neuen Version wurden Punkte mit dem Inhalt „Zielkriterien” (Punkt 6) bzw. „Fallzahlbestimmung” (Punkt 7) getrennt gelistet, um den Autoren zu ermöglichen, genauer über beide zu berichten. Ferner werden zu manchen Punkten zusätzliche Informationen erbeten. So werden z.  B. die Autoren unter „Zielkriterien” (Punkt 6) gebeten, alle Methoden aufzulisten, die die Qualität der Messungen verbessern, wie z.  B. Mehrfachbeobachtungen.

6. Der Abschnitt über die Randomisierungseinheit (z. B. Cluster) wurde entfernt, da eigene Checklisten für die Berichterstattung von Cluster-Studien [20] und anderen Studiendesigns [13] seit der Publikation der ursprünglichen Checkliste erarbeitet worden sind.

7. Wo möglich, wurden neue Erkenntnisse in die neue Checkliste integriert. So werden Autoren z. B. explizit danach gefragt, ob die Analyse nach dem „Intention-to-treat” Verfahren durchgeführt wurde (Punkt 16). Diese Forderung basiert zumindest teilweise auf der Beobachtung [21], dass (a) Autoren das „Intention-to-treat” Verfahren nicht genau beschreiben und anwenden und (b) Berichte, die über diese Informationen keine Auskunft geben, häufiger auch andere relevante Informationen, wie z. B. über unvollständige Nachbeobachtung, vermissen lassen [22].

8. Das überarbeitete Flussdiagramm zeigt Informationen aus vier Studienabschnitten: Aufnahme, Behandlungszuordnung, Nachbeobachtung und Datenanalyse. Das revidierte Diagramm enthält die Zahl der Studienteilnehmer für jede Interventionsgruppe, die in die primäre Datenanalyse aufgenommen wurden. Der Einschluss dieser Zahlen informiert den Leser darüber, ob die Autoren eine „Intention-to-treat” Analyse durchgeführt haben [21], [22], [23]. Für einzelne Studien könnte es notwendig sein, das Flussdiagramm zu modifizieren, da nicht immer alle Informationen vorhanden sind oder andere Informationen berücksichtigt werden müssen. Das Flussdiagramm sollte möglichst immer Verwendung finden, kann aber bei einfachen Studien unnötig sein, wenn z. B. keine Ausschlüsse oder Abbrüche von Studienteilnehmern vorliegen.

Diskussion

Das CONSORT Statement wurde eigens als Anleitung für Autoren entwickelt, um die Qualität der Berichterstattung von einfachen, parallelen Zweigruppen-RCTs zu verbessern. Es ermutigt zur Transparenz der Beschreibung der Methoden und Ergebnisse und ermöglicht damit eine schnelle und genaue Interpretation der Studie. Allerdings befasst sich CONSORT nicht mit anderen notwendigen Aspekten der Berichterstattung wie dem wissenschaftlichen Inhalt und der Lesbarkeit von RCT Berichten. Einige Autoren haben in ihrer Begeisterung, CONSORT zu nutzen, die Checkliste modifiziert [24]. Wir empfehlen, solche Veränderungen nicht vorzunehmen, da sie unter Umständen auf einem anderen Entstehungsprozess beruhen als dem von der CONSORT Gruppe benutzten.

Der Gebrauch von CONSORT scheint die Zahl nicht ausreichender Reports über RCTs zu verringern (wenn auch nicht zu verhindern) [14] [15]. Möglicherweise beeinflusst CONSORT auch die Durchführung von Studien positiv. Forschungs-Förderer haben diesen möglichen Zusammenhang erkannt und zumindest in einem Fall [25] die Antragsteller dazu aufgefordert, in ihrem Antrag zu prüfen, inwieweit sie CONSORT Inhalte berücksichtigt haben.

Der evidenz-basierte Ansatz, mit dem das CONSORT Statement entwickelt wurde, ist auch bei der Entwicklung von Standards zur Dokumentierung von Meta-Analysen von RCTs [26], von Beobachtungsstudien [27] und von diagnostischen Studien (Lijmer J., persönliche Mitteilung) verwendet worden. Mittlerweile haben auch Gesundheitsökonomen begonnen, Standards für die Dokumentierung [28] zu entwickeln, um die Qualität ihrer Berichte zu verbessern [29]. Das gemeinsame Ziel dieser Initiativen ist es, die Qualität der Berichterstattung in der biomedizinischen Forschung [30] zu verbessern und damit zu einer effektiveren Gesundheitsversorgung beizutragen.

Das überarbeitete CONSORT Statement ersetzt die bisherige Version der Zeitschriften und Gruppen, die es schon unterstützen. Zeitschriften, die CONSORT bisher nicht verwenden, können sich zu diesem Zweck auf der CONSORT Webseite registrieren lassen [13]. Um Autoren die Wichtigkeit der Qualitätsverbesserung der Dokumentation von RCTs zu verdeutlichen, empfehlen wir, dass CONSORT unterstützende Zeitschriften in ihren Richtlinien für Autoren das überarbeitete CONSORT Statement zitieren und die Internet Adresse angeben [13]. Da Zeitschriften, die das überarbeitete CONSORT Statement publizieren, auf ihre Copyright Rechte verzichten, steht CONSORT der biomedizinischen Forschungsgemeinschaft uneingeschränkt zur Verfügung. Die CONSORT Checkliste (Tab. [1]) und das Flussdiagramm (Abb. [1]) sind beide auch auf der CONSORT Webseite zu finden [13].

Tab. 1 Checkliste zur Publikation randomisierter Studien.

Publikationsabschnitt		Beschreibung	Erwähnt auf Seite:
Titel und Zusammenfassung	1	Zuordnung zu Therapiegruppen (z. B. „randomisierte Verteilung”, „randomisiert”, oder „randomisierte Zuweisung”).	|
Einleitung Hintergrund	2	Wissenschaftlicher Hintergrund und Begründung der Studie.
Methoden
Probanden/Patienten	3	Einschlusskriterien der Probanden/Patienten, Studienorganisation und Ort der Studiendurchführung (z. B. im Krankenhaus oder nicht-stationär).
Intervention/Behandlung	4	Präzise Angaben zu den geplanten Interventionen jeder Gruppe und zur Durchführung.
Ziele	5	Genaue Ziele, Fragestellung und Hypothesen.
Zielkriterien	6	Klar definierte primäre und sekundäre Zielkriterien und, gegebenenfalls, alle zur Optimierung der Ergebnisqualität verwendeten Methoden (z. B. Mehrfachbeobachtungen, Training der Prüfer)
Fallzahlbestimmung	7	Wie wurden die Fallzahlen bestimmt und, falls notwendig, Beschreibung von Zwischenanalysen und Kriterien für einen vorzeitigen Studienabbruch.
Randomisierung
Erzeugung der Behandlungsfolge	8	Methode zur Generierung der zufälligen Zuteilung, einschließlich aller Einzelheiten (wie z. B. Block- Randomisierung, Stratifizierung).
Geheimhaltung der Behandlungsfolge (allocation concealment)	9	Durchführung der Zuteilung (z. B. numerierte Behälter; zentrale Randomisierung per Fax/Telefon). Angabe, ob Geheimhaltung bis zur Zuteilung gewährleistet war.
Durchführung	10	Wer führte die Zuteilung durch, wer nahm die Probanden/Patienten in die Studie auf und wer teilte die Probanden/Patienten den Gruppen zu.
Verblindung	11	Waren a) die Probanden/Patienten und/oder b) diejenigen, die die Intervention/Behandlung durchführten und/oder c) diejenigen, die die Zielgrößen beurteilten verblindet oder nicht verblindet. Wie wurde der Erfolg der Verblindung evaluiert?
Statistische Methoden	12	Statistische Methoden zur Bewertung des primären Zielkriteriums; weitere Analysen, wie z. B. Subgruppenanalysen und adjustierte Analysen.
Ergebnisse Ein- und Ausschlüsse	13	Anzahl der Studienteilnehmer für jede durch Randomisierung gebildete Behandlungsgruppe, die a) tatsächlich die geplante Behandlung/Intervention erhalten haben, b) die Studie protokollgemäß beendeten, c) in der Analyse des primären Zielkriteriums berücksichtigt wurden (Darstellung in Flussdiagramm empfohlen; Beschreibung von Protokollabweichungen mit Angabe von Gründen).
Aufnahme/Rekrutierung	14	Nähere Angaben über den Zeitraum der Studienaufnahme der Probanden/Patienten und der Nachbeobachtung.
Patientencharakteristika zu Studienbeginn (baseline data)	15	Demografische und klinische Charakteristika aller Gruppen.
Anzahl der ausgewerteten Probanden/Patienten	16	Anzahl der Probanden/Patienten (Nenner) in jeder Gruppe, die in die entsprechende Analyse eingeschlossen wurden und Angabe, ob es sich dabei um eine „Intention-to-Treat” Analyse handelt. Wenn möglich, Angabe der Ergebnisse in absoluten Zahlen (z. B. 10 von 20, nicht 50 %).
Ergebnisse und Schätzmethoden	17	Zusammenfassung der Ergebnisse aller primären und sekundären Zielkriterien für jede Gruppe und die geschätzte Effektgröße sowie ihre Präzision (z. B. 95 %-Konfidenzintervall).
Zusätzliche Analysen	18	Angabe von weiteren Tests, insbesondere von Subgruppenanalysen und adjustierte Analysen (mit Erklärung, ob sie vorher geplant waren oder nachträglich durchgeführt wurden).
Unerwünschte Wirkungen	19	Angabe aller wichtigen unerwünschten Wirkungen oder Nebenwirkungen innerhalb jeder Behandlungsgruppe.
Diskussion Interpretation	20	Interpretation der Ergebnisse unter Berücksichtigung der Studienhypothesen, möglicher Ursachen von Verzerrungen („Bias”) sowie Problemen durch multiples Testen und multiple Zielkriterien.
Generalisierbarkeit	21	Generalisierbarkeit der Studienergebnisse (externe Validität).
Bewertung der Evidenz	22	Allgemeine Interpretation der Ergebnisse unter Berücksichtigung des aktuellen Forschungsstandes und anderer Publikationen zur untersuchten Fragestellung.

Abb. 1 Flussdiagramm für die ein- und ausgeschlossenen Probanden/Patienten im Verlauf einer randomisierten Studie (Aufnahme, Zuordnung, Nachbeobachtung und Datenanalyse).

Der Mangel an Klarheit bezüglich der Bedeutung und des Hintergrundes der einzelnen Checklisteninhalte im ursprünglichen CONSORT Statement wurde mit der Entwicklung einer ausführlichen Langfassung beseitigt [19]. Dieses Dokument kann auch auf der CONSORT Webseite gefunden werden [13]. Es erklärt im Einzelnen die wissenschaftlichen Erkenntnisse, die hinter jedem Punkt der Checkliste stehen, und enthält zusätzlich die dazugehörigen Referenzen, welche bisher in der Checkliste zu finden waren. Wir möchten Zeitschriften dazu auffordern, auch für dieses Dokument eine Referenz in die Richtlinien für Autoren aufzunehmen.

Als Ausdruck der kontinuierlichen Weiterentwicklung des CONSORT Statements möchte die CONSORT Gruppe alle Leser dazu auffordern, ihre Kommentare zur neuen Checkliste und zum neuen Flussdiagramm über die CONSORT Webseite bekannt zu machen.

Danksagung: Weltweit haben sich viele Menschen für die Verbesserung der Beschreibung von randomisierten Studien eingesetzt: am Anfang im Rahmen der „Standards of Reporting Trials” (Standards für die Beschreibung von Studien), die sog. SORT Gruppe, bis hin zu den jetzigen Aktivitäten der Gruppe für „Gemeinsame Standards für die Beschreibung von Studien” (CONSORT). Es ist Leah Lepage zu verdanken, dass alle das gemeinsame Ziel im Auge behielten.

Die CONSORT Gruppe wurde für ihre Treffen von verschiedenen Einrichtungen und Unternehmen teilweise finanziell unterstützt: Abbot Laboratories, American College of Physicians, Glaxo Wellcome, The Lancet, Merck, Canadian Institutes for Health Research, National Library of Medicine und TAP Pharmaceuticals.

[Veröffentlichung des Originals: Ann Intern Med 2001;134:657 - 662 oder JAMA 2001;285:1987 - 1991 oder Lancet 2001 Apr 14;357(9263):1191 - 4]

Literatur

• 1 Schulz K F, Chalmers I, Hayes R J, Altman D G. Empirical evidence of bias: dimensions of methodological quality associated with estimates of treatment effects in controlled trials.  JAMA. 1995;  273 408-412
• 2 Moher D, Pham B, Jones A, Cook D J, Jadad A R, Moher M, Tugwell P. Does the quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses?.  Lancet. 1998;  352 609-613
• 3 Jadad A R, Boyle M, Cunningham C, Kim M, Schachar R. Treatment of Attention-Deficit/Hyperactivity Disorder. Evidence Report/Technology Assessment No.11. Prepared by McMaster University under Contract No. 290 - 97 - 0017 2000
• 4 Thornley B, Adams C E. Content and quality of 2000 controlled trials in schizophrenia over 50 years.  BMJ. 1998;  317 1181-1184
• 5 Hotopf M, Lewis G, Normand C. Putting trials on trial - the costs and consequences of small trials in depression: a systematic review of methodology.  J Epidemiol Community Health. 1997;  51 354-358
• 6 Dickinson K, Bunn F, Wentz R, Edwards P, Roberts I. Size and quality of randomised controlled trials in head injury: review of published studies.  BMJ. 2000;  320 1308-1311
• 7 Begg C B, Cho M K, Eastwood S, Horton R, Moher D, Olkin I, Rennie D, Schulz K F, Simel D L, Stroup D F. Improving the quality of reporting of randomized controlled trials: the CONSORT statement.  JAMA. 1996;  276 637-639
• 8 Freemantle N, Mason J M, Haines A, Eccles M P. CONSORT: an important step toward evidence-based health care.  Ann Intern Med. 1997;  126 81-83
• 9 Altman D G. Better reporting of randomized controlled trials: the CONSORT statement.  BMJ. 1996;  313 570-571
• 10 Schulz K F. The quest for unbiased research: randomized clinical trials and the CONSORT reporting guidelines.  Ann Neurol. 1997;  41 569-573
• 11 Huston P, Hoey J. CMAJ endorses the CONSORT statement.  CMAJ. 1996;  155 1277-1279
• 12 Davidoff F. News from the International Committee of Medical Journal Editors.  Ann Intern Med. 2000;  133 229-231
• 13 http://www.consort-statement.org (accessed, Feb. 15, 2001)
• 14 Moher D, Jones A, Lepage L. for the CONSORT Group . Use of the CONSORT statement and quality of reports of randomized trials: a comparative before and after evaluation?.  JAMA. 2001;  285 1992-1995
• 15 Egger M, Jüni P, Bartlett C. for the CONSORT Group . The value of patient flow charts in reports of randomized controlled trials: bibliographic study.  JAMA. 2001;  285 1996-1999
• 16 Meinert C L. Beyond CONSORT: Need for improved reporting standards for clinical trials.  JAMA. 1998;  279 1487-1489
• 17 Chalmers I. Current Controlled Trials: an opportunity to help improve the quality of clinical research.  Curr Control Trials Cardiovasc Med. 2000;  1 3-8
• 18 Bailer J C, Mosteller F. Guidelines for statistical reporting in articles for medical journals: amplifications and explanations.  Ann Intern Med. 1988;  108 266-273
• 19 Altman D G, Schulz K F, Moher D, Egger M, Davidoff F, Elbourne D, Gøtzsche P C, Lang T. for the CONSORT group . The revised CONSORT statement for reporting randomized trials: explanation and elaboration.  Annals of Internal Medicine. 2001;  134 663-694
• 20 Elbourne D R, Campbell M K. Extending the CONSORT statement to cluster randomised trials: for discussion.  Stats Med. 2001;  20 489-496
• 21 Hollis S, Campbell F. What is meant by intention-to-treat analysis? Survey of published randomized controlled trials.  BMJ. 1999;  319 670-674
• 22 Ruiz-Canela M, Martinez-Gonzalez M A, de Irala-Estevez J. Intention-to-treat analysis is related to methodological quality.  BMJ. 2000;  320 1007
• 23 Lee Y J, Ellenberg J H, Hirtz D G, Nelson K B. Analysis of clinical trials by treatment actually received: is it really an option?.  Stat Med. 1991;  10 1595-1605
• 24 Bentzen S M. Towards evidence based radiation oncology: improving the design, analysis, and reporting of clinical outcome studies in radiotherapy.  Radiother Oncol. 1998;  46 5-18
• 25 O’Toole L B. MRC uses checklist similar to CONSORTs.  BMJ. 1997;  314 1127
• 26 Moher D, Cook D J, Eastwood S, Olkin I, Rennie D, Stroup D F. for the QUOROM group . Improving the quality of reports of meta-analyses of randomized controlled trials: the QUOROM statement.  Lancet. 1999;  354 1896-1900
• 27 Stroup D F, Berlin J A, Morton S C, Olkin I, Williamson G D, Rennie D, Moher D, Becker B J, Sipe T A, Thacker S B. Meta-analysis of observational studies in epidemiology: a proposal for reporting.  JAMA. 2000;  283 2008-2012
• 28 Siegel J E, Weinstein M C, Russell L B, Gold M R. Recommendations for reporting cost-effectiveness analysis.  JAMA. 1996;  276 1339-1341
• 29 Neumann P J, Stone P W, Chapman R H, Sandberg E A, Bell C M. The Quality of Reporting in Published Cost-Utility Analyses, 1976 - 1997.  Ann Intern Med. 2000;  132 964-972
• 30 Altman D G. The scandal of poor medical research.  BMJ. 1994;  308 283-284