Den Blick zurückwerfen – Evaluationsforschung

Jährlich werden zahlreiche neue Projekte im Gesundheitswesen eingeführt, etwa Präventionsprogramme mit konkret definierten Zielen. Inwieweit diese nach einer gewissen Zeit erreicht werden, kann die Evaluationsforschung prüfen. Diese nutzen Forscher, um den Blick zurück auf die Anfänge zu werfen und aus den Ergebnissen eine erste Bilanz zu ziehen.

Eva Trompetter

Eva Trompetter ist Physiotherapeutin und hat Public Health studiert. Sie ist wissenschaftliche Mitarbeiterin der FH Bielefeld und hat selbst bereits in einigen Evaluationsforschungsprojekten mitgearbeitet.

Ihren Ursprung hat die Evaluationsforschung in den USA. Dort entwickelte sie sich in den 1930er Jahren zu einem wesentlichen Bestandteil der Sozialpolitik. Im Bildungs- und Gesundheitswesen bewerteten Forscher damit Interventionen und entwickelten Regeln und Kriterien, um den Erfolg zu kontrollieren. Ab Ende der 1960er Jahre wendeten Wissenschaftler die Evaluationsforschung auch in Deutschland im Gesundheitswesen, der Politik- und Bildungsforschung an. Forscher nutzen seitdem ausdrücklich diesen Begriff, um zum Ausdruck zu bringen, dass die Evaluation auf wissenschaftlichen Kriterien basiert [2]. Damit versuchen sie sich von Evaluationen abzugrenzen, die vor allem den Auftraggeber ins rechte Licht rücken sollen. Denn in der Regel ist Evaluationsforschung Auftragsforschung zum Beispiel für Ministerien, Behörden oder Unternehmen. In Deutschland kommt dieser Forschungstyp zum Beispiel bei der Evaluation der Modellstudiengänge in der Physiotherapie zum Einsatz (S. 12).

In der Regel ist Evaluationsforschung Auftragsforschung.

Fünf zentrale Funktionen

Die Evaluationsforschung hat fünf zentrale Aufgaben:

1. Sie sammelt wissenschaftliche Erkenntnisse, auf Basis derer sich der Auftraggeber entscheiden kann, ob und wie er die Intervention weiterführt (Erkenntnisfunktion).

2. Sie identifiziert Stärken und Schwächen einer Intervention, die es fördern bzw. erschweren, die Interventionsziele zu erreichen (Optimierungsfunktion).

3. Sie untersucht, ob das Projekt korrekt umgesetzt ist und mit welcher Kosten-Nutzen- Bilanz die Ziele erreicht werden (Kontrollfunktion).

4. Sie liefert Informationen, um die Erkenntnisse angemessen einschätzen zu können (Entscheidungsfunktion).

5. Sie hilft, Interventionen nach außen zu legitimieren und somit Rechenschaft über die verwendeten, teils öffentlichen Gelder abzulegen (Legitimationsfunktion) [2, 3].

Arten der Evaluationsforschung

Man unterscheidet unterschiedliche Arten von Evaluationsforschung: Bei der summativen Evaluation erfolgt die Untersuchung, nachdem eine Intervention bereits implementiert ist. Begleitet die Forschung die Implementierung, handelt es sich um eine formative Evaluation, eine sogenannte Begleitforschung. So können die Initiatoren wenn nötig schon im Projektverlauf Dinge optimieren [2]. Als extern wird eine Evaluation bezeichnet, wenn die durchführenden Personen unabhängig von einer Einrichtung sind, etwa speziell beauftragte Wissenschaftler einer Hochschule. Interne Evaluationen erfolgen durch Personen, die selbst der Einrichtung angehören, etwa den Qualitätsmanagementbeauftragten einer Klinik. Selbstevaluationen führen Praktiker oder Teams in ihrem eigenen Arbeitsumfeld durch, um die Qualität der Berufspraxis, auch nach eigenen Kriterien, systematisch zu ermitteln und zu verbessern [4].

Beispiel: BIG und BIGGER

So handhabten es auch die Verantwortlichen für das Projekt „BIG – Bewegung als Investition in Gesundheit“ ( physiopraxis 2/15, S. 18). Das Ziel von BIG war es, Frauen in schwierigen Lebenslagen, mit niedrigem sozioökonomischen Status oder einem Migrationshintergrund, die Möglichkeit zu geben, an Bewegungsangeboten teilzunehmen [1]. Denn diese Frauen sind besonders selten sportlich aktiv [10]. Darüber hinaus ist BIG ein Integrationsprojekt, das durch Sport und Bewegung Frauen mit unterschiedlicher Herkunft zusammenbringen soll [11].

Evaluationsforschung zeigt, wie erfolgreich ein Projekt ist.

Erste Ergebnisse der Implementierung zeigten damals, dass das Vorgehen erfolgreich war und es gelungen ist, Frauen in schwierigen Lebenslagen zu erreichen [6]. Damit von solchen zielgruppengerechten Projekten zur Gesundheitsförderung langfristig möglichst viele Menschen profitieren, ist es wichtig, sie nachhaltig zu implementieren. Die BIG-Initiatoren führten deshalb ein weiteres Modellprojekt namens BIGGER durch, um den Transfer von BIG in einer städtischen (Bottrop in Nordrhein-Westfalen) und einer ländlichen Region (Uecker-Randow in Mecklenburg-Vorpommern) zu erproben. Mit einem umfassenden Evaluationskonzept, bestehend aus einer Zwischen- und Abschlusserhebung, wollten sie überprüfen, wie erfolgreich das ist [7]. Sie schauten dabei auf Rahmenbedingungen, Umsetzung und die Ergebnisse. In der Evaluationsforschung im Bereich settingbasierte Gesundheitsförderung sind die Qualitätsdimensionen Struktur-, Prozess- und Ergebnisqualität besonders relevant. Strukturqualität bezieht sich auf die Rahmenbedingungen eines Projekts, etwa wie gut das Personal qualifiziert oder wie der finanzielle Status ist. Bei der Prozessqualität geht es darum, ob die Organisatoren vor Ort eine Maßnahme wie geplant umsetzen können, zum Beispiel auf der Grundlage eines Ablaufplans oder eines Handbuchs. Dazu dokumentieren die Verantwortlichen den Umsetzungsprozess systematisch. Bei der Ergebnisqualität geht es darum, welche Wirkungen eine Maßnahme erzielt hat und ob Kosten und Nutzen in einem angemessenen Verhältnis stehen. Wichtig ist dabei, dass im Voraus klar ist, welche Ziele die Intervention hat und woran der Erfolg gemessen werden soll [5, 8, 9]. Um diese Qualitätsdimensionen greifbar zu machen, formulierten die Initiatoren von BIGGER fünf Fragen [7]:

1. Wurde die angestrebte Zielgruppe wirklich erreicht?

2. Waren die entwickelten Bewegungsaktivitäten effektiv?

3. Wurden die BIG-Maßnahmen von den anderen Regionen übernommen bzw. inwiefern hatten die Verantwortlichen sie modifiziert?

4. Erfolgte die Implementierung der Maßnahmen wie beabsichtigt?

5. Gelang es, den BIG-Ansatz dauerhaft vor Ort zu verankern?

Ergebnisse der Erhebung

Um diese Fragen beantworten zu können, nutzen die Forscher qualitative und quantitative Erhebungsmethoden und bezogen Teilnehmerinnen und lokale Entscheidungsträger vor Ort in die Evaluation ein. Bei den qualitativen Methoden setzten sie unter anderem Workshops, Einzelund Gruppeninterviews ein. Auch auf kreative Erhebungsmethoden, wie Collagen und Fotos der Aktivitäten der teilnehmenden Frauen, griffen die Evaluatoren zurück. Mit Kurzfragebögen ermittelten sie, welche Bedürfnisse die Teilnehmerinnen haben und ob es Barrieren gibt, die sie nicht an den Gruppenstunden teilnehmen lassen. Die Evaluationsergebnisse zeigten, dass BIGGER etwa 300 Frauen erreicht. Die Teilnehmerinnen berichteten, dass sie sich durch BIGGER mehr bewegten, aber auch Selbstvertrauen gewonnen oder eine soziale Isolation überwunden haben. Die Organisatoren vor Ort bekamen durch das Projekt in ihrer Region Sporthallen oder Schwimmbäder für die Gruppenstunden bereitgestellt und haben Vereine gegründet [7]. Gleichzeitig gelang es ihnen, besondere Herausforderungen und mögliche Barrieren für die Implementierung von BIG zu ermitteln. Dazu zählten etwa mangelnde politische Unterstützung, unsichere Zukunftsperspektiven und geringe finanzielle und personelle Ressourcen. Zudem reagierten beispielsweise einige Kunden eines Schwimmbades mit Unverständnis auf den eingeführten Frauenbadetag [7]. Mittels Evaluationsforschung ist es also gelungen, die Qualität von BIGGER sichtbar zu machen. Andere Regionen, die ebenfalls BIG oder andere gesundheitsförderliche Maßnahmen für Frauen mit niedrigem sozioökonomischen Status oder einem Migrationshintergrund implementieren möchten, können so von den Erfahrungen des Projekts profitieren.

Von den Ergebnissen können künftige Projekte profitieren.