Ein Assessment auf Gütekriterien hin überprüfen – Vom Vorläufer zur Endversion

Ein neues Testverfahren für die Ergotherapie zu erschaffen ist alles andere als ein Kinderspiel. Das weiß Maria Schläffer nur zu gut, die das „EtAP – Ergotherapeutisches Assessment mit Pferd“ über fünf Jahre entwickelt und wissenschaftlich untersucht hat.

Dr. Maria Schläffer, MSc., MEd

Dr. Maria Schläffer, MSc., MEd, arbeitet als Ergo- und Reittherapeutin in angestellter und leitender Funktion sowie in freier Praxis. Sie entwickelte das EtAP im Rahmen ihrer Masterarbeit und Promotion. Ihre Dissertation betreute der Humanmediziner Prof. Dr. Wilhelm Mosgöller am Interuniversitären Kolleg für Gesundheit und Entwicklung in Graz.

Tim trägt aufgrund einer Fehlstellung Schienen an beiden Beinen. In der Ergotherapie arbeitet er mit „seinem“ Pferd Jessy vor allem an Symmetrie, Gangbild und Bewegungsübergängen.
Abb.: M. Schläffer

Anbinden, striegeln, bürsten. Wie Menschen mit einem Pferd umgehen, verrät viel über ihre Handlungsfertigkeiten und Funktionen. Gleichzeitig gelten Pferde als wahre „Eisbrecher“ [1]. Das macht sich das „EtAP – Ergotherapeutrisches Assessment mit Pferd“ zunutze. Wie sein Name schon sagt, eignet es sich für die Befunderhebung in der Arbeit mit dem Pferd. Und ist damit das erste seiner Art.

Bis hierhin war es ein weiter Weg. Die ersten Schritte beschrieb ich in „Ein valides Assessment entwickeln“ in ergopraxis 5/16. Heute zeige ich, wie ich zur Endversion kam.

Auf die Güte kommt es an

Ergotherapeuten nutzen die Befunderhebung, um den aktuellen Status eines Klienten zu ermitteln und Hypothesen für eine fundierte Behandlung aufzubauen [2]. Dazu benötigen sie brauchbare und maßgeschneiderte Instrumente, die über die erforderlichen Gütekriterien verfügen. Für den Bereich „Ergotherapie mit Pferd“ lagen solche Assessments bislang nicht vor. Um diese Lücke zu schließen, entwickelte ich im Rahmen meiner Masterthesis und meiner Promotion das EtAP und untersuchte es wissenschaftlich [3]. Dabei erstellte ich die Items zunächst auf Basis einer Literaturrecherche und untersuchte deren Validität durch eine Expertenbefragung [1]. Damit wollte ich gewährleisten, dass das Assessment wirklich das misst, was es messen soll. Neben der Validität galt es auch, eine angemessene Reliabilität und Objektivität sicherzustellen. Reliabilität bezeichnet ein Maß für die Präzision, mit der ein Test ein Merkmal misst. Und die Objektivität soll sicherstellen, dass das Assessment unabhängig von umgebenden Faktoren wie Testleiter, Ort oder Zeit zu den gleichen Ergebnissen kommt. Diese drei Hauptgütekriterien entscheiden wesentlich darüber, ob es das Prädikat „wissenschaftliches Testverfahren“ verdient [4].

Ergotherapeuten mit Pferd können das EtAP jetzt einsetzen.

Zuverlässigkeit ist gefragt

Um Reliabilität und Objektivität des Assessments überprüfen zu können, filmte ich zehn Klienten, wie sie die vorläufige Version des EtAP durchführten – fünf Erwachsene und fünf Kinder. Sie hatten Diagnosen wie Depression, Bipolare Störung, Zentrale Wahrnehmungs- und Verarbeitungsstörung oder Down-Syndrom. Anhand dieses Films schätzten 20 Ergotherapeutinnen ein, wie die Klienten die Items bewältigt hatten. Also, ob ihre Durchführung unter, in oder über der Norm lag. Zur Orientierung erhielten sie vorab eine DVD, welche die korrekte Durchführung demonstrierte. Zehn Experten meldeten sich zurück, wodurch mir 14.100 Einzelergebnisse zur Verfügung standen. Bei deren statistischer Auswertung untersuchte ich vor allem, wie sehr die Rückmeldungen übereinstimmten. Dazu verwendete ich den Kappa-Koeffizienten – laut Cohen der Goldstandard, um die Übereinstimmungsgüte von Daten zu beurteilen. Dieses Maß gibt Aufschluss über Stabilität und Zuverlässigkeit eines Testverfahrens [5]. Die Interpretation der Statistik führte zu einer weiteren Version des EtAP. Dabei fiel unter anderem der Bereich „Interaktion mit Pferd“ weg, weil die Übereinstimmung zwischen den Bewertern zu gering war. Außerdem musste ich einzelne Items aufgeben, da sie zu wenige Befundbereiche erreichten. Hierzu gehörten „Pferdebein säubern“ oder „Knien am Pferd“. Als Essenz blieben 14 Items und acht ergotherapeutische Befundbereiche übrig: die finale Version des EtAP.

Ein Putzkoffer, der es in sich hat

Das EtAP nutzt typische Situationen im Umgang mit dem Pferd, um diagnoseübergreifend Informationen über ergotherapeutische Befundbereiche wie Grobmotorik, Feinmotorik oder Praxie zu erhalten. Dabei führen die Klienten Übungen aus, die sie aus ihren bisherigen Reiterfahrungen kennen: das Pferd striegeln, einen Helm aufsetzen oder eine Longe aufwickeln. Auch das Testmaterial ist ihnen vertraut. Denn die standardisierten Utensilien wie Striegel & Co. gehören zum Rüstzeug eines jeden Reiters und befinden sich in einem Putzkoffer. Alles Wissenswerte rund um das Assessment kann man dem beiliegenden Manual entnehmen – dem Herzstück eines Tests. Es erläutert die Konzeption des Assessment und klärt darüber auf, wie Ergotherapeuten dieses durchführen und auswerten. Auch erhalten sie konkrete Hilfe bei der Anleitung: Eine Testinstruktion gibt ihnen vor, wie sie ihren Klienten den Test konkret erläutern. Diese standardisierte Anleitung soll gewährleisten, dass die Klienten die Aufgaben korrekt bearbeiten. Item 1 fordert den Klienten zum Beispiel dazu auf, einen Führstrick mit Panikhaken einzuhängen. Eine Aufgabe, die grobmotorische, wahrnehmungs-, tonus-, kognitions- und aufmerksamkeitsbezogene Fertigkeiten bzw. Funktionen erfordert. Kann der Klient die gestellten Anforderungen erfüllen, erhält er jeweils einen Punkt.

Ein langer Weg

Die Entwicklung des EtAP begleitet mich nun schon seit fünf Jahren. In dieser Zeit hat sich mein Blickwinkel gegenüber Tests enorm verändert. Nun weiß ich, wie viel Arbeit hinter einem Assessment steht. Als besonders schwierig empfand ich es, Items herausnehmen zu müssen. Hatte ich diese doch über Jahre hinweg entwickelt und evaluiert. Erst die Tatsache, dass man mit weniger Items genauso aussagekräftige und fundierte Ergebnisse erhält, hat mir darüber hinweggeholfen.

Es freut mich sehr, dass Ergotherapeuten es nun einsetzen können. Mit seiner Hilfe können sie Auffälligkeiten in den acht ergotherapeutischen Befundbereichen feststellen und zum Gegenstand der Behandlung mit dem Pferd machen. Die acht Befundbereiche umfassen Feinmotorik, Grobmotorik, Praxie, Wahrnehmung, Muskeltonus, Bimanuelle Aktivitäten, Kognition und Aufmerksamkeit.

Sobald genügend Normdaten vorliegen, möchte ich eine Normierungsstudie durchführen. Daher stelle ich gerade die erste Kohorte an zertifizierten EtAP-Therapeutinnen zusammen. Interessierte Leser können mich gerne per E-Mail über [e-mail] kontaktieren. Mithilfe der Normierungsstudie möchte ich Ergotherapeuten konkrete Vergleichswerte für ihre Auswertung zur Verfügung stellen. Und damit den Entwicklungsprozess des EtAP fortsetzen.

Maria Schläffer

Diagnostikinstrument – Kontaktdaten

SYNOWAYTION GmbH
A-5020 Salzburg
E-Mail: [e-mail]

Manual und Testkoffer sind ab Herbst 2017 erhältlich. Homepage und Preis sind noch in Arbeit. Interessenten können bei Fragen oder Vorbestellungen aber bereits jetzt Kontakt mit dem Vertrieb aufnehmen.