Um Evaluationen von anderen Formen der Forschung abzugrenzen, ist es sinnvoll, die Kriterien zu benennen, die für Evaluationen kennzeichnend sind. Stockmann schlägt vor, diejenigen Formen von Forschung als Evaluation zu bezeichnen, die (1) einer Entscheidungsvorbereitung dienen. Zu diesem Zweck müssen (2) Informationen gewonnen werden, die dann (3) bewertet werden können (vgl. Stockmann/Meyer 2010:66). Diese Unterscheidung grenzt Evaluationen von Formen der Forschung ab, die ausschließlich auf Informationsge­winn ausgerichtet sind, wie zum Beispiel Grundlagenforschung, die keine Bewertung oder Entscheidungsvorbereitung im Blick hat (zur Abgrenzung von Evaluationen von ähnlichen Verfahren wie „Controlling, Benchmarking, Audit“ usw. vgl. Stockmann 2007b).

Evaluationen werden in sehr vielen, sehr unterschiedlichen Bereichen durchgeführt. Die Deutsche Gesellschaft für Evaluation (DeGEval) beispielsweise unterscheidet innerhalb der Struktur ihrer Arbeitskreise vierzehn verschiedene Felder von Evaluationen aus den Bereichen Politik, Bildung, Wirtschaft und Verwaltung (vgl. www.degeval.de/arbeitskreise).

Kulturelle Bildung wird in diesem Beitrag als pädagogisches Handlungsfeld und als er­ziehungswissenschaftliche Teildisziplin verstanden, daher wird zunächst auf die Bedeutung und die Spezifika von Evaluationen im Bildungsbereich eingegangen. Im Anschluss daran wird gezeigt, dass die bisherigen Versuche, die sehr große Zahl an Evaluationen im Feld der Kulturellen Bildung systematisch darzustellen, noch am Anfang stehen. Es werden keine methodischen Fragen diskutiert (siehe Vera Hennefeld „Zum Einsatz sozialwissenschaft­licher Datenerhebungsmethoden im Rahmen der Evaluation Kultureller Bildung“ und Helle Becker „Evaluation in der Praxis der kulturellen Kinder-­ und Jugendbildung“).

Evaluationen im Bildungssystem

Harm Kuper bestimmt als den wichtigsten Bereich erziehungswissenschaftlicher Eva­luationsforschung eine durch erziehungswissenschaftliche Theorie geleitete Praxis der Evaluation (vgl. Kuper 2005:51). Er unterscheidet zwei erziehungswissenschaftliche Traditionen, aus denen heraus sich verschiedene Evaluationspraktiken entwickelt haben: (a) pädagogisch­psychologische Diagnostik und (b) Handlungsforschung.

(a) Zum einen gibt es eine lange Tradition pädagogisch­-psychologischer Diagnostik, die vor allem in der alltäglichen Leistungsbeurteilung praktiziert wird. Aus dieser Tradition heraus hat sich eine umfangreiche erziehungswissenschaftliche Evaluationspraxis entwickelt, die nicht mehr die Leistungen einzelner SchülerInnen, sondern Organisa­tionseinheiten (Schule, Weiterbildungsträger, Hochschulen) oder Bildungssysteme in den Blick nimmt.

Das bekannteste Beispiel für diese Art von Evaluationen sind die PISA­-Studien, die seit dem Jahr 2000 die Leistungen der SchülerInnen in den Bildungssystemen verschiedener Länder miteinander vergleichen (ähnlich wie TIMMS und IGLU).

Die Adressaten dieser Art von Evaluation sind in erster Linie die politischen Entschei­dungsträger. Die Informationsgewinnung erfolgt durch Testverfahren, und die Bewer­tung richtet sich anhand definierter Standards auf den „Output“ der untersuchten Bildungssysteme, d.h. die Kompetenzen der getesteten SchülerInnen (eine kennt­nisreiche Argumentation für die Notwendigkeit einer Outputorientierung findet sich in BMBF 2007:11ff. Zur Kritik an einer Outputorientierung siehe Gruschka 2004).

(b) Im Vergleich zum massiven Auf-­ und Ausbau der Evaluationsinstrumente, die an einem diagnostischen Paradigma orientiert sind, spielen Evaluationen, die an einem hand­lungstheoretischen Paradigma orientiert sind, zurzeit nur eine untergeordnete Rolle. In diesen Evaluationsansätzen geht es nicht um den Output, sondern um die konkrete Gestaltung pädagogischer Praxis. Ziel der Evaluation ist, PraktikerInnen die Möglichkeit zur (Selbst­-)Evaluation der eigenen Arbeit zu geben. Die Bewertungskriterien stehen dabei nicht im Vorhinein fest, sondern werden im Laufe der Evaluation gemeinsam mit den Akteuren entwickelt. Die Informationsgewinnung erfolgt durch verschiedene Me­thoden, die oft miteinander kombiniert werden (Beobachtung, Tagebücher, Interviews, Gruppendiskussionen) (ausführlicher zu diesem Ansatz: Altrichter 1999).

An der Gegenüberstellung dieser beiden erziehungswissenschaftlichen Evaluationsan­sätze wird deutlich, dass in Evaluationen die Fragen nach den jeweiligen Adressaten und den verwendeten Bewertungskriterien eine entscheidende Rolle spielen. Die Bestimmung pädagogischer „Qualität“ rückt in den Mittelpunkt des Interesses. Für die Bereiche Schule, Soziale Arbeit und Weiterbildung hat Lutz Galiläer eine wichtige Arbeit vorgelegt (Galiläer 2005). Er kommt zu dem Fazit, dass sich pädagogische Qualität nicht an den Qualitätsstan dards anderer Felder, wie etwa betriebswirtschaftlichen, orientieren sollte. Er fordert eine „rekonstruktive Qualitätssicherung“, die von der Praxis ausgehend auf der Grundlage päda­gogischer Theorie die Spezifika des jeweiligen pädagogischen Feldes erfasst (vgl. Galiläer 2005:240ff.) (zur Diskussion über „Qualität“ im Feld der Kulturellen Bildung siehe Manfred Prenzel/Johanna Ray „Bildungsqualität, Bildungsforschung und Kulturelle Bildung“ und Christiane Liebald „Qualitätsstandards und Qualitätssicherung in der Kulturellen Bildung“, eine Bestandsaufnahme der entwickelten Verfahren zur Qualitätssicherung im Feld der Kulturellen Bildung findet sich in BKJ 2010).

Evaluationen im Feld der Kulturellen Bildung

Durch die internationalen Vergleichsstudien und die nationalen Bildungsstandards, die sich auf die sogenannten „Kernfächer“ konzentrieren, droht der Bereich der Kulturellen Bildung marginalisiert zu werden. Eine Reaktion auf diese Gefahr war der Beginn einer Fachdebatte darüber, ob – und wenn ja: wie – Wirkungen Kultureller Bildung zur Darstellung gebracht werden können. Wichtige Impulse zu dieser Diskussion finden sich bei Bamford 2006 (dt.: Bamford 2010), die den Diskussionstand in verschiedenen Ländern zu dieser Frage zusammenträgt. Im Unterschied zu den internationalen Vergleichsstudien in den Kernfächern liegen aber für den Bereich der Kulturellen Bildung weder formulierte Standards noch geeignete und erprobte Testverfahren vor. Und selbst die Frage nach den zu untersu­chenden (Aus­-)Wirkungen Kultureller Bildung wird kontrovers diskutiert: Soll es dabei um die Steigerung künstlerischer Fähigkeiten – produktiv oder rezeptiv? –, um die Steigerung von Schlüsselkompetenzen oder um salutogenetische Effekte gehen?

Evaluationsprogramme, die den internationalen Leistungsvergleichsstudien ähnlich wären, sind für den Bereich der Kulturellen Bildung wegen dieser Schwierigkeiten bisher nicht in Sicht.

Es sind gleichwohl in den letzten zehn Jahren im deutschsprachigen Raum Hunderte von Studien im Feld der Kulturellen Bildung entstanden, die sich als „Evaluationen“ bezeich­nen. Neben Universitäten und Fachhochschulen sind auch mehrere privatwirtschaftliche Forschungseinrichtungen auf Evaluationen im Bereich der Kulturellen Bildung spezialisiert, zum Beispiel das Zentrum für Kulturforschung (ZfKf), Educult und das Büro für Expertise und Kommunikation für Bildung.

Es gibt bisher noch keine Systematik zur Darstellung der existierenden Evaluatio­nen. Es finden sich nur erste Ansätze: Vera Timmerberg und Brigitte Schorn (o.J.) stellen sparten-­ und gegenstandsübergreifend elf Evaluationen überblicksartig vor. Die Website kulturvermittlung­online.de versammelt Studien und Evaluationen zur Kulturvermittlung, in einer eigenen Rubrik sind Studien zur Kulturellen Bildung versammelt. In der „Studie zur Qualitätssicherung in der Kulturellen Bildung“ findet sich auch ein Kapitel zu „Evaluation“ (BKJ 2010:21­-23), in dem einzelne Evaluationen vorgestellt werden. In allen drei Fällen ist die Darstellung nicht systematisch, die Zahl der einbezogenen Evaluationen klein und deren Auswahl erscheint zufällig. Zudem werden Evaluationen nicht von anderen Formen der Forschung unterschieden. Im Bereich „Tanz“ gibt es eine Arbeitsgruppe „Evaluation und Forschung des Bundesverbandes Tanz in Schulen e.V.“, die in einem Sammelband ver­schiedene aktuelle tanzpädagogische Forschungs-­ und Evaluationsarbeiten versammeln (Arbeitsgruppe Evaluation und Forschung 2009).

Die systematische Analyse und Darstellung der vorhandenen Evaluationen stellt ein wichtiges Desiderat dar, das zur weiteren Professionalisierung der Kulturellen Bildung erheblich beitragen könnte.

Dabei sollte es weniger darum gehen, die Ergebnisse von Evaluationen zusammenzu­fassen, da die Reichweite von Evaluationsergebnissen über den konkreten Gegenstand hinaus grundsätzlich in Frage steht. Ziel sollte es vielmehr sein, verschiedene Formen von Evaluationen nach ihrem theoretischen und methodischen Vorgehen zu unterscheiden, um so die Grundlage für eine Diskussion über ertragreiche Evaluationen im Bereich der Kulturellen Bildung zu schaffen.

Eine gute Ausgangsfrage für dieses Vorhaben bietet Stockmann: „Was (welcher Ge­genstand) [soll] wozu (zu welchem Zweck), anhand welcher Bewertungskriterien, von wem (intern oder extern), wie (mit welchen Methoden) [für wen, Ergänzung T.F.] evaluiert werden?“ (Stockmann 2010:11).

Zur Differenzierung möglicher Gegenstände von Evaluationen in pädagogischen Hand­lungsfeldern liegen ausgearbeitete erziehungswissenschaftliche Vorschläge vor, die im Feld der Kulturellen Bildung bisher kaum rezipiert werden.

Ditton unterscheidet die Evaluation von „Voraussetzungen“ von der Evaluation von „Merkmalen und Prozessen“ und der Evaluation von „Ergebnissen“. Innerhalb dieser Haupt­unterscheidungen differenziert er wiederum und unterscheidet so sechs verschiedene Evaluationsbereiche: „Bedingungen“, „Intentionen“, „Qualität der einzelnen Bildungsein­richtungen“, „Qualität der Lehr­- und Lernsituation“, „Wirkungen (Outputs)“, „Langfristige Wirkungen (Outcomes)“ (Ditton 2010:609f.).

Das Desiderat einer Übersicht über die vorhandenen Evaluationen in der Kulturellen Bil­dung sollte auf Grundlage solcher systematischen Unterscheidungen angegangen werden.