Monat: Dezember 2018

Beitrag von Michael Frais

Es wird viel evaluiert an der PH Zürich. Und der interne Bedarf wächst massiv.  Durchgeführt werden diese Evaluationen vom Zentrum für Evaluation der PH Zürich, das im September sein 10-jähriges Bestehen feierte. Das Zentrum startete zunächst mit dem Ziel, Schulen und ausserschulische Bildungsprojekte bei Evaluationen zu unterstützen, um ein effizientes Datenmanagement zu gewährleisten. Gleichzeitig stellte es seine Dienstleistungen von Beginn an auch für interne Evaluationen der PH Zürich zur Verfügung. In den letzten Jahren hat sich die externe Auftragslage vom schulischen und ausserschulischen Bildungsbereich in den tertiären verschoben. Der Zentrumsleiter Michael Frais mit einem Aus- und Rückblick.

Lieber keine Evaluation als eine schlechte

Das Zentrum für Evaluation  hat einen Steuerungsprozess entwickelt, der sich bewährt hat. Denn die Rückmeldungen von internen und externen Auftraggebern zeigen, dass eine Evaluation dann akzeptiert wird, wenn die Faktoren Relevanz, Effektivität und Effizienz gegeben sind. Auch deshalb sollte das Motto lauten «Lieber keine Evaluation als eine schlechte Evaluation». Wichtig ist, dass Evaluationen als nützlich wahrgenommen werden und nicht zum Selbstzweck werden. Sonst besteht die Gefahr, dass man ganz auf sie verzichtet. Diese Einsicht hat zu einem Paradigmenwechsel geführt: In der wissenschaftlichen Reflexion und in der praxisorientierten Aufarbeitung zahlreicher Evaluationsbeispiele der vergangenen Jahre hat sich mehr und mehr eine Perspektive auf den Zusammenhang von Partizipation, der Akzeptanz der Interessengruppen und der Wirksamkeit entwickelt.

Partizipation ist aktuell ein allgemeiner Trend in allen Politikfeldern der Evaluation. Dieser Trend wird vermutlich in den kommenden Jahren wegweisend sein. In diesem Zusammenhang legt Stockmann (2007) folgende Gütekriterien partizipativ angelegter Evaluation fest:

1. Kommunikation
2. Intervention
3. Transparenz
4. Relevanz

Diese Kriterien bekommen eine grössere Bedeutung zulasten der «klassischen» Gütekriterien wie Validität, Reliabilität und Objektivität.

Evaluationen schärfen das Bild  

Können partizipativ angelegte Evaluationen objektiv sein? Diese Frage stellt sich, da bei einer Beteiligung verschiedener Interessengruppen die notwendige Distanz zum Forschungsobjekt nicht mehr gegeben ist. Anwendungsbezogene wissenschaftlich orientierte Vorgehensweisen sollen Erkenntnisse ermöglichen, die zu rational und zielgerichteten Handlungs- und Entscheidungskorridoren führen. Sie sollen den Blick auf einen gesellschaftlich relevanten Bereich fokussieren.  Das Ziel von Evaluationen muss demnach sein, das Bild eines Untersuchungsbereiches zu schärfen und den Blick auf verdeckte Bereiche zu öffnen.

Das Beispiel dieser Bildfolge symbolisiert die Minimalanforderungen an Evaluationen: etwas Klarheit schaffen und etwas den Blick erweitern. Aus diesem Grund ist es naheliegend und plausibel, dass in gesellschaftlich relevanten und sozial geprägten Untersuchungskontexten die Personen am Evaluationsprozess beteiligt sind, die einen unmittelbaren Zugang und Einblick in den Untersuchungsgegenstand haben.

Es gibt verschiedene Objektivitäten

Evaluationen liefern wesentliche Informationen für relevante Fragestellungen bei der Datenerhebung. Wie erwähnt, ermöglichen sie es, das Bild zu schärfen. Das Bild kann je nach Interessengruppe allerdings unterschiedlich sein. Denn Studierende, Dozierende, die Hochschulleitung und potenzielle Arbeitgeber etc. haben möglicherweise eine unterschiedliche Sicht auf den Evaluationsgegenstand (z. B. die Lehrveranstaltungsqualität oder das hochschuldidaktische Setting). Sie repräsentieren Wertideen, die im jeweiligen Kontext als «spezifisch besondere Gesichtspunkte» verstanden werden müssen. Folglich gibt es nicht «die» Objektivität», sondern verschiedene Objektivitäten oder Realitäten, je nach Perspektive der jeweiligen Interessengruppe. Aus diesem Grund kommt auch der Dateninterpretation, verstanden als gemeinsamer kommunikativer Aushandlungsprozess, für die Akzeptanz von Evaluationen eine besondere Bedeutung zu.

Ausblick

Zu aktuellen Strömungen der Evaluation können schliesslich folgende Statements gemacht werden:

• Partizipativ angelegte Evaluationen sind ohne die Nähe zu den Interessengruppen nicht möglich (Fragestellung, Inhalte, Ziele, Absichten …).
• Ein Evaluationsprozess, der wirkungsorientiert ist,  muss es den Interessengruppen ermöglichen, bei verschiedenen Prozessschritten mitzuwirken.
• Die zirkuläre inhaltliche Validierung des Untersuchungsgegenstands führt zu einer grösseren Objektivität und damit zu mehr Wissenschaftlichkeit.
• Die grösstmögliche Objektivität entsteht, wenn Evaluatoren und Interessenvertreter die Grenze zu ihrer eigenen Befangenheit während des ganzen Prozesses immer wieder hinterfragen.
• Bei Evaluationen ist es wichtig, die Kontextfaktoren zu berücksichtigen. Das bestätigen auch die Resultate der Degustation am Jubiläumsfest: Die Gäste haben unterschiedliche Wassersorten, Biere, Weine und Käse getestet und sie direkt online bewertet. Das Resultat der Sofortauswertung zeigt u. a., dass die Gäste Weine in Kombination mit verschiedenem Käse teils sehr unterschiedlich wahrgenommen haben.

  10 Jahre Zentrum für Evaluation - ein paar Zahlen 
  
  Unsere Nutzungsstatistik weist für den Zeitraum von 10 Jahren insgesamt 672 erstellte Fragebogen, 5936 konfigurierte Umfragen und die Auswertung von insgesamt 82'702 Rückmeldungen aus. Über den gesamten Zeitraum stellen wir eine stetig steigende Nachfrage sowie eine deutliche Effizienzsteigerung im Bereich des Datenmanagement fest.
  
  

  Zum Autor

  Michael Frais ist Leiter des Zentrums für Evaluation und Dozent am ZHE Zentrum für Hochschuldidaktik und -entwicklung der PH Zürich.

Redaktion Martina Meienberg