Die wba wirkt! Ergebnisse einer Wirkungsevaluation anlässlich 10 Jahre Weiterbildungsakademie Österreich

2007 begann die wba ihre Arbeit. Bald eilte ihr der Ruf eines Good-, ja sogar eines Best-Practice-Modells voraus, 2013 gewann sie den europäischen Validation Prize und durfte sich in ganz Europa präsentieren. Eine Erfolgsgeschichte möchte man meinen, ein Leuchtturmmodell. Zeichen dafür, dass, was an Validierungskonzepten und -vorgaben auf EU-Ebene geplant wird (Stichwort Cedefop-Leitlinien¹ und EU-Ratsempfehlung²) bereits davor ausgezeichnet funktionierte. Aber wie wirkt dieses Verfahren nun für die, die es konkret betrifft, die KandidatInnen und AbsolventInnen? Sie werden laufend im Rahmen des internen Qualitätsmanagementsystems befragt, ihre Rückmeldungen in Verbesserungsmaßnahmen umgesetzt. Fokussiert wird dabei auf den Output, auf die Zufriedenheit mit dem Verfahren.

Nach dem konkreten Nutzen bzw. der Wirkung des wba-Abschlusses wollte man nun zeitversetzt fragen. Daher nahm die wba-Geschäftsstelle anlässlich ihres 10-jährigen Bestehens im Rahmen einer Wirkungsevaluation insbesondere den Nutzen und die Verwertbarkeit ihrer Abschlüsse unter die Lupe.

Wirkung wurde dabei mit dem Outcome gleichgesetzt, wie ihn Stefan Schultze im „Kursbuch Wirkung, Praxisratgeber für Alle, die Gutes besser tun wollen“³ auf einer siebenstufigen Wirkungstreppe skizziert. Outcome wird dabei den Stufen 4 bis 6 zugeordnet:

  CC BY-SA 3.0

Stufe 1 bis 3 befasst sich mit dem Output. Gefragt wird hier nach der Zufriedenheit der TeilnehmerInnen, nach Entwicklungsfeldern für das Angebot etc.

Ab Stufe 4 spricht man von Wirkung: Hier verändert die Zielgruppe ihre Fähigkeiten.

Auf Stufe 5 ändert sie das Handeln, auf Stufe 6 ändert sich die Lebenslage der Zielgruppe.

Stufe 7 ist dem Impact zugeordnet. Hier verändert sich die Gesellschaft. Der Impact wurde mit der Befragung nicht erhoben, eine entsprechende Erhebung wäre doch zu umfangreich und ambitioniert gewesen.

Somit waren zentrale Fragen der Wirkungsevaluation:

• Verändern AbsolventInnen durch ihren wba-Abschluss ihre Fähigkeiten?
• Verändert sich das Handeln der AbsolventInnen durch den wba-Abschluss?
• Bringt ein wba-Abschluss positive Veränderungen hinsichtlich Lebenslage der Zielgruppe (z.B. durch positive berufliche Auswirkungen) einen monetären Nutzen mit sich?

Expertise bei der Erstellung des Fragebogens holte sich die wba dabei von der Evaluationsspezialistin Dr.ⁱⁿ Maria Gutknecht-Gmeiner.

Von Mitte Mai bis Mitte August 2017 wurden alle 1059 wba-AbsolventInnen zur Teilnahme an der Onlinebefragung eingeladen, 468 Personen nahmen daran teil, was einer Rücklaufquote von etwa 45 Prozent⁴ entspricht. Die Antworten belegten die Buntheit der Erwachsenenbildung und die damit einhergehenden unterschiedlichen Ansprüche und Sichtweisen.

Struktur des Fragebogens in Anlehnung an die Schultze Wirkungstreppe

Gefragt wurde nach einem beruflichen Nutzen und zwar nach:

• der beruflichen Verwertbarkeit durch eine Erweiterung der (Handlungs-)Kompetenzen und beruflichen Möglichkeiten sowie besseren Chancen am Arbeitsmarkt – auf Stufe 4, 5 und 6 angesiedelt:
• Auswirkungen auf die berufliche Situation (konkret positive berufliche Veränderungen – wie etwa Beförderungen, bessere Arbeitsbedingungen – sowie ein Anstieg in der beruflichen Motivation und der Zufriedenheit mit der beruflichen Tätigkeit), zuzuordnen auf Stufe 5 und 6;
• nach einem monetären Nutzen (Stufe 6), nach einem geänderten Verhalten hinsichtlich stärkerer Nutzung digitaler Medien und nach einem Nutzen des wba-Abschlusses in Bezug auf den Aufbau von wichtigen Kontakten und Netzwerken (beides auf Stufe 5).

Gefragt wurde (auf Stufe 4 und 5) nach:

• einem professionsspezifischen Nutzen wie etwa einer stärkeren Identifikation als ErwachsenenbildnerIn, einem besseren Einblick in die österreichische Erwachsenenbildungslandschaft und einem stärkeren Bewusstsein für die eigenen Stärken und Fähigkeiten als ErwachsenenbildnerIn.
• einem persönlichkeitsbildenden Nutzen, etwa einem gestiegenen Selbstwert oder einer Weiterentwicklung durch den in Gang gesetzten Reflexionsprozess.

Auch nach dem Nutzen des wba-Abschlusses im Kontext des Anschlusslernens wurde gefragt (Stufe 5): ob der wba-Abschluss zu weiterer (auch hochschulischer) Weiterbildung motiviert hatte, ob die Freude am Teilen von Wissen und das Vertrauen in die eigene Lernfähigkeit gestiegen waren.

Erhoben wurde außerdem, wie die Befragten den Mehrwert aus Zertifizierungswerkstatt und den ergänzenden Bildungsangeboten für ihr wba-Zertifikat und/oder ihr wba-Diplom einschätzten.

Demografie der Befragten – viel Erfahrung, multiple Beschäftigungsformen und -bereiche

Im Vergleich zur Allgemeinheit der wba-KandidatInnen nahmen leicht überproportional mehr Befragte über 40 und mehr Männer teil. Das Durchschnittsalter der Befragten lag bei 47,3 Jahren.

wba-DiplomandInnen (insbesondere jene mit Schwerpunkt Beratung und Bildungsmanagement) antworteten öfter als AbsolventInnen, die ausschließlich das wba-Zertifikat erworben hatten, selbst nach mehr als sechs Jahren nach Erwerb ihres wba-Abschlusses. Das weist beim Diplomlevel auf eine stärkere Verbundenheit mit der wba hin.

Der Großteil der Befragten arbeitet nach eigenen Angaben in mehreren Tätigkeitsbereichen. Dies bestätigt nicht zuletzt die Grundidee des wba-Zertifikats als Basisqualifikation für ErwachsenenbildnerInnen aus allen vier Erwachsenenbildungsfeldern (Lehren/Gruppenleitung/Training, Beratung, Bildungsmanagement und Bibliothekswesen), für das Grundlagenkompetenzen in eben diesen vier Bereichen nachgewiesen werden müssen.

71 Prozent waren lehrend, 51 Prozent beratend, 41 Prozent im Bildungsmanagement, 3,5 Prozent in Bibliotheken und 13 Prozent in anderen Bereichen tätig. Dabei befanden sich 55 Prozent in einem unbefristeten und acht Prozent in einem befristeten Dienstverhältnis. 19 Prozent waren selbständig tätig, sechs Prozent mit freiem Dienstvertrag, knapp sechs Prozent arbeiteten außerhalb der Erwachsenenbildung, fünf Prozent in anderen Bereichen bzw. mit mehr als einem Arbeitsverhältnis, ein Prozent ehrenamtlich.

44 Prozent der Befragten waren bereits länger als 15 Jahre in der Erwachsenenbildung tätig, für 74 Prozent stellte ihre Tätigkeit in der Erwachsenenbildung die Haupteinnahmequelle dar.

Die Hälfte der Befragten, die nicht in der Erwachsenenbildung haupttätig waren, arbeitete in einem anderen Beruf, 18 Prozent in Schule oder Hochschule, 5 Prozent waren arbeitssuchend, sieben Prozent pensioniert.

Die Aufteilung nach Abschlussart zeigte, dass sich Tätigkeitsbereiche und wba-Diplombereiche nicht immer gleichsetzen ließen, d.h. dass Befragte, die in einem Schwerpunktbereich ein wba-Diplom abschlossen, hauptsächlich auch in einem anderen Tätigkeitsbereich arbeiten konnten.

Motive für einen wba-Abschluss

Nach dem Hauptgrund für einen wba-Abschluss gefragt, wurden im Durchschnitt mehr als drei verschiedene Motive genannt. Am häufigsten wurde das Bündeln bereits erworbener Kompetenzen (75 Prozent), die Bestätigung der eigenen Professionalität (54 Prozent) und eine Weiterentwicklung im Sinne des lebenslangen Lernens (35 Prozent) genannt. Bei allen dreien handelt es sich um intrinsische Motive. Bereits an vierter Stelle folgte mit 28 Prozent der/die ArbeitgeberIn und das Lukrieren eines Wettbewerbsvorteils. So meinten Befragte, dass sie „einen berufsbezogenen Nachweis [ihrer] erwachsenenbildnerischen Kompetenz“ erlangen wollten, aber auch, dass das wba-Zertifikat „dem Erhalt des Arbeitsplatzes“ diene.

Motive, mit denen die wba-Zertifizierung begonnen wurde, beeinflussten die AbsolventInnen, was die Einschätzung eines errungenen Nutzens betraf. Befragte, die eher extrinsisch motiviert waren (durch Arbeitgeber/in, wba-Abschluss als Nachweis für eine öffentliche Stelle) gaben häufiger an, dass sie wenig profitiert hatten.

Klarer Nutzen auf Wirkungsstufe 4 und 5

Die Ergebnisse der Befragung waren ziemlich heterogen, insbesondere nach Motiven für einen wba-Abschluss, Tätigkeitsbereichen, Berufserfahrung, Alter der Befragten und Abschlussart besehen.

Klar zeigte sich: wba-AbsolventInnen verzeichneten definitiv einen Nutzen, der sich auf den Stufen 4 und 5 der Wirkungstreppe festmachen lässt (d.h. hinsichtlich einer Änderung der Fähigkeiten und des Handelns).

An erster Stelle: professionsspezifischer und persönlich(keitsbildend)er Nutzen

Den größten Nutzen bezogen wba-AbsolventInnen aus einem professionsspezifischen Nutzen ihres wba-Abschlusses, d.h. in Bezug auf:

• eine stärkere Identifikation als ErwachsenenbildnerIn:
• einen besseren Einblick in die österreichische Erwachsenenbildungslandschaft;
• ein geschärftes Bewusstsein für die eigenen Stärken und Fähigkeiten als ErwachsenenbildnerIn.

Extrinsisch Motivierte – diese Gruppe umfasst ca. 28 Prozent der Befragten – antworteten hier gleich wie intrinsisch Motivierte.

Ebenfalls stark profitierten wba-KandidatInnen generell von einem persönlichkeitsbildenden Nutzen im Sinne eines Empowerments (d.h. in Bezug auf einen gestiegenen Selbstwert bzw. größere Selbstreflexion).

Der berufliche Nutzen der wba-Abschlüsse
Berufliche Verwertbarkeit

Der Erwerb zusätzlicher Kompetenzen, die im Berufsalltag nützlich sind, war für 53 Prozent der Befragten ganz oder eher gegeben (Stufe 4). Für 49 Prozent war eine Erweiterung der Handlungskompetenz gegeben (Stufe 5).

Hier ist eine Korrelation zu den Rückmeldungen bezüglich der ergänzenden Bildungsangebote, die wba-AbsolventInnen zum Füllen noch offener Kompetenzbereiche besucht haben, gegeben. Je mehr Bildungsangebote ergänzend besucht wurden, umso stärker war der selbst wahrgenommene berufliche Nutzen für die AbsolventInnen. Nur die Chancen am Arbeitsmarkt verbesserte sich laut Angaben dieser Befragten nicht entsprechend. Auffällig ist, dass die berufliche Verwertbarkeit des wba-Abschlusses tendenziell von Männern höher eingestuft wurde.

Kann ein wba-Abschluss einen positiven Einfluss auf die Lebenslage der AbsolventInnen haben?

Auf Stufe 6 (Lebenslage der Zielgruppen ändert sich) verzeichnete die Mehrheit der Befragten einen geringeren Nutzen:

Nach einer Verbesserung ihrer Chancen am Arbeitsmarkt durch den wba-Abschluss gefragt, antworteten zehn Prozent der Befragten mit „trifft voll zu“, 34 Prozent mit „trifft eher zu“. Hoch war hier der Anteil der extrinsisch Motivierten, d.h. Verwertbarkeit war eher gegeben, wenn die Nachfrage gegeben war.

Positive berufliche Veränderungen durch einen wba-Abschluss

Niedriger als die direkte berufliche Verwertbarkeit wurde der Nutzen hinsichtlich der beruflichen Veränderung eingestuft. Zwar stieg bei etwa einem Drittel der Befragten die Zufriedenheit und Motivation, aber positive berufliche Veränderungen verzeichnete nur ein relativ kleiner Teil. Zu einer Steigerung der beruflichen Motivation und der Zufriedenheit mit der beruflichen Tätigkeit führte der wba-Abschluss insbesondere bei Befragten mit weniger als zwei Jahren Berufserfahrung.

Monetärer Nutzen

Ein monetärer Nutzen war wenig gegeben, am ehesten jedoch für Männer, insbesondere für Befragte, die im Bildungsmanagement tätig waren und für jene, die über eine elf bis fünfzehnjährige Berufserfahrung im Erwachsenenbildungsbereich verfügten. Ein Nutzen, den sich viele AbsolventInnen wünschen würden, wiewohl manche meinen, dass für sie „der größte Nutzen die Berufsbezeichnung »Erwachsenenbildnerin« [war] – auch wenn ich dadurch keinen monetären Vorteil hatte.“

Zusatznutzen durch einen wba-Abschluss

Ein wba-Abschluss kann folgenden Zusatznutzen mit sich bringen:

• Der Aufbau von Netzwerken und Kontakten (Stufe 5) etwa wurde dafür, dass die wba, abgesehen von Zertifizierungswerkstatt und Kolloquium, keine Präsenzzeiten vorsieht, als signifikant eingeschätzt.
• Was das Anschlusslernen betrifft (Stufe 4 bis 6), motivierte ein wba-Abschluss knapp die Hälfte der Befragten zum Besuch weiterer Weiterbildungen und erhöhte ihr Vertrauen in die eigene Lernfähigkeit. Die Motivation zu einer hochschulischen Anbindung und zum Teilen von Wissen wurden geringer eingestuft. Dennoch zeigten die Rückmeldungen, dass das Verfahren der wba für seine Durchlässigkeit, für die „internationale Anerkennung und als Qualitätsstandard in der Erwachsenenbildung“ geschätzt wird.

Mehrwert der Zertifizierungswerkstatt und der ergänzenden Bildung

Die Rückmeldungen zu folgenden beiden Prozesselementen des wba-Verfahrens weisen auf eine starke Wirkung auf den Wirkungsstufen 4 und 5 hin:

Rückmeldungen betreffend ergänzender Bildung zeigten, dass der wba-Abschluss zu einer wesentlichen Weiterqualifizierung der Befragten beiträgt bzw. beitragen kann, was wiederum nutzenstiftend ist. So stuften Befragte, die viele Seminare zur Ergänzung ihres wba-Abschlusses besuchten, die Verwertbarkeit ihres Abschlusses in beruflicher, persönlichkeits- und professionsbildender Hinsicht höher ein. Diese Gruppe meinte auch am häufigsten, dass durch den wba-Abschluss die Freude am Wissen teilen gestiegen war, ebenso der Selbstwert.

Die am häufigsten zu ergänzenden Kompetenzbereiche für ein wba-Zertifikat waren „Grundlagen der Pädagogik“ (64 Prozent), „Grundlagen des Bibliothekswesens“ (41 Prozent) und „Grundlagen des Bildungsmanagements“ (32 Prozent).

Sehr positiv waren die Rückmeldungen zum Mehrwert der Zertifizierungswerkstatt.⁵ Der Selbst- und Fremdbild-Abgleich und die erfahrene Stärkung, etwa durch positive Rückmeldungen durch die Gruppenleitung, waren den Befragten besonders wichtig. Das Feedback der Gruppenleitung und der anderen TeilnehmerInnen in der Kleingruppe stellen die wesentlichsten Zugewinne aus der Zertifizierungswerkstatt für die wba-AbsolventInnen dar.

Und wer profitiert nun am meisten?

Eine Auswertung nach Gruppen brachte zudem noch folgende Ergebnisse:

• Die meisten Befragten waren bereits länger als 15 Jahre in der Erwachsenenbildung tätig. Diese Gruppe gab auch häufiger an, dass sie durch den wba-Abschluss eine höhere Zufriedenheit mit der beruflichen Tätigkeit verzeichnete.
• DiplomandInnen, vor allem jene mit einem Diplom im Schwerpunkt Bildungsmanagement, stuften die Wirkung des wba-Abschlusses fast durchgängig höher ein als die restlichen Befragten.
• Tendenziell positiver antworteten generell auch Männer. Ob dies mit einer höheren Verwertbarkeit des wba-Abschlusses zu tun hat, lässt sich nicht sagen. Dass sie häufiger einen monetären Nutzen aus ihrem Abschluss zogen, wurde bereits erwähnt.

Put in a nutshell
Zusammenfassend kann gesagt werden:

• Am meisten nahmen die Befragten einen professionsspezifischen und persönlichkeitsbildenden Nutzen wahr.
• Für extrinsisch Motivierte war die berufliche Verwertbarkeit besonders stark gegeben.
• Den Mehrwert der Zertifizierungswerkstatt schätzten alle Befragten sehr hoch ein, vor allem Personen mit sehr geringer oder sehr langer erwachsenenbildnerischer Berufserfahrung.

Sind wba-Abschlüsse also nur „Nice-to-haves“, Empowerment-Instrumente und LLL-Gadgets? Die Abschlüsse zeigen auf den Stufen 4 und 5 ihre Wirkung, aber wenn es um konkrete Verbesserungen der Lebenssituation der AbsolventInnen geht, sinkt der wahrgenommene Nutzen. Ganz überraschend kommen diese Ergebnisse freilich nicht: So heißt es bereits in der

Zusammenfassung einer Studie des OEIB 2008 zur TeilnehmerInnenzufriedenheit mit LFI-Angeboten, dass „Erwachsenenbildung […] als unterstützend, wichtig in der Lebensbegleitung und nützlich im Alltag bewertet [wird].“⁶

Ein/e Befragte/r bringt einen wesentlichen Nutzen des wba-Abschlusses auf den Punkt: „Ich habe überhaupt meinen Job erhalten. Das wba-Zertifikat war eine Bedingung für die Einstellung. […] Gäbe es die wba nicht, wäre ich vielleicht mit meinem bunten Qualifikationsmix nicht aufgenommen worden.“

Bereits bei ihrer Gründung vor zehn Jahren wurde die wba als ein Standard in der Erwachsenenbildung gesehen. Dass sich seither doch einiges getan hat und sich Wirkungen und Nutzen zeigen, lässt sich an den angeführten Zahlen und Fakten ablesen. Dass es aber generell schwierig ist, die Wirkung von (Erwachsenen-)Bildung zu erheben, ist seit etlichen Jahren ein heißdiskutiertes Thema. Die „wider benefits of learning“ wurden mit der BeLL-Studie erneut angestoßen und das Bewusstsein dafür gestärkt, dass Bildung einen wesentlichen, wenn auch nur schwer messbaren, Beitrag zum Wohlbefinden des Einzelnen und der Gesellschaft darstellt.⁷

Und nun? – Fazit

Auf der Basis der Fakten und insbesondere der aggregierten Kommentare, lassen sich folgende drei Aufträge ableiten:

• Verstärkte Bemühungen hinsichtlich einer Steigerung des Bekanntheitsgrads sind notwendig, wenn wba-Abschlüsse ihren AbsolventInnen noch mehr nutzen sollen: bundesweit und in allen Bereichen und auf allen Ebenen der Erwachsenenbildung.
• Auf einem hohen Bekanntheitsgrad baut eine bessere Verwertbarkeit der Abschlüsse für die wba-AbsolventInnen auf. Diese Verwertbarkeit sollte jedoch abseits von Vorgaben möglich sein und das Prinzip der Freiwilligkeit wahren. Der wba-Abschluss als ein bekannter, als ein möglicher erwachsenenbildnerischer Qualifikationsnachweis.
• Um den Nutzen der wba-Abschlüsse für die AbsolventInnen auch zukünftig zu wahren und zu stärken, bedarf es der Beibehaltung und des Ausbaus des kooperativen Gedankens, der die wba trägt. Der deutsche Universitätsprofessor Bernd Käpplinger appellierte im Magazin Erwachsenenbildung zum Thema „Öffentlichkeit und Markt: Wozu ein öffentliches Bildungswesen?“⁸ an die „kooperativ-kollektiven Kräfte“, d.h. an Träger und Verbände, ihre Rolle als MitgestalterInnen des Bildungssystems aufzugreifen, anstatt einzeln und einzig auf „staatliches Handeln“ zu warten. Als gelungene Beispiele der Professionalisierung, „als ein Beispiel dafür, dass das Feld kooperieren und sich selbst Standards setzen kann“, nennt er die Weiterbildungsakademie und das deutsche Modell GRETA. Ob seine Ermutigung aufgegriffen wird und was dies für die wba und andere Validierungsverfahren bedeutet, bleibt abzuwarten. //