Wirkt das Training? Ergebnisse jenseits der Teilnehmerliste messen

Ein Training endet, und der Bericht kommt: eine Teilnehmerliste, Fotos und eine Zufriedenheitsnote von 4,5 von 5. Für viele Personalabteilungen, staatliche Fortbildungsstellen, NGOs und CSR Teams ist das der ganze Nachweis. Er beweist, dass das Training stattfand, nicht dass jemand gelernt hat, anders arbeitet oder bessere Ergebnisse erzielt. Trainingsergebnisse zu messen heißt, diese Fragen zu beantworten

Dieser Artikel behandelt die Modelle von Kirkpatrick und Phillips, die Planung der Evaluation und ein hypothetisches Beispiel aus einer Buchhaltungsschulung für BUM Desa

Warum Teilnehmerlisten und Zufriedenheitsbögen nicht genügen

Eine Teilnehmerliste zählt einen Output: die Zahl der geschulten Personen. Finanziert wird ein Training aber für die Outcomes, die folgen sollen, etwa Mitarbeitende, die genaue Aufzeichnungen führen. Ein Logical Framework zieht dieselbe Linie zwischen dem, was ein Programm liefert, und dem, was sich dadurch verändert

Zufriedenheitsbögen haben ihre eigene Grenze. Donald Kirkpatrick definierte Reaktion als das Maß, in dem den Teilnehmenden ein Programm gefiel, und betonte, dass sie kein Lernen misst: Selbst eine gut gemachte Reaktionsbefragung gibt keine Gewähr, dass jemand gelernt hat oder dass sich Verhalten ändern wird

Die Forschung bestätigt das. Eine Übersicht von 34 Studien in Personnel Psychology aus dem Jahr 1997 fand, dass die Einschätzung der Teilnehmenden, wie nützlich ein Training war, stärker mit Lernen und Leistung am Arbeitsplatz zusammenhing als die Frage, wie sehr es ihnen gefallen hatte

Das Kirkpatrick Modell: vier Ebenen der Trainingsevaluation

Donald Kirkpatrick stützte das Modell auf seine Dissertation von 1954 an der University of Wisconsin und legte es in vier Artikeln dar, die 1959 begannen, einer pro Ebene. Kirkpatrick Partners, das Unternehmen, das seine Arbeit fortführt, sagt, das Modell habe das Fachgebiet über Teilnahme und Zufriedenheit hinausgeführt

In den 2010er Jahren aktualisierten Jim Kirkpatrick, Donalds Sohn, und Wendy Kayser Kirkpatrick es als New World Kirkpatrick Model. Es ergänzt Ebene 1 um Engagement und Relevanz, Ebene 2 um Selbstvertrauen und Engagement, Ebene 3 um kritische Verhaltensweisen und notwendige Treiber (Coaching, Arbeitshilfen und Anerkennung, die neues Verhalten stärken) und Ebene 4 um Frühindikatoren, also kurzfristige Zeichen, dass das Verhalten auf Kurs ist. Die Planung beginnt bei Ebene 4 und arbeitet sich zurück. Die Aktualisierung des Unternehmens von 2026 ergänzt das Leistungsumfeld, die Bedingungen am Arbeitsplatz, die auf jeder Ebene Fortschritt fördern oder blockieren

Eine fünfte Ebene hinzufügen: die Phillips ROI Methode

Kirkpatricks vierte Ebene benennt Ergebnisse, gibt ihnen aber keinen Geldwert. Jack Phillips, heute Vorsitzender des ROI Institute, fügte in einem Handbuch von 1983 eine fünfte Ebene hinzu, den Return on Investment (ROI). Seine Ebenen sind Reaktion und geplante Umsetzung, Lernen, Anwendung und Umsetzung, Geschäftswirkung und ROI. Laut dem Institut nutzen sie heute auch gemeinnützige Organisationen, NGOs und Behörden

Die Methode isoliert, welcher Teil einer Verbesserung auf das Programm zurückgeht (über eine Vergleichsgruppe, Trendanalyse oder Schätzungen), rechnet ihn in Geld um und vergleicht ihn mit den vollständigen Kosten, einschließlich Bedarfsanalyse, Teilnahme und Evaluation. Nutzen, der sich nicht glaubwürdig umrechnen lässt, wird als immateriell ausgewiesen. Der ROI ist der Nettonutzen geteilt durch die Kosten, angegeben in Prozent. Nur zur Veranschaulichung: Ein Programm, das Rp 100 Mio. kostet und Rp 150 Mio. Nutzen bringt, hat einen ROI von 50 %

Wann sich die Berechnung des ROI lohnt

Weil eine ROI Studie Zeit und Geld kostet, empfiehlt das ROI Institute, 90 bis 100 % der Programme auf Reaktion zu evaluieren, aber nur 5 bis 10 % auf ROI, und dafür Programme zu wählen, die teuer, lang laufend, strategisch, sehr sichtbar, groß oder von der Leitung genau beobachtet sind. Ein kurzer, einmaliger Workshop rechtfertigt das selten, ebenso wenig ein Programm, dessen Hauptnutzen wie Vertrauen oder Selbstvertrauen sich nicht glaubwürdig beziffern lässt. Das Institut selbst merkt an, dass immaterieller Nutzen in vielen Fällen wichtiger ist als ein positiver ROI

Kirkpatrick Partners empfehlen, mit den Stakeholdern vorab zu vereinbaren, was Erfolg bedeutet (Return on Expectations), und den Beitrag des Trainings zu berichten, statt den alleinigen Verdienst zu beanspruchen. Wenn der Nutzen vor allem einer Gemeinschaft zugutekommt, passt SROI womöglich besser

Wie man die Trainingsevaluation schon in der Planung vorbereitet

Evaluation funktioniert am besten, wenn sie zusammen mit dem Training geplant wird, als Teil des Plans für Monitoring, Evaluation und Lernen des Programms. Fünf Schritte:

1. Den Trainingsbedarf analysieren. Gehen Sie vom Leistungsproblem aus. Kirkpatrick Partners warnen, dass schlechte Leistung oft fehlendem Wissen oder Können zugeschrieben wird, während die häufigere Ursache Motivation oder Arbeitsumfeld ist, was Training allein nicht behebt
2. Ziele an die Arbeit binden. Formulieren Sie, was die Teilnehmenden anders tun sollen, etwa „erfasst jede Bargeldbuchung noch am selben Tag“, und nicht nur, was sie wissen sollen
3. Ein oder zwei Indikatoren pro Ebene wählen und sie zu Beginn mit dem Geldgeber oder der Leitung vereinbaren
4. Eine Ausgangsbasis erheben. Wissen testen und die aktuelle Praxis vor dem Training festhalten
5. Die Nachverfolgung terminieren. Melden Sie sich in den ersten Wochen, denn Kirkpatrick Partners raten davon ab, 90 Tage zu warten. Prüfen Sie das Verhalten nach 3 bis 6 Monaten erneut (Kirkpatricks ursprünglicher Rat lautete 3 Monate oder mehr) und die Ergebnisse nach 6 bis 12 Monaten

Indonesische Vorschriften für den öffentlichen Dienst schauen bereits über die Teilnahme hinaus. Peraturan LAN Nomor 10 Tahun 2018 der Verwaltungsbehörde LAN verlangt von Behörden zu bewerten, ob die Kompetenzentwicklung, zu der Trainings gehören, die Kompetenz und Leistung der Beamten verbessert hat (Artikel 38). Für die Grundausbildung von Beamtenanwärtern (CPNS) sieht Peraturan LAN Nomor 1 Tahun 2021 eine Evaluation 6 bis 12 Monate nach dem Training vor, um zu sehen, ob die Teilnehmenden das Gelernte weiterhin bei der Arbeit anwenden (Artikel 37). Beide sind in der Rechtsdatenbank der BPK als gültig gelistet

Schlank bleiben: Werkzeuge zur Messung von Trainingsergebnissen

Kleine Programme brauchen einige gut gewählte, konsequent erhobene Maße, kein Forschungsdesign:

• Lange Zufriedenheitsbögen durch drei oder vier Fragen zu Relevanz, Nutzen und geplanter Anwendung ersetzen
• Praktische Fähigkeiten mit einer praktischen Aufgabe prüfen, etwa dem Ausfüllen eines echten Kassenbuchs
• Verhaltensprüfungen in bestehende Besuche oder Anrufe einbauen und auch Vorgesetzte oder Kollegen fragen
• Vorhandene Unterlagen wie Berichte oder Programmdaten nutzen, bevor neue Befragungen entworfen werden
• Bei großen Gruppen lieber eine Zufallsstichprobe gut nachverfolgen als alle schlecht befragen

Wie das ROI Institute rät, messen Sie die unteren Ebenen immer mit, wenn Sie über eine höhere berichten. Sonst können Sie nicht erklären, warum Ergebnisse eintraten oder ausblieben

Ein hypothetisches Beispiel: Buchhaltungsschulung für BUM Desa Verantwortliche

Dieses Beispiel ist hypothetisch und dient nur der Veranschaulichung. Ein Bezirksprogramm schult 30 Verantwortliche dorfeigener Unternehmen (BUM Desa) drei Tage lang in Grundlagen der Buchhaltung. Vor dem Training führen 8 der 30 BUM Desa ein aktuelles Kassenbuch. Mögliche Indikatoren:

• Reaktion: Mindestens 80 % der Teilnehmenden bewerten die Inhalte als relevant für ihre BUM Desa, auf einem kurzen Bogen am Ende jedes Tages
• Lernen: Die Durchschnittsnote in einem praktischen Test, bei dem 20 Beispielbuchungen erfasst und eine Monatsübersicht erstellt werden, steigt von 40 auf 75 von 100
• Verhalten: Nach 3 Monaten aktualisieren mindestens 20 der 30 BUM Desa ihr Kassenbuch wöchentlich, geprüft bei einem Besuch und gemeinsam mit der Aufsicht der BUM Desa oder dem Dorfvorsteher
• Ergebnisse: Innerhalb von 12 Monaten erstellen mindestens 20 BUM Desa ihren Jahresabschluss fristgerecht, mit Kassenbeständen, die mit den Büchern übereinstimmen

Ein monatlicher Anruf einer Begleitperson aus dem Bezirk und eine einfache Vorlage stützen die neue Routine. Haben sich BUM Desa, die nicht teilnahmen, ebenfalls verbessert, sollte das Programm nicht den ganzen Zuwachs für sich beanspruchen. Eine vollständige ROI Studie würde sich hier nicht lohnen: Der Hauptnutzen, etwa klarere Rechenschaft gegenüber dem Dorf, ist schwer zu beziffern

Fazit

Trainingsergebnisse zu messen heißt, mehr zu fragen als wer teilnahm und ob es gefallen hat. Gehen Sie von den Ergebnissen aus, die Sie brauchen, erheben Sie eine Ausgangsbasis, prüfen Sie das Verhalten nach wenigen Wochen und erneut nach 3 bis 6 Monaten, und heben Sie den ROI für die wenigen Programme auf, die ihn rechtfertigen. Schon ein oder zwei Indikatoren pro Ebene liefern weit bessere Belege als eine Teilnehmerliste

Training & Kompetenzentwicklung ist einer der sechs Programmbereiche von SIDIA und konzentriert sich auf maßgeschneiderte, kompetenzbasierte Trainings für Behörden, Gemeinschaften, NGOs und die Privatwirtschaft