Evaluation und Wertbeitrag von Weiterbildung: "a work in progress"

Die Sommerpause ist vorbei und wir sind auch wieder an unseren Arbeitsplätzen angekommen. Über den Sommer haben wir an einer ganzen Reihe von Publikationen gearbeitet, doch dazu in späteren Posts mehr.
Gerade kam ein Hinweis auf einen „Special Report“ zu „Metrics and Measurement“ im aktuellen Heft des Chief Learning Officer magazine herein. Frank Kalman behandelt in vier Beiträgen

• Learning measurement: a work in progress
• Weighing the options: different schools of thought
• Putting thought to work: evaluation in practice
• What’s ahead: can measurement be standardized

Kalman kontrastiert in seinen Beiträgen das Bemühen um das Aufzeigen von Effekten auf den 4 „Kirkpatrick“-Ebenen sowie der 5. Ebene ROI-Bestimmung (nach Jack Phillips und seiner Methodik) mit Bemühungen um andere Ausrichtungen der Evaluation. Etwa die Korrelation von Lernaktivitäten mit Leistungskennzahlen (z.B. mit Umsatzahlen bei Qualcomm) oder das Durchführen von eher qualitativen Fallstudien zu den Auswirkungen von Trainings (z.B. bei PriceWaterhouseCoopers).
Im letzten Teil der Beitragsreihe geht es um die Frage nach Möglichkeiten der Standardisierung von Kennzahlen für Berichte an Unternehmensleitungen. Hier war für mich der Hinweis auf den Center for Talent Reporting und dessen Entwicklung von „Talent Development Reporting Principles (TDRp) interessant. Das Center wurde auf Initiative von Knowledge Advisors (bekannt für „Metrics that Matter“) und Qualcomm (CLO Tamar Elkeles) lanciert und ist eine not-for-profit Organisation mit folgendem Ziel:

Our mission is to develop and promote the adoption of reporting standards for human capital that meet the needs of senior executives, talent management leaders, program managers, and other stakeholders. It is our vision that Talent Development Reporting principles are broadly accepted and widely employed as the world-class reporting standard for all human capital processes.“

Das Center stellt auf seinen Webseiten u.a. verschiedene Listen mit Kennzahlen zur Verfügung (z.B. Kennzahlen aus den Bereichen „Learning & Development“, „Leadership Development“, „Performance Management“ usw.) zur Verfügung. Ein Dokument mit Kennzahlen zu Learning & Development ist hier öffentlich verfügbar. Dort werden die Kennzahlen nach zwei Kategorien, mehreren Unterkategorien und jeweils verschiedenen Ebenen systematisiert:

1. Effectiveness
   – Headcount (z.B. Anzahl der Trainingsteilnehmenden)
   – Training Effectiveness (z.B. Ausrichtung von Trainings an Zielen)
2. Efficiency
   – Headcount (z.B. Anteil der Mitarbeitenden, die von L&D mit Angeboten erreicht werden)
   – Activity & Utilization (z.B. Anteil der Kurse, die belegt werden, am Gesamtangebot)
   – Cycle Time (z.B. Zeitraum für die Umsetzung eines neuen Trainingsangebots)
   – Cost (z.B. Durchschnittlicher Aufwand für das Entwickeln eines neuen Kursangebots)
   – Career Development (z.B. Anteil der Mitarbeitenden mit ausformulierten persönlichen Entwicklungsplänen)

Ich vermute dass interessantere Materialien (z.B. Übersichten mit den konkreten Berechnungsvorschriften für die oben aufgeführten Kennzahlen und Hinweise dazu, wo / wie diese Daten erhoben / ermittelt werden können) im geschlossenen Mitgliederbereich verfügbar sind. Darüber hinaus ist nicht so sehr eine umfangreiche Zusammenstellung von Kennzahlen hilfreich, sondern das Wissen darum, welche Kennzahlen für welche Anspruchsgruppen relevant sind, damit ziel- und kundenorientiert berichtet werden kann.
Kalman weist darauf hin, dass die Beteiligung von Unternehmen an der not-for-profit Organisation „Center for Talent Reporting“ bisher noch verhalten ist. Und er schliesst mit einem Verweis auf das bekannte Argument von Robert Brinkerhoff, dass die wirklich interessante Frage die ist, warum Trainingsinterventionen bei einem (mehr oder weniger grossen) Teil der Teilnehmenden keine signifikanten Transfer und Leistungseffekte hervorrufen und wie man den Anteil derjenigen, für die Tranings wirklich wirksam sind, erhöhen kann.
 
Bleibt mir noch darauf hinzuweisen, dass wir bei scil am 19. und 20. September ein Seminar zum Thema „Bildungsprogramme mit Wertbeitrag realisieren“ anbieten, bei dem wir ein auf fünf Schritten basierendes Vorgehen vorstellen und anhand von praktischen Arbeitsaufträgen vertiefen. Mehr dazu hier.