Controlling

ROI Bestimmung für Vertriebstraining – Präsenz & Online im Vergleich

Srichand Devarakonda, Projektmanager und „Independent Researcher“, Washington D.C., hat in der aktuellen Ausgabe des International Journal of Advanced Corporate Learning einen Artikel zur ROI-Bestimmung von Vertriebstraining veröffentlicht. Interessant ist diese Studie aus meiner Sicht, weil sie in einem experimentellen Design zwei Bedingungen vergleichend gegenüberstellt: Training in einem traditionellen Präsenz-Format und E-Learning.

Beide Trainings-Modalitäten sind etwa gleich erfolgreich, aber die Kosten unterscheiden sich deutlich, mit Vorteilen für den Modus E-Learning.

Die Rahmenbedingungen für die Untersuchung sind wie folgt:

Training von 85 Mitarbeitenden des Sales Teams eines US-amerikanischen Anbieters von „health food“.
2 Trainings-Modi: Präsenztraining (42 Teilnehmende) und E-Learning (43 Teilnehmende).
Beide Trainings-Modi wurden vom gleichen Auftragnehmer umgesetzt (Präsenztraining und E-Learning-Modul).
Zuweisung der Teilnehmenden zu den beiden Modi via Lotterie.
Lernzeit: 16 Stunden (zuzüglich 1 Stunde Prüfung)
– Präsenz: 2 Tage Training
– E-Learning: Zugang zum LMS für einen Monat.
Bei der Auswertung des Vertriebserfolgs wurden nur die drei wichtigsten Produkte des Unternehmens berücksichtigt.

Wie die Inhalte für den Modus E-Learning in Lernaktivitäten umgesetzt wurden, wird nicht ausgeführt. Auch nicht, ob / wie die aufgewendete Lernzeit in diesem Modus überprüft wurde.

Devarakonda geht in diesem Beitrag unter anderem folgenden Fragen nach:

Gibt es im Hinblick auf den Lernerfolg einen signifikanten Unterschied zwischen den beiden Trainings-Modalitäten?
Gibt es im Hinblick auf den Vertriebserfolg einen signifikanten Unterschied zwischen den beiden Trainings-Modalitäten?

Folgende Ergebnisse zeigen sich:

Der Vergleich der Ergebnisse der Eingangs- und Abschluss-Tests zeigt einen deutlichen Wissenszuwachs bzw. einen hoch signifikanten Unterschied.
Die Ergebnisse des Abschlusstests zeigten nur geringe / nicht signifikante Unterschiede hinsichtlich des Lernerfolgs zwischen den beiden Trainings-Modalitäten:

Im Hinblick auf den Vertriebserfolg im ersten Monat nach dem Training zeigten sich keine signifikanten Unterschiede zwischen den beiden Trainings-Modalitäten:

Die Kosten für die beiden Durchführungs-Modalitäten unterscheiden sich deutlich:
Präsenztraining: $ 34’452 für 42 Teilnehmende
E-Learning: $ 25’265 für 43 Teilnehmende
Der ROI für beide Trainingsmodalitäten kombiniert beträgt $ 1.374 pro $ Trainingsinvestition.

* * *

In der im International Journal of Advanced Corporate Learning (iJAC) veröffentlichten Version des Berichts sind verschiedene Auswertungen nicht enthalten. Devarakonda hat sie mir auf Nachfrage freundlicherweise zur Verfügung gestellt. Unter anderem betrifft dies die folgenden Auswertungen:

Vergleich der Kennzahlen zum Verkaufserfolg im Nachgang zum Training für beide Bedingungen
Vergleich des Kosten-Nutzen Verhältnisses bzw. des ROI für beide Bedingungen (Präsenz vs. E-Learning)

Hier eine kurze tabellarische Zusammenfassung dieser weiteren Ergebnisse:

	Präsenztraining	E-Learning
Anzahl Teilnhemende in dieser Bedingung	42	43
Monatlicher Vertriebserfolg VOR dem Training (Einheiten der drei wichtigsten Produkte)	2’699	2’780
Monatlicher Vertriebserfolg NACH dem Training (Einheiten der drei wichtigsten Produkte)	2’787	2’923
Differenz Vertriebserfolg VOR – NACH dem Training absolut	88	143
Differenz Vertriebserfolg VOR – NACH dem Training in % ((Kalkulation durch Christoph Meier))	3.26%	5.14%
Kosten für das Training in US$
– Logistikkosten für Teilnehmende (inkl. Opportunitätskosten)	16’952	11’008
– IT-Kosten	0	4’257
– Trainer (inkl. Reise) / E-Learning Authoring	17’500	10’000
Summe Kosten	34’452	25’265
Kosten-Nutzen-Verhältnis	1/1.019	1/1.858
Return pro investiertem US$ (ROI)	1.019	1.858

Devarakonda führt in seinem veröffentlichten Beitrag abschliessend noch folgende Punkte zu seiner Auswertung an:

1.       Trainer expense was a huge cost differentiator that brought down the ROI for Classroom mode when compared to Online mode. However, both modes of training had a positive ROI.

(…)

4.       In a survey, the Online attendees acknowledged that they sold more when compared to the Classroom attendees because of the easier access to training videos and soft copies of the training documentation.

5.       Classroom attendees unanimously voted that the “Role Playing” session gave them hands on experience of real-life scenarios and therefore were able to sell the higher priced items better.

Auf Nachfrage präzisierte Devarakonda noch folgendes:

In der Bedingung „Präsenz“ wurden Rollenspiel mit den Teilnehmenden durchgeführt. Jede/r Teilnehmer/in war gefordert, einmal selbst auf der Bühne zu sein sowie auch Feedback zu den Rollenspielen der anderen Teilnehmenden zu geben.
In der Bedingung „E-Learning“ wurden den Teilnehmenden – begleitend zum E-Learning Modul – 4-5 kurze Trainings-Videos zur Verfügung gestellt, in denen die trainierten Szenarien gezeigt wurden.

Devarakonda, Srichand (2019): Calculating the Economic Viability of Corporate Trainings (Traditional & eLearning) using Benefit-Cost Ratio (BCR) and Return On Investment (ROI). In: International Journal of Advanced Corporate Learning (iJAC) 12 (1), S. 41–57.

Learning & business impact (CLO Webinar mit Scott Schaffer, Ericsson)

Anfang März fand ein CLO-Webinar zum Thema „Learning & Business Impact“ statt, bei dem Scott Schaffer (Global Head of Learning Measurement & Analytics, Ericsson) als Experte eingeladen war.
Im Rahmen seines Vortrags zeigte Schaffer auf, wie bei Ericsson die Ausrichtung von Trainingsaktivitäten an Unternehmenszielen erfolgt. Zentral sind hierbei

priorisierte Geschäfts- bzw. Entwicklungsziele (z.B. „Increase Cost Efficiency“),
darauf bezogene Angebote von L&D (z.B. zum Thema „Order to cash“)
Identifikation von Faktoren, die zum Erreichen konkreter Ziele (z.B. OTC + 30%) beitragen (z.B. „Reduce WIP“)
das Aufzeigen des Zusammenhangs von Training und übergeordneten Zielen („impact map“).

Die nachfolgenden Schaubilder zeigen diese Schritte beispielhaft bzw. schematisch auf:

Abbildung 1: Priorisierte Zielsetzungen (Beispiele)

Abbildung 2: Wirkfaktoren und erwarteter Wirkungsanteil (Beispiele)

Abbildung 3: Wirkungskarte (impact map)

Lern-Wirkungskarten sind, nach Ansicht von Schaffer – und ich stimme da voll zu – sehr wirkungsvolle Arbeitshilfen für das Gespräch mit und die Beratung von Auftraggebern bzw. Vertretern von Geschäftsbereichen. Und zwar nicht nur, wenn es um die Klärung der Sichtachse Training – (Organisations-)Ziele geht, sondern auch später im Prozess im Hinblick auf die Evaluation von Trainingsmassnahmen.
Die Folien zum Webinar sind hier verfügbar.
Scott Schaffer ist übrigens Referent bei der „Corporate Learning Analytics“-Konferenz (Nashville, TN, 24.-27. Juli 2017). Ich werde leider nicht teilnehmen können, wäre aber sehr interssiert zu erfahren, ob jemand aus dem deutschsprachigen Raum dabei sein wird…

Am 11. und 12. Mai findet übrigens unser scil-Seminar „Value Management für Learning Professionals“. In diesem Seminar werden wir u.a. auch mit der von Schaffer angesprochenen Lern-Wirkungs-Karte (ursprünglich von Rob Brinkerhoff) arbeiten. Hier gibt es mehr Informationen zum Seminar.

ASTD Konferenz „Learn Now – Integrating informal, social and mobile into your learning strategy“

Diese Woche (12.-13.11.2013) fand in Austin Texas die ASTD “Learn Now”-Konferenz unter dem Titel „Integrating informal, social and mobile into your learning strategy” statt. Für mich war die Teilnahme ein Element meiner persönlichen Weiterbildung in diesem Jahr. Das Fazit hierzu ist eher gemischt. Hier mein persönlicher Kurzbericht…
Zu der zweitägigen Konferenz hatten sich etwa 90 Bildungsverantwortliche primär aus Unternehmen und staatlichen Institutionen angemeldet. Das Format war für eine „Konferenz“ in zweierlei Hinsicht ungewöhnlich: zum einen sassen die Teilnehmenden in kleinen Gruppen an Tischen (und arbeiteten in den verschiedenen Sessions auch in diesen Gruppen an Aufträgen); zum anderen waren es drei Experten, die abwechselnd die verschiedenen Sessions der Veranstaltung als inhaltliche Impulsgeber und als Moderatoren bestritten:

Chad Udell, Geschäftsführer von Float Mobile Learnnig und Autor eines Buchs zu mobilem Lernen (Udell, C.: 2012. Learning everywhere: how mobile content strategies are transforming training. American Society for Training and Development).
Jane Bozarth, E-Learning Koordinatorin für die Regierung von North Carolina und Autorin eines Buches zum Einsatz von sozialen Medien in Training und Weiterbildung (Bozarth, J.: 2010. Social media for trainers: techniques for enhancing and extending learning. San Francisco: Pfeiffer.)
Julie Dirksen, Beraterin für Learning Design und Weiterbildung und Autorin eines Buches zu Learning Design (Dirksen, J.: 2011. Design for how people learn. Berkeley, CA: New Riders.)

Die Veranstaltung war in fünf Sessions gegliedert:

Creating real vs. ideal solutions
Designing for behavior change
Social instructional design
Dealing with objections and taking action
Measuring it all: moving beyond ROI

Begleitend zur Veranstaltung war von den Organisatoren eine Facebook-Gruppe eingerichtet worden, in der nützliche ergänzende Hinweise und Kommentare gepostet wurden – sowohl von den Moderatoren als auch von den Teilnehmenden.

(1) Chad Udell eröffnete die Veranstaltung und bestritt die erste Session zum Thema “Creating real vs. ideal solutions“. Er warb für einen Ansatz in der betrieblichen Bildungsarbeit der sich am „design thinking“ orientiert und sich in folgenden Schritten realisiert:

empathize (die Problemsituation kennen und verstehen)
define (Grundprobleme identifizieren und nicht vorschnell eine Qualifizierung als Lösungsweg verfolgen)
ideate (über Kreativitätstechniken verschiedene Lösungsansätze entwickeln, skizzieren und bewerten)
prototype (Prototypen iterativ zu Lösungen weiterentwickeln)
test (die Lösung überprüfen und evaluieren).

Dabei legte er einen Schwerpunkt auf laterales Denken („thinking out of the box“) für die Entwicklung von Lösungen zu den identifizierten Grundproblematiken. Neben einer kurzen Übung zu den sechs Denkhüten von De Bono liess er die Arbeitsgruppen auch den Webservice http://minimaldesign.net/os/ zu „oblique strategies“ als Ressource für die Bewältigung von Denkblockaden nutzen.

(2) Julie Dirksen eröffnete die zweite Session zum Thema „Designing for behavior change“ indem sie eine Parallele zwischen den Herausforderungen herstellte, denen sich Bibliotheken, Museen und auf die Bereitstellung von Lernressourcen fokussierte betriebliche Bildungsbereiche gegenüber sehen: für sie stellt sich die Frage nach dem Auftrag, wenn umfangreiche Wissens- und Lernressourcen jederzeit und überall im WWW oder über spezielle Apps verfügbar sind. Ihre Antwort für die betrieblichen Bildungsbereiche lautet: Konzentration auf die schwierigen Aufgaben, allen voran das Bewirken von nachhaltigen Verhaltensänderungen.
Ausgehend von der Metapher „rider & elephant“ (Jonathan Haig: The happiness hypothesis) für unterschiedliche Denkmodi (rational und verbalisierend versus emotional und habitualisiert) plädierte sie für ein didaktisches Design, dass sowohl (1) den emotionalen und habitualisierten Operationsmodus der adressierten Zielgruppe („design for the elephant“) als auch (2) die Rahmenbedingungen für die Lernenden im Arbeitsfeld („design for environment“) in den Mittelpunkt stellt. Die Leitfragen für das learning desingn sind daher aus ihrer Sicht folgende:

Welche bisherigen Verhaltensweisen müssen die Teilnehmenden verlernen?
Welche Erfahrungen machen die Lernenden, wenn sie eine neue Handlungsweise ausprobieren / umsetzen?
Welche Konsequenzen erleben sie, wenn sie das erwünschte Verhalten nicht zeigen?
Woher wissen sie, ob sie die erwünschten Handlungen richtig umsetzen?
Wie können Sie die neuen Verhaltensweisen (in geschützter Umgebung) einüben?
In welchem Umfang erfahren sie in ihrer täglichen Arbeitsumgebung Unterstützung für die erwünschten neuen Verhaltensweisen?
Wer sind geeignete Rollenmodelle für die Lernenden?
Wie kann die Umsetzung der erwünschten neuen Verhaltensweisen so einfach wie möglich gemacht werden?
Wie können kognitive Herausforderungen bei der Umsetzung der erwünschten neuen Verhaltensweisen in die Umgebung ausgelagert werden (Arbeitshilfen, technische Systeme, etc.)?

In der dritten Session des ersten Tages wandte sich Jane Bozarth dem Thema „Social instructional design“ zu. Sie ging dabei von zwei Ausgangspunkten aus: (1) die Unterscheidung von verschiedenen Formen des Lernens in Organisationen:

‚intra-organizational learning‘, z.B. in Form von Management-Informationen an die Mitarbeitenden;
‚formal directed learning‘, z.B. Trainer-geführte Kurse;
‚group directed learning‘, z.B. im Rahmen der Arbeit in Projektgruppen;
‚personal directed learning‘, z.B. in Form von selbstgesteuerten Lernaktivitäten;
‚accidental & serendipitous learning‘, z.B. zufällige Lernerfahrungen im Verlauf von informellen Gesprächen;

(2) die Feststellung, dass social media für verschiedene Aktivitäten genutzt werden können:

(dezentrales) Publizieren von Informationen
Teilen von Inhalten
Entwicklung von Beziehungen zwischen Personen
gemeinsames, kollaboratives Arbeiten.

Sie hat dann die Teilnehmenden im Rahmen einer Gruppenarbeit Ideen dazu entwickeln lassen, wie diese verschiedenen Formen des Lernens durch social media basierte Aktivitäten unterstützt werden können. Beispiele, die genannt wurden, waren z.B. der persönliche Weblog eines Firmenvorstands, Berichte zu Weiterbildungen von Seiten der Mitarbeitenden in Firmenweblogs oder Wettbewerbe zu Videos mit dem Thema „things good to know“ auf einer firmeninternen Plattform.
Anschliessend führte Bozarth die Studie von Julian Orr „Talking about machines“ (1996) ein: eine ethnografische Studie über Praktiken des Wissensaustauschs unter den Servicetechnikern eines Herstellers von Fotokopierern. Im nachfolgenden Gruppenauftrag ging es um die Frage, welche Möglichkeiten zur Bearbeitung der von Orr diagnostizierten Probleme heutzutage auf der Grundlage von social media Werkzeugen möglich sind. Zu den entwickelten Ideen gehörten beispielsweise online Bildersammlungen zur Dokumentation von Schäden in den Kopierern, Kurzvideos zu einzelnen Reparaturvorgängen, Instant Messaging für eine schnelle Kontaktaufnahme bei Rückfragen an Kollegen oder auch Servicetickets, die für Kunden online einsehbar sind und den aktuellem Reparaturstatus zeigen.

Den zweiten Tag eröffnete Jane Bozarth mit der Session zu „Dealing with objections and taking action“ und mit dem Hinweis darauf, dass die Pläne zur Einführung von Lernlösungen im Arbeitsfeld auf der Grundlage von social media häufig auf Vorbehalte und Widerstände von verschiedener Seite stossen (Management, IT, Endnutzer). Julie Dirksen übernahm dann und moderierte zwei Übungen: (1) zur Kraftfeldanalyse als Verfahren, die eine Veränderung treibenden und bremsenden Faktoren / Kräfte zu identifizieren; und (2) zum Herunterbrechen von grossen Veränderungszielen in verschiedene kleine, leichter zu bewältigende Einzelschritte.

Die letzte Session der Konferenz zum Thema „Measuring it all: moving beyond ROI“ moderierte wiederum Chad Udell: auf einen kurzen Input zum Thema analytics und zu „vanity metrics“ (d.h., Metriken, die Bildungsbereiche gut aussehen lassen – „16‘482 Zugriffe auf die Lernplattform im letzten Quartal“ – aber keinerlei Aussagekraft besitzen und keine Ansatzpunkte für die Qualitätsentwicklung bieten), folgte ein Verweis auf das Buch von Eric Ries „The lean startup“ und das dort entwickelte Konzept des „innovation accounting“. Dazu wurden dann zwei kurze Gruppenübungen durchgeführt.

Insgesamt war ich von der Veranstaltung etwas enttäuscht. Erwartungen, die mit der Ankündigung der Veranstaltung geweckt wurden (z.B. „Deconstruct an onboarding experience and rebuild it using LearnNow techniques“), wurden aus meiner Sicht nicht erfüllt und mir haben insbesondere aktuelle Fallbeispiele gefehlt. Und inhaltlich war die Veranstaltung eher auf Einsteiger ausgerichtet. Die drei Experten haben die Veranstaltung zweifellos gut moderiert und die Teilnehmenden vorbildlich aktiviert – vor allem, indem in den zahlreichen kurzen Übungen die Einschätzungen der Teilnehmenden abgeholt wurden. Aber wenn man Einsteiger vor sich hat und ein fachlich gehaltvoller Input (etwa zum Thema „social instructional design“ oder „measurement“) ausbleibt, dann bleibt dieses Vorgehen aus meiner Sicht unergiebig – weil es einfach nur wenig an interessanten Erfahrungen von Seiten der Teilnehmenden abzuholen gibt…

Evaluation und Wertbeitrag von Weiterbildung: "a work in progress"

Die Sommerpause ist vorbei und wir sind auch wieder an unseren Arbeitsplätzen angekommen. Über den Sommer haben wir an einer ganzen Reihe von Publikationen gearbeitet, doch dazu in späteren Posts mehr.
Gerade kam ein Hinweis auf einen „Special Report“ zu „Metrics and Measurement“ im aktuellen Heft des Chief Learning Officer magazine herein. Frank Kalman behandelt in vier Beiträgen

Learning measurement: a work in progress
Weighing the options: different schools of thought
Putting thought to work: evaluation in practice
What’s ahead: can measurement be standardized

Kalman kontrastiert in seinen Beiträgen das Bemühen um das Aufzeigen von Effekten auf den 4 „Kirkpatrick“-Ebenen sowie der 5. Ebene ROI-Bestimmung (nach Jack Phillips und seiner Methodik) mit Bemühungen um andere Ausrichtungen der Evaluation. Etwa die Korrelation von Lernaktivitäten mit Leistungskennzahlen (z.B. mit Umsatzahlen bei Qualcomm) oder das Durchführen von eher qualitativen Fallstudien zu den Auswirkungen von Trainings (z.B. bei PriceWaterhouseCoopers).
Im letzten Teil der Beitragsreihe geht es um die Frage nach Möglichkeiten der Standardisierung von Kennzahlen für Berichte an Unternehmensleitungen. Hier war für mich der Hinweis auf den Center for Talent Reporting und dessen Entwicklung von „Talent Development Reporting Principles (TDRp) interessant. Das Center wurde auf Initiative von Knowledge Advisors (bekannt für „Metrics that Matter“) und Qualcomm (CLO Tamar Elkeles) lanciert und ist eine not-for-profit Organisation mit folgendem Ziel:

Our mission is to develop and promote the adoption of reporting standards for human capital that meet the needs of senior executives, talent management leaders, program managers, and other stakeholders. It is our vision that Talent Development Reporting principles are broadly accepted and widely employed as the world-class reporting standard for all human capital processes.“

Das Center stellt auf seinen Webseiten u.a. verschiedene Listen mit Kennzahlen zur Verfügung (z.B. Kennzahlen aus den Bereichen „Learning & Development“, „Leadership Development“, „Performance Management“ usw.) zur Verfügung. Ein Dokument mit Kennzahlen zu Learning & Development ist hier öffentlich verfügbar. Dort werden die Kennzahlen nach zwei Kategorien, mehreren Unterkategorien und jeweils verschiedenen Ebenen systematisiert:

Effectiveness
– Headcount (z.B. Anzahl der Trainingsteilnehmenden)
– Training Effectiveness (z.B. Ausrichtung von Trainings an Zielen)
Efficiency
– Headcount (z.B. Anteil der Mitarbeitenden, die von L&D mit Angeboten erreicht werden)
– Activity & Utilization (z.B. Anteil der Kurse, die belegt werden, am Gesamtangebot)
– Cycle Time (z.B. Zeitraum für die Umsetzung eines neuen Trainingsangebots)
– Cost (z.B. Durchschnittlicher Aufwand für das Entwickeln eines neuen Kursangebots)
– Career Development (z.B. Anteil der Mitarbeitenden mit ausformulierten persönlichen Entwicklungsplänen)

Ich vermute dass interessantere Materialien (z.B. Übersichten mit den konkreten Berechnungsvorschriften für die oben aufgeführten Kennzahlen und Hinweise dazu, wo / wie diese Daten erhoben / ermittelt werden können) im geschlossenen Mitgliederbereich verfügbar sind. Darüber hinaus ist nicht so sehr eine umfangreiche Zusammenstellung von Kennzahlen hilfreich, sondern das Wissen darum, welche Kennzahlen für welche Anspruchsgruppen relevant sind, damit ziel- und kundenorientiert berichtet werden kann.
Kalman weist darauf hin, dass die Beteiligung von Unternehmen an der not-for-profit Organisation „Center for Talent Reporting“ bisher noch verhalten ist. Und er schliesst mit einem Verweis auf das bekannte Argument von Robert Brinkerhoff, dass die wirklich interessante Frage die ist, warum Trainingsinterventionen bei einem (mehr oder weniger grossen) Teil der Teilnehmenden keine signifikanten Transfer und Leistungseffekte hervorrufen und wie man den Anteil derjenigen, für die Tranings wirklich wirksam sind, erhöhen kann.

Bleibt mir noch darauf hinzuweisen, dass wir bei scil am 19. und 20. September ein Seminar zum Thema „Bildungsprogramme mit Wertbeitrag realisieren“ anbieten, bei dem wir ein auf fünf Schritten basierendes Vorgehen vorstellen und anhand von praktischen Arbeitsaufträgen vertiefen. Mehr dazu hier.

Weiterbildung verändert sich: und das Controlling?

Emmerich Stoffel, HR Swisscom und unser Partner im Innovationskreis (zusammen mit Roland Brunner der Swisscom) im Gespräch um die Herausforderungen in der Weiterbildung. Die internen Auseinandersetzungen mit den Controllern können sicherlich viele nachvollziehen. Diese „Grabenkämpfe“ zeigen auf, wie schwierig es ist, Arbeiten&Lernen in der Praxis zusammen zu führen…

Auszug aus der NZZ vom 1. Nov. 2012:

„Grosses Augenmerk legt Stoffel auf die rund 3500 Beschäftigten, die in den Callcentern in ständigem Kontakt mit der Kundschaft stehen. Sie informieren die Kunden nicht nur über die zahlreichen Preisangebote des Telekomunternehmens, sondern sie müssen auch Kenntnisse über die technischen Details der Produktpalette haben. Und schliesslich spielen sie oft den Blitzableiter, wenn unzufriedene Kunden am Telefon ihren Frust loswerden wollen. Nach Angaben von Stoffel werden diese Servicekräfte jährlich an bis zu zehn Tagen weitergebildet; für den Rest der Swisscom-Beschäftigten dürfte der Durchschnittswert zwischen fünf und sechs Tagen liegen, rechnet Stoffel vor.

Der Telekomanbieter lässt sich das etwas kosten. Ohne den Betrag genau zu beziffern, gibt die Swisscom nach Stoffels Worten jährlich einen «zweistelligen Millionenbetrag» für die Weiterbildung aus. Allerdings dürften Stoffel und seine Personalabteilung sich des Öfteren mit den Controllern in die Haare kriegen. Denn oft sind die Massnahmen in der Kostenrechnung nicht eindeutig zurechenbar. Handelt es sich nun um eine Fortbildung, oder entstehen die Kosten im Zusammenhang mit einem laufenden Projekt?“

Lesetipp: Measuring Leadership Development

Jack Phillips ist bekannt als Experte für das Thema ‚Return on investment‘ im Bereich Training und Personalentwicklung. Er ist Gründer des „ROI-Institute“ und sein erstes Buch, „Return on investment in training and performance improvement“, in dem er seine „ROI-Methodologie“ entwickelt, datiert von 1997. Gemeinsam mit Rebecca Ray, einer Expertin im Bereich Führungskräfteentwicklung, haben Jack Phillips und Patricia Pulliam Phillips kürzlich ein Buch zum Thema Erfolgsbestimmung in der Führungskräfteentwicklung veröffentlicht. Das Buch gliedert sich in zwei Teile: (1) Erfolgsmessung in der Führungskräfteentwicklung und (2) Fallstudien zur ROI-Bestimmung.
Im ersten Teil des Buches stellen die Autoren zunächst die aktuelle Bedeutung von und Erfolgsfaktoren für Führungskräfteentwicklung heraus. Sie betonen, dass Erfolgsmessungen bei Programmen zur Führungskräfteentwicklung nicht nur möglich sind, sondern dass die Mehrzahl der CEOs grosser Unternehmen an entsprechenden Resultaten interessiert ist. Allerdings zeigen die Ergebnisse einer Befragung der Autoren unter mehr als 350 Führungskräfte-Entwicklern aus 2011, dass ROI-Bestimmungen lediglich bei ca. 11% der Programme umgesetzt werden.
In der Folge stellen die Autoren dann das bereits aus anderen Publikationen (z.B. dem Buch „The value of learning“ von 2007) bekannte ROI Prozessmodell vor (vgl. Abbildung) und Entscheidungskriterien dazu, ob für ein konkretes Entwicklungsprogramm eine ROI-Analyse sinnvoll ist oder nicht.

Im Hinblick auf das Aufzeigen von ‚business impact‘ bei FK-Entwicklungsprogrammen plädieren die Autoren dafür, an Stelle von allgemeinen Kenngrössen (beispielsweise Umsatz pro Mitarbeiter, Stückkosten, Fehlerquote, Personalfluktuation oder Zufriedenheit mit dem Arbeitsplatz) spezifischere Kenngrössen aus den (in der Regel unterschiedlichen) Geschäftsbereichen der Teilnehmenden zu verwenden. Hierzu müssen die Teilnehmenden vorab zwei oder drei Kenngrössen definieren, auf die sie selbst Einfluss haben und die sie mit Hilfe der im Entwicklungsprogramm entwickelten Kompetenzen verbessern können. Dass dabei zahlreiche Erfolgskenngrössen zusammen kommen stellt kein Problem dar, denn die einzelnen Erfolgsmasse werden jeweils in monetäre Werte umgerechnet und können dann für die Gesamtbewertung des Programms zusammengezogen werden.
Auf ein Kapitel zur Fragen der Datenerhebung folgt ein Kapitel dazu, wie die Effekte von Entwicklungsprogrammen isoliert werden können. Hier werden die bereits bekannten Verfahren (Kontrollgruppen, Trendanalyse und Schätzungen – durch die Teilnehmenden selbst, deren Vorgesetzte oder externe Experten) aufgeführt. Allerdings bleibt offen, wie die zuerst genannten Verfahren bei funktionsübergreifenden Entwicklungsprogrammen (‚cross functional management training‘) konkret umgesetzt werden können. Die beiden Folgekapitel behandeln die Konversion der beobachteten Effekte in monetäre Werte sowie die Bestimmung der Kosten von Führungskräfteentwicklungsprogrammen und die Kalkulation des ROI. Zwei weitere Kapitel befassen sich mit der Bestimmung von nicht in Geldwerte konvertierbaren Auswirkungen von Programmen zur Führungskräfteentwicklung (‚intangible benefits‘ – Mitarbeiterzufriedenheit, Organisationsklima, Innovationsfähigkeit, Kundenzufriedenheit, etc.) und mit der Kommunikation von Ergebnissen. Prinzipiell, so die Autoren, können alle Effekte eines Entwicklungsprogramms in monetäre Werte konvertiert werden. Die Frage ist allerdings, (1) ob der dafür erforderliche Arbeitsaufwand vertretbar ist und (2) ob die Adressaten das Ergebnis akzeptieren werden. Können diese Fragen nicht mit „ja“ beantwortet werden, ist es sinnvoller, diese – bei Führungskräfteentwicklungsprogrammen häufig sehr wichtigen – Aspekte zwar systematisch zu beobachten und Ergebnisse zu berichten, nicht aber in einer ROI-Kalkulation zu berücksichtigen. Im Hinblick auf die Kommunikation der Ergebnisse stellen die Autoren heraus, dass diese sorgfältig geplant und zielgruppenspezifisch gestaltet sein muss und sie liefern einen Strukturvorschlag für einen Bericht zu einer ROI-Analyse. Im letzten Kapitel des ersten Buchteils weisen die Autoren auf typische Widerstände gegen die Umsetzung von ROI-Analysen und damit verbundene Veränderungen hin. Sie argumentieren für eine pragmatische Umsetzung und die Einbindung weiterer Beteiligtengruppen neben dem L&D-Bereich (z.B. Linienbereiche und Linienverantwortliche oder auch Controlling-Bereiche) in die Umsetzung.
Den zweiten Teil des Buchs bilden drei Fallstudien zur ROI-Bestimmung von Führungskräfteentwicklung, die in ähnlicher Form bereits in anderen Büchern der Autoren veröffentlicht waren. Gegenstand der ROI-Analysen sind:
(1) ein Coaching-Programm zur Verbesserung von Effizienz, Kundenzufriedenheit und Umsatz für Führungskräfte einer Hotelkette;
(2) ein viertägiges Trainingsprogramm (zuzüglich vorbereitendes Selbststudium) zur Verbesserung der Führungsfähigkeiten von unteren Führungskräften verschiedenster Funktionsbereiche eines international agierenden Autoverleihers; und
(3) ein aus sechs Modulen mit jeweils 4 Stunden Umfang bestehendes Programm zur Mitarbeiterführung, das innerhalb eines Monats umgesetzt wurde und an dem – in der untersuchten Pilotierungsphase – insgesamt 16 untere Führungskräfte in einer Produktionsstätte eines Anbieters von Telekommunikations- und Netzwerkausrüstung teilnahmen.
Die Kosten der drei analysierten Programme (inklusive extern durchgeführte Evaluation) liegen bei US$ 580‘000, US$ 160‘000 und 80‘000; der ermittelte ROI liegt bei 221%, 105% und 581%.
Insgesamt bietet das Buch wenig Neues gegenüber „The value of learning“ von 2007, ist aber konsequent auf die Diskussionen im Bereich der Führungskräfteentwicklung ausgerichtet. Die drei Fallstudien stellen eine gute Ergänzung zu den Ausführungen im ersten Teil des Buches dar und demonstrieren die jeweils fallspezifische Umsetzung der Methodologie.
——————————-
Phillips, J., Phillips, P., & Ray, R. (2012). Measuring Leadership Development: Quantify Your Program’s Impact and ROI on Organizational Performance. New York: McGraw-Hill.
Weitere Publikationen dieser Autoren:
Pulliam Phillips, P., & Phillips, J. J. (2007). The value of learning. How organisations capture value and ROI and translate it into support, improvement and funds. San Francisco: Pfeiffer.
Pulliam Phillips, P., & Phillips, J. J. (2007). Proving the value of HR. ROI case studies. Birmingham, AL: ROI Institute.

Sinnvolle Kennzahlen für Bildungsorganisationen

Bildungsorganisationen, die sich nach ISO 9001 zertifizieren lassen wollen, müssen unter anderem eine Reihe von Kennzahlen für die von Ihnen im Qualitätshandbuch beschriebenen Prozesse (z.B. Führung, Bildung, Beratung & Dienstleistungen, Produktion im Versuchsbetrieb, etc.) definieren. Im Rahmen eines kleinen Projekts haben wir eine öffentliche Bildungsinstitution bei dieser Aufgabe unterstützt.

Mit der Definition solcher Kenngrössen sind verschiedene Herausforderungen verbunden. Zunächst einmal müssen sie für relevante Anspruchsgruppen (z.B. Aufsichtsbehörde, Verwaltungsrat / Geschäftsführung, Bereichsleitungen, etc.) aussagekräftig und steuerungsrelevant sein. Dann sollen sie aber auch mit vertretbarem Aufwand messbar sein. Und schliesslich ist es den Mitarbeitenden in Bildungsorganisationen wichtig, dass die verwendeten Kenngrössen einen Bezug zu Qualitätsansprüchen an die eigene Bildungsarbeit aufweisen.

Ein Beispiel mag dies erläutern. Für die Aufsichtsbehörde, der die öffentliche Bildungsorganisation zugeordnet ist, ist etwa das wirtschaftliche Ergebnis der Produktion im Versuchsbetrieb eine relevante Kenngrösse. Diese Kennzahl ist auch einfach zu ermitteln wenn der Versuchsbetrieb eine eigene Ergebnisrechnung vornimmt. Allerdings sagt diese Kennzahl wenig darüber aus, (1) welches Potenzial dieser Versuchsbetrieb für die Kompetenzentwicklung der Berufslernenden (Auszubildenden) sowie für die Teilnehmenden an Weiterbildungen aufweist und (2) wie gut dieses Potenzial genutzt wird. Eine Kenngrösse, die diesbezüglich schon Aussagekraft hat, ist die Anzahl der Stunden, die Berufslernende / Teilnehmende an Weiterbildungen insgesamt über das ganze Jahr mit Demonstrationen, eigenen Erprobungen und praktischen Arbeitsaufträgen im Versuchsbetrieb verbringen. Und noch weitergehend könnte man eine Kenngrösse ermitteln, die abbildet, wie häufig Lernerfolgskontrollen im Rahmen der Aus- und Weiterbildungsangebote Aufgaben enthalten, die einen deutlichen Bezug zu Demonstrationen, Erprobungen und Arbeitsaufträgen im Versuchsbetrieb aufweisen.

Damit wird deutlich, dass die Maxime „Messen, was einfach zu messen ist“ im Bildungscontrolling nicht weit trägt. Vielmehr müssen sinnvolle Kenngrössen auch einen Bezug zu den Zielen einer Bildungsorganisation aufweisen – und diese Ziele beziehen sich auch auf Sachverhalte, die schwer messbar und quantifizierbar sind.

Die Umsetzung von Qualitätsentwicklung und Controlling in Bildungsorganisationen ist Gegenstand des scil Fokusseminars „Nachhaltige Optimierung: Qualitätsmanagement im Bildungsbereich„, das am 21. und 22. Juni 2012 in St.Gallen durchgeführt wird.

scil Intensivseminar Learning Value Management

Unser scil-Intensivseminar „Vom Bildungscontrolling zum Learning Value Management“ fand am Donnerstag, 29. März an der Universität St.Gallen statt. Ausgehend von unserem Rahmenmodell haben wir gemeinsam mit den Teilnehmenden im Verlauf von sieben Aufträgen die zentralen Schritte bei der Konzeption einer Learning Value Management-Initiative (z.B. konsequentere Ausrichtung des Portfolios auf strategische Themen; Einsatz von Lernwirkungskarten zur Verpflichtung der Beteiligten auf die definierten Massnahmenziele) bearbeitet. Insbesondere die Aspekte ‚Einbinden von Anspruchsgruppen‘, ‚Zielklärung‘ und ‚Evaluation‘ waren für die Teilnehmenden wichtig.

scil Arbeitsbericht 23: Learning Value Management

Unser scil-Arbeitsbericht 23 zum Thema ‚Learning Value Management‘ ist erschienen.
Learning Value Management (LVM) ist die konsequent auf die Erwartungen relevanter Anspruchsgruppen ausgerichtete Bestimmung, Überprüfung und Optimierung des Wertbeitrags von Bildungsarbeit. LVM greift zentrale Anliegen der Arbeitsfelder Evaluation, Qualitätsmanagement und Bildungscontrolling auf, integriert aber auch neuere Entwicklungen und Erweiterungen. LVM zeichnet sich durch folgende Elemente aus:
1) systematische Einbindung relevanter Anspruchsgruppen;
2) erweiterte Sicht auf Kompetenzentwicklung unter Berücksichtigung informellen Lernens;
3) erweiterte Evaluation (Berücksichtigung u.a. der Rahmenbedingungen für Kompetenzentwicklung in Organisationen) und
4) systematische Kommunikation von Evaluationsergebnissen und Ableitung von Massnahmen.

Zum scil Arbeitsbericht…

Controlling

Vielen Dank