Data Analytics Summit 2016 der eLearning Guild

‚Learning Data Analytics‘ ist ein noch vergleichsweise junges Arbeitsgebiet. Es geht dabei um das Entdecken, Interpretieren und Darstellen von bedeutsamen Mustern in grossen Datenmengen, die bei der Nutzung von digitalen Lern- und Arbeitsmaterialien entstehen. Im Kontext des (betrieblichen) Bildungsmanagements sind zentrale Ziele vor allem ein verbessertes Verständnis von Lehr-/Lernaktivitäten und die Optimierung von Lernumgebungen.
Abbildung 1: Daten – Analyse – Geschäftsoptimierung (Quelle: Wagner 2016)
 

Ein neues Veranstaltungsformat der eLearning Guild

Am 21. und 22. September fand der Data & Analytics Summit der eLearning Guild statt. Eine über zwei aufeinanderfolgende Halbtage laufende Online-Konferenz mit jeweils vier einstündigen Vorträgen pro Tag, an denen man nur per Webkonferenz teilnehmen konnte. Es handelt sich dabei um ein neues Angebotsformat der eLearning Guild und ich auch deshalb neugierig auf diese Konferenz.
Um es vorwegzunehmen: Ich fand diese Online-Veranstaltung insgesamt sehr gut, auch wenn – wie bei den meisten Tagungen und Konferenzen – für mich nicht alle Vorträge gleichermassen interessant oder überzeugend waren. Für eine insgesamt eintägige Konferenz wäre ich nie an die Westküste der USA geflogen. Soweit ich sehen konnte war die Beteiligung recht gut. Bei den Vorträgen des ersten Tags waren ca. 250 Teilnehmende dabei, am zweiten Tag, ca. 160. Natürlich gab es keine Kaffeepausen, in denen man mit anderen ins Gespräch kommen konnte. Der Austausch zwischen den Teilnehmenden spielte sich in den Chatfenstern der VC-Software ab – zum Teil in einer Intensität, dass ich mich fragte, ob diese Teilnehmenden überhaupt noch dem Vortrag folgen können. Im Folgenden einige Notizen zu den für mich wichtigsten Punkten der Veranstaltung. Detaillierter werden wir uns die Inhalte der Vorträge in unserem kommenden Innovationskreis zum Thema „Digitale Transformation: Konsequenzen für die Personalentwicklung“ anschauen.

Worum geht es bei Learning Data Analytics?

Die Auftakt-Session mit dem Titel „Why you should care about data analytics“ bestritt Ellen Wagner (Chief Research Officer, PAR Framework; VP Research, Hobsons). Sie zeigte zunächst zentrale Treiber für die Entwicklung von (Learning) Data Analytics auf: die zunehmende Verbreitung von distribuierten, web-basierten Plattformen; die Verfügbarkeit von ‚data warehouses‘; und die Verfügbarkeit von neuen Auswertungstechniken. Da viele andere Fachbereiche in Unternehmen auf die Analyse von grossen Datenmengen setzen, können sich die Bildungsverantwortlichen diesem Trend auf Dauer nicht entziehen. Denn solche Datenanalysen unterstützen die Bestimmung des Ist-Zustands (z.B. Intensität der Nutzung von Lernangeboten), die Leistungserbringung (z.B. zielgruppengerechte Anpassung des Umfangs von Lernressourcen), das Automatisieren von Abläufen (z.B. Feedbacks zu Tests auf der Basis von Vergleichsdaten) und die Entwicklung von neuen Lösungen (z.B. kurze „Refresher“-Angebote).
Wagner zeigte dann anschliessend vier Zielebenen für Learning Data Analytics auf:

1. Beschreibung, z.B.
   Welche Teilnehmenden brechen die Bearbeitung von bzw. Teilnahme an Lernangeboten ab?
   Welche Lernressourcen werden (nicht) genutzt?
2. Diagnose, z.B.
   Warum brechen Teilnehmende die Bearbeitung / Teilnahme ab?
   Warum werden Lernressourcen (nicht) genutzt?
3. Prädiktion / Vorhersage, z.B.
   Welche Teilnehmenden sind im Hinblick auf einen vorzeitigen Abbruch der Lernaktivitäten besonders gefährdet?
   Welche Ressourcen werden voraussichtlich (nicht) genutzt werden?
4. Präskription / Handlungsanleitung, z.B.
   Massnahmen zur Vermeidung von vorzeitigen Abbrüchen bei Lernaktivitäten;
   Massnahmen zur Gewährleistung der Nutzung von Lernangeboten / Lernressourcen.

Nun ist (Learning) Data Analytics als Arbeitsfeld nicht unumstritten. Die Einwände dagegen reichen von zu hohen Kosten über Gefahren der missbräuchlichen Verwendung von Daten bis hin zu Zweifeln an der Genauigkeit bzw. Qualität von Ausgangsdaten. Wagner plädierte hier für eine systematische Einbindung wichtiger Anspruchsgruppen und eine systematische Arbeitsmethodik, um diesen Einwänden zu begegnen.

Ein Beispiel zur Umsetzung

Der zweite Vortrag des ersten Tages mit dem Titel „Data Points: Using behavioral analytics to improve learning“ kam von J.D. Dillon, Principal Learning Strategist bei Axonify, einem Anbieter von ((…)). Ausgangspunkt für seinen Beitrag war eine Initiative zur Arbeitssicherheit und Unfallvermeidung (vor allem im Hinblick Verletzungen durch unsachgemässes Heben) bei einem Logistik-Dienstleister mit ca. 70‘000 Mitarbeitenden.
Dillon zeigte auf, wie über einen Prozess mit insgesamt 11 Schritten eine signifikante Ergebnisverbesserung erreicht werden konnte:

1. Definition des (Geschäfts-)Ziels
2. Identifikation von entscheidenden Situationen
3. Herausschälen von unbedingt erforderlichen Verhaltensweisen
4. Definition von Schwellenwerten
5. Klärung von möglichen Datenquellen
6. Sammlung von Daten
7. Evaluation der Daten
8. Herausarbeiten des für unfallfreies Arbeiten erforderlichen Wissens bzw. der dafür erforderlichen Kompetenzen.
9. Erstellen von Lerninhalten bzw. Arbeitshilfen
10. Steuerung der Zuweisung von Lern- / Unterstützungseinheiten
11. Ausweisen der Ergebnisse

Dillon stellte dann den Trainingsaufwand bei einem traditionellen und bei einem an Schwellenwerten orientierten Vorgehen vergleichend gegenüber. Im ersten Fall wären alle 70‘000 im Logistik-Bereich beschäftigten Mitarbeitenden geschult worden. Selbst bei einer mit fünf Minuten Dauer sehr kurzen Lerneinheit würde sich die dafür investierte Arbeitszeit auf über 23‘000 Mitarbeitenden-Stunden addieren. In diesem Projekt dagegen erfolgte die Zuweisung des Refresher-Training auf der Grundlage von definierten Schwellenwert, so dass schliesslich nur 658 Mitarbeitenden-Stunden für dieses Thema aufgewendet wurden. Dies entspricht einer Reduktion um mehr als 97%.

Entwicklungsperspektiven

Ein weiterer interessanter Beitrag kam von Tim Martin, CEO der Firma Rustici Software, die ab 2011 federführend am Projekt TinCan API gearbeitet hat, aus der die xAPI-Spezifikation hervorgegangen ist [Querverweis Blogbeitrag zu xAPI]. In seinem Beitrag mit dem Titel „Dreamers and pragmatists: what needs to happen to make xAPI fly“ skizzierte er seine Erwartungen im Hinblick auf Verbreitung der Nutzung von xAPI. Ein Hindernis für die breite Nutzung von xAPI sieht Martin darin, dass Mehrdeutigkeiten im strukturierten Vokabular für xAPI-Aktivitätsbeschreibungen entstanden sind – beispielsweise drei verschiedene Beschreibungen für das Betrachten von Videos. Martin erwartet, dass diese Probleme bis Mitte 2017 behoben werden und dass dann Investitionen in die Arbeit mit xAPI auf einer sicheren Grundlage stehen und dass dann eine breite Nutzung erfolgen wird.
Auch George Siemens, eine der zentralen Gründungsfiguren für das Arbeitsfeld Learning Data Analytics war bei der online Konferenz vertreten. In seinem Beitrag „Fostering adaptive learners, not adaptive curriculum“ riss er sehr viele verschiedene Themenaspekte an und es war nicht ganz leicht, seinem Vortag zu folgen. Im Hinblick auf adaptives Lernen verwies er auf die Begrenztheit der gegenwärtig verfügbaren Plattformen (z.B. Knewton.com). Diese beschränkten sich darauf, bei der Analyse von Lernaktivitäten und bei den Vorschlägen für Lernpfade nur die Interaktion von Lernenden mit Lerninhalten und deren kognitive Verarbeitung zu berücksichtigen.
Im Unterschied dazu sei es erforderlich, weitere Typen von Daten bei den Analysen von Lernaktivitäten hinzuzuziehen: Daten aus Präsenzsituationen und von Evaluationen ebenso wie Daten von sozialen Medien und körpernahen Detektoren, die Hinweise auf Lernstrategien, Vernetzung und affektives Involvement liefern. Siemens forscht aktuell zu Möglichkeiten der adaptiven Gestaltung von Lernumgebungen auf der Grundlage von Daten und Analysen zu individuellen physiologischen und psychologischen Vorgängen. So können beispielsweise Wearables oder Webcams eingesetzt werden, um Veränderungen in der Leitfähigkeit der Haut, der Hauttemperatur, der Herzfrequenz, der Körperhaltung etc. zu dokumentieren. Diese Daten können dann Hinweise auf Langeweile, Überraschung, Stress oder ähnliches liefern und mit zeitgleich dokumentierten Lernaktivitäten verknüpft werden. So wie ich Siemens verstanden habe besteht seine Vision darin, auf dieser Grundlage den einzelnen Lernenden in ganz anderer Weise als heute mit individuell zugeschnittenen Lernangeboten bedienen zu können.

---

http://www.elearningguild.com/summits/content/4496/data–analytics-summit-2016-home/