Archives for Juli 2018

Vorlesungsaufzeichnungen an Hochschulen: Risiken und Nebenwirkungen

Welche Effekte auf das Verhalten und den Erfolg von Studierenden hat die Einführung von Vorlesungsaufzeichnungen?
Empirische Studien hierzu kommen zu unterschiedlichen Ergebnissen. Eine Studie der Universität Belfast von 2015 kommt zu dem Ergebnis, dass die Verfügbarkeit von Vorlesungsaufzeichnungen keinen Effekt auf die Anwesenheit der Studierenden habe. Die Studierenden würden diese vielmehr als zusätzliche Ressourcen in der Phase der Prüfungsvorbereitung nutzen.
Eine aktuelle Studie in der Zeitschrift Higher Education kommt dagegen zu anderen Ergebnissen. Das Wirkungsmodell, das die Autoren aus der Datenanalyse ableiten, zeigt folgendes:

Die Verfügbarkeit von Vorlesungsaufzeichnungen korreliert signifikant mit einer reduzierten Anwesenheit von Studierenden (annähernde Verdoppelung der Abwesenheiten von ca. 20% auf ca. 40%).
Die reduzierte Anwesenheit bei Vorlesungen korreliert signifikant mit geringeren Studien- bzw. Prüfungsleistungen.

Therefore, on an aggregate basis, we find that lecture capture usage itself will not necessarily help students increase their grades; students who are generally higher achievers who attend lectures are likely to get better grades regardless of their lecture capture usage; in contrast, students who do not attend are likely to get lower grades regardless of their lecture capture usage.

Angesichts der Tatsache, dass Studierende die Verfügbarkeit von Vorlesungsaufzeichnungen begrüssen und diese auch intensiv nutzen, empfehlen die Autoren der Studie folgendes:

Studierende sollten darauf hingewiesen werden, dass das (wiederholte) Versäumen von Vorlesungen in der Regel nicht durch ein späteres Betrachten der Aufzeichnungen kompensiert werden kann – insbesondere nicht durch ein gedrängtes Betrachten der Aufzeichnungen kurz vor der Prüfung.

Edwards, Martin R.; Clinton, Michael E. (2018): A study exploring the impact of lecture capture availability and lecture capture usage on student attendance and attainment. In: Higher Education. Online verfügbar unter https://doi.org/10.1007/s10734-018-0275-9.

Lerntechnologien – die letzten 20 Jahre

Martin Weller, Professor für Educational Technology an der Open University in Grossbritannien, nimmt das zwanzigjährige Bestehen von EDUCAUSE zum Anlass für einen kurzen Überblick über wichtige Entwicklungen im Bereich der Lerntechnologien. Ein Jahr – ein Schlagwort. Er startet mit dem Jahr 1998 (Wikis) und er endet mit 2017 (Blockchain).
Jede Technologie wird ein oder zwei Absätzen kurz erläutert und auch im Hinblick auf ihre aktuelle Bedeutung eingeordnet.
Hier ein Beispiel:

2008: E-Portfolios
Like learning objects, e-portfolios were backed by a sound idea. The e-portfolio was a place to store all the evidence a learner gathered to exhibit learning, both formal and informal, in order to support lifelong learning and career development. But like learning objects—and despite academic interest and a lot of investment in technology and standards—e-portfolios did not become the standard form of assessment as proposed. Many of their problems were similar to those that beleaguered learning objects, including overcomplicated software, an institutional rather than a user focus, and a lack of accompanying pedagogical change. Although e-portfolio tools remain pertinent for many subjects, particularly vocational ones, for many students owning their own domain and blog remains a better route to establishing a lifelong digital identity. It is perhaps telling that although many practitioners in higher education maintain blogs, asking to see a colleague’s e-portfolio is likely to be met with a blank response.

Weller, Martin (2018): Twenty years of edtech. EDUCAUSEreview, 2018-07-02

Augmentation – ein neues Arbeitsfeld für L&D

Fortgeschrittene digitale Systeme im Arbeitsfeld

Fortgeschrittene, durch künstliche Intelligenz (KI) unterstützte digitale Systeme finden zunehmend Eingang in unsere Arbeitswelt. Die Beispiele hierfür sind vielfältig:

Bots in der Tourismus-Industrie, die die Verfügbarkeit passender Angebote prüfen und gleichzeitig Kundenpräferenzen identifizieren und berücksichtigen können;
Bots in der Medienbranche, die einfache Texte (z.B. Unternehmensnachrichten oder Sportergebnisse) automatisch erstellen;
Bots im Kundendienst, die einfache, wiederkehrende Kundenanfragen automatisch beantworten;
Systeme für das Übersetzen von Texten von einer Sprache in eine andere;
Systeme, die basierend auf Spracherkennungs-Algorithmen, automatisch schriftliche Protokolle zu Sitzungen erzeugen;
Systeme für die Steuerprüfung, die Anomalien bei Unterlagen / Erklärungen identifizieren;
Systeme für die Anlageberatung, die Risikoprofil-konforme Anlageentscheidungen treffen;
Systeme für die Logistik, die Engpässe bei der Verfügbarkeit von Ersatzteilen prognostizieren und identifizieren sowie auch bei deren Bewältigung unterstützen;
medizinische Diagnosesysteme, die anhand von Bilddaten Gewebeanomalien identifizieren.

Die Tatsache, dass wir neue Werkzeuge und Hilfsmittel in Arbeitsfelder integrieren (müssen), ist nicht neu. Neu ist, dass die oben genannten Systeme auf künstlicher Intelligenz bzw. maschinellem Lernen (ML) beruhen und kontinuierlich besser und leistungsfähiger werden: durch „Training“ mit speziellen Datensets (überwachtes Lernen); durch das Entdecken von Mustern in Datensets (unüberwachtes Lernen); oder durch Rückkopplungsmechanismen (Verstärkungslernen).

Augmentation statt Substitution

Vor diesem Hintergrund wird über die Auswirkungen auf Beschäftigung und Arbeitsmarkt diskutiert („Welche Beschäftigten werden wann von intelligenten Maschinen ersetzt?“). Dabei liegt das eigentliche Potenzial in einem gut gestalteten Zusammenwirken von Menschen und (intelligenten) Maschinen. Garry Kasparow war schon sehr früh mit der Leistungsfähigkeit von Computern in seinem Fachgebiet konfrontiert. Und er hat in der Folge eine neue Variante von Schachwettkämpfen initiiert: Advanced Chess. Hier treten Schachspieler unterstützt von ihren jeweils eigenen Computern gegeneinander an. Dabei hat er folgendes beobachtet:

A weak human player plus a machine plus a better process is superior to a very powerful machine alone but more remarkably is superior to a strong human player plus machine and an inferior process.

Bildquelle: http://labs.sogeti.com/decision-support-better-than-machine-intelligence/

Das Potenzial eines guten Zusammenspiels von Menschen und intelligenten Maschinen zeigt sich auch in den Ergebnissen einer Studie zur Diagnose von Brustkrebs-Gewebe: ein Pathologe, der ein KI-basiertes System zur Unterstützung heranzieht, erzielt deutlich bessere Ergebnisse (geringere Fehlerquote) als ein Pathologe ohne ein solches Unterstützungssystem, aber auch als ein KI-basierte System für sich allein genommen.

Bildquelle: https://blogs.nvidia.com/blog/2016/09/19/deep-learning-breast-cancer-diagnosis/

Aufgaben für Personalentwickler und Bildungsverantwortliche

Die geschilderten Veränderungen können bei den Beschäftigten in Unternehmen und Organisationen Verunsicherung auslösen und gegebenenfalls auch die Bereitschaft für Veränderung blockieren. Es braucht die Diskussion zu diesen Veränderungen, ein Verständnis zu den laufenden Entwicklungen und es braucht eine Sicht auf mögliche Entwicklungspfade für die Beschäftigten.
Für Personalentwickler und Bildungsverantwortliche stellen sich die folgenden Fragen und Aufgaben:

Haben wir die Kompetenz und das Mandat, uns mit diesem zukunftsgerichteten Thema zu beschäftigen?
Verstehen unsere Führungskräfte und unsere Mitarbeitenden die oben aufgezeigten technischen Entwicklungen und deren Konsequenzen – für Arbeit und Beschäftigung ebenso wie für Zuversicht, Engagement und Innovationsbereitschaft?
Wie können / sollen wir mit Verunsicherung und den Fragen der Beschäftigten umgehen?
Welche Entwicklungsoptionen können wir aufzeigen? (Step in / Step up / Step aside / etc. – mehr zu diesen Entwicklungsoptionen in diesem Blogpost). Welche Entwicklungsoptionen machen für wen Sinn? (Einzelpersonen, Funktionen, Beschäftigtengruppen)
Wie können wir diese Entwicklungsoptionen spezifizieren und erfolgreich umsetzen?
Über welche Methoden und Leistungsindikatoren können wir Veränderungen beobachten und Erfolg ausweisen?

Das Arbeitsprogramm für den scil-Innovationskreis 2018. Bildquellen: scil, bitkom, techleer

Im Rahmen des scil-Innovationskreises 2018 werden wir diese Themen bearbeiten. Ziel des auf ca. neun Monate angelegten Konsortialprojekts ist es, einen Werkzeugkoffer zum Thema für Personalentwickler und Bildungsverantwortliche zusammenzustellen. Das Kick-off zum Innovationskreis findet am 20.09.2018 in St.Gallen statt. Eine Beteiligung ist noch möglich.

Weiterführende Links

KI-basierte Lernplattformen als "Zukunft" des Lernens? (3/3)

In den beiden vorangegangenen Beiträgen dieser Reihe zu adaptiven Lernplattformen hatte ich aufgezeigt, wie adaptive Lernplattformen in ihren Grundzügen funktionieren (Teil 1) und dass sie zu deutlichen Verbesserungen im Hinblick auf Lernerfolg, Abbrecher-Quoten und erforderlichen Lernzeiten beitragen können (Teil 2).
Um dieses Nutzenpotenzial realisieren zu können, bedarf es aber angepasster Vorgehensweisen. Sowohl der Prozess der Entwicklung von Lerninhalten als auch die Grundprinzipien des didaktischen Designs unterscheiden sich für adaptive Lerninhalte deutlich von dem Vorgehen, wie es für die Realisierung von „klassischen“ E-Learning-Modulen (z.B. WBT) etabliert ist.
Zwei Aspekte möchte ich in diesem Beitrag herausstellen:

Detaillierung von Lern- bzw. Leistungszielen
Gestaltung des Lerner-Erlebnisses

Detaillierung von Lern- bzw. Leistungszielen

Eine besondere Anforderung bei der Umsetzung von adaptiven Lernumgebungen besteht in der Detaillierung von Lern- bzw. Leistungszielen. Für die Produktion «herkömmlicher» Web-Based Trainings kann es ausreichen, bei einer Lernzeit von ca. 45 Minuten 8-10 Ziele zu definieren. Für die Produktion einer adaptiven Lernumgebung müssen diese um den Faktor 5-10 verfeinert werden. Das heisst, es müssen ca. 50-120 Feinziele oder Leistungsziele definiert werden. Erst diese Granularität erlaubt die Feinsteuerung des Lernprozesses auf der Grundlage von Aufgaben / Test-Items.

Gestaltung des Lerner-Erlebnisses

Bei „traditionellem“ E-Learning (z.B. Web Based Trainings) kommt einer für die Zielgruppe attraktiven Gestaltung (z.B. Storyline / Rahmenhandlung und multimediale Aufbereitung) eine grosse Bedeutung zu. Hier wurde in den letzten Jahren auch intensiv über Gamification als Ansatz zur Erhöhung der Attraktivität diskutiert (vgl. z.B. diesen Beitrag und den darin erwähnten scil Arbeitsbericht).
Bei adaptiven Lernumgebungen stehen andere Motivationsfaktoren im Vordergrund. So geht der CLO von area9learning Nick Howe (Howe 2017) davon aus, dass die intrinsische Motivation, die sich aus dem Erleben von Wissens- und Kompetenzzuwachs ergibt, ausreicht, um die meisten Lernenden bei der Stange zu halten. Allerdings ist es wichtig, Demotivation zu vermeiden. Eine wichtige Ursache für Demotivation von Lernenden besteht darin, dass ihnen Inhalte / Aufgaben zugewiesen werden, die entweder bereits bekannt oder aber zu schwierig sind. Die kontinuierliche Konfrontation von Lernenden mit Aufgaben bzw. Problemstellungen, die gerade jenseits der eigenen Komfortzone liegen und damit herausfordernd aber gerade noch zu bewältigen sind, ist ein Motivationsprinzip, für das adaptive Lernplattformen besonders geeignet sind. Im Vordergrund steht daher die kontinuierliche Bearbeitung von kleinen und kleinsten Aufgaben und Problemstellungen. Vertiefende bzw. ergänzende Lerninhalte sind demgegenüber eher eine Beigabe, die dann zum Einsatz kommen, wenn Aufgaben wiederholt nicht erfolgreich bearbeitet werden können und damit klar geworden ist, dass der oder dem Lernenden dafür erforderliche Wissenselemente fehlen.

Zentrale Unterschiede zwischen «traditionellem» und «adaptivem» E-Learning

Die folgende Tabelle zeigt in einer Übersicht zentrale Unterschiede zwischen «traditionellem» und «adaptivem» E-Learning (in Anlehnung an Howe 2017):

	«traditionelles» E-Learning	«Adaptives» E-Learning
Grösse der Zielgruppe	Eher gross (Erreichen des break even im Vergleich zu Präsenztraining)	Sehr gross (Kalibrieren der Datenmodelle)
Detaillierungsgrad der Lern-/ Leistungsziele	Je detaillierter, desto besser; hoher Detaillierungsgrad nicht zwangsläufig erforderlich;	Hochgradige («atomare») Detaillierung unverzichtbar
Vorgehen bei der Entwicklung	1. Übersetzung der Qualifikationserfordernisse in didaktisches Konzept2. Drehbuch / Story 3. Materialentwicklung (ggf. integrierte Tests / Lernerfolgskontrollen) 4. Umsetzung	1. Übersetzung der Qualifikationserfordernisse in überprüfbare Leistungsziele 2. Entwicklung von Test-Items 3. Entwicklung von ergänzenden Trainingsmaterialien (Texte, Videos, etc.) 4. Umsetzung
Lerner- Erlebnis	Storyline (mehr oder weniger elaboriert) und Berarbeitung von Inhalten im Vordergrund	Bearbeitung von Test-Items im Vordergrund
Funktion von Tests / Test-Items	Summative Lernerfolgskontrolle	Zentraler Inhalt / zentrales Material für den Lernprozess

Wie geht es weiter?

Welche Bedeutung adaptive, KI-basierte Lernplattformen erlangen werden – und für welche Entwicklunsszenarien – ist aktuell noch nicht gut einzuschätzen. Möglicherweise können diese Lernplattformen ihr Potenzial vor allem dort ausspielen, wo grosse Zielgruppen und gleichzeitig starke (curriculare) Vorgaben zu den zu earbeitenden Wissens- und Kompetenzzielen zusammenkommen – beispielsweise bei Grundlagenfächern in der Hochschulbildung oder bei Produkttrainings und regulatorisch vorgeschriebenen Trainings in der betrieblichen Weiterbildung. Aber das wird sich zeigen. Wir werden diese Entwicklungen weiter beobachten…

Referenzen:
Howe, Nick (2017): Adaptive learning insights. A practical guide to the future of corporate training. area9learning. Chestnut Hill, MA.

Am 25.09. + 02.10 + 16.10. 2018 findet das Online-Modul „Adaptive und KI-basierte Lernsysteme“ im Rahmen unseres Zertifikatsprogramms „Digitale Bildung“ statt. Dieser Beitrag ist ein kurzer Auszug aus dem Skript zu diesem Weiterbildungsmodul.

Center for Learning and Innovation, Northwell Health

Northwell Health ist ein Anbieter von Dienstleistungen im Gesundheitswesen im Bundesstaat New York mit mehr als 60’000 Mitarbeitenden. In der aktuellen Ausgabe des Chief Learning Officer Magazins (Juli / August 2018) wird die CLO von Northwell Health, Kathy Gallo, portraitiert.
In diesem Portrait kommt u.a. zur Sprache, wie Kathy Gallo als CLO bei Northwell Health ab 2002 mit dem von ihr ins Leben gerufenen „Center for Learning and Innovation“ neue Wege gegangen ist. Unter anderem indem sie den Mangel an Teamwork in ‚cross-functional teams‘ angegangen ist. Hierzu hat sie auf Simulationstrainings und Simulationen von Notfall-Situationen gesetzt und sich zunächst von Beispielen aus der Luftfahrt-Branche inspirieren lassen. In den Notfall-Simulationen kommen unter anderem auch Dummies zum Einsatz, die mit KI-Komponenten ausgestattet sind und z.B. Auskunft über ihre Symptome geben können:

The Patient Safety Institute features five simulation labs where students practice medical scenarios in a simulated environment complete with digital screens, medical equipment and artificially intelligent dummies. The dummies can talk about their symptoms and simulate anything from a heart attack to heart murmurs, labored breathing, fever and other symptoms. The course leaders design each medical scenario, then watch through a one-way mirror as staff respond to the event.

Das besondere an diesen Simulationen ist, dass

‚cross-functional teams‘ an den Situationen arbeiten;
alle im Team für das Ergebnis verantwortlich gemacht werden;
der grösste Teil der Zeit (bis zu 80%) mit dem Debriefing, der Reflexion und der Diskussion des Vorgehens und der Ergebnisse zugebracht werden.

Dies trägt dazu bei, die traditionelle Hierarchie im Gesundheitswesen, bei der Mediziner in der Regel das letzte Wort haben und Hinweise vom Pflegepersonal oft nicht aufnehmen, aufgebrochen und abgeflacht wird.

“The conversations we have are remarkable (…) That’s where the learning happens.”

Fister Gale, Sarah (2018): Profile: Agent of change – CLO Kathy Gallo. CLOMedia, Juli/August 2018

KI-basierte Lernplattformen als "Zukunft" des Lernens? (2/3)

Wie leistungsfähig sind adaptive Lernplattformen?

In einem längeren Beitrag hatte ich letzte Woche aufgezeigt, was unter der Haube von KI-basierten Lernplattformen vorgeht bzw. wie diese Lernprozesse unterstützen. Jetzt steht die Frage im Raum: Wie leistungsfähig sind diese Systeme denn nun?
Eine verbreitete Auffassung ist, dass menschliche Tutoren leistungsfähiger sind als technisch-basierte tutorielle Lösungen. Diese Erwartung lässt sich vereinfacht so darstellen:

Lernerfolg mit Unterstützung durch menschliche Tutoren

Lernerfolg mit Unterstützung durch intelligente tutorielle Systeme (KI-basiert)

Lernerfolg mit Unterstützung durch Computer-unterstützte Instruktion (WBT / CBT)

Dahinter liegt die Annahme, dass menschliche Tutoren Lernen besser unterstützen können, weil sie

Lernende besser kennen bzw. Wissens- / Leistungsstand besser einschätzen können;
Aufgabenstellungen besser auf einzelne Lernende zuschneiden können;
über leistungsfähigere Lehrstrategien verfügen (z.B. Bewertung zurückhalten und nach Begründungen fragen);
Dialoge mit Lernenden ermöglichen können (z.B. Gegenfragen stellen);
über ein breiteres & tieferes Domänenwissen verfügen als tutorielle Systeme;
Lernende besser motivieren können;
punktgenau Feedback zu (irrigen) Argumentationen oder Ergebnissen liefern können;
variables ‘scaffolding’ leisten können (VanLEHN 2011, S 198-200).

Adaptive und intelligente Lernsysteme sind in der Vergangenheit Gegenstand zahlreicher Studien und Untersuchungen gewesen. Metastudien verdichten diese zahlreichen Einzelergebnisse. Relevante Metastudien sind insbesondere die Studie von VanLehn aus dem Jahr 2011 und die Studie von Kulik und Fletcher aus dem Jahr 2016.
Ein zentrales Ergebnis der Studie von VanLehn (2011) besteht darin, dass die oben angeführten Annahmen so nicht haltbar sind.
Die Meta-Analyse von VanLehn zeigt, dass tutorielle Systeme mit sehr granularer Unterstützung bzw. sehr fein gegliedertem Feedback für die Lernenden zu Effektgrössen führen, die annähernd denen der Lernunterstützung durch menschliche Tutoren entsprechen (vgl. Abbildung 1):

Abbildung 1: Effektgrössen verschiedener Typen tutorieller Unterstützung beim Lernen (Quelle: vanLEHN 2011, S. 209)

Abbildung 1 zeigt unter anderem, dass die Effektstärke von «Step-based» tutoriellen Systemen im Vergleich mit «keine tutorielle Unterstützung» bei 0.76 liegt. Also fast gleichauf mit der Effektstärke für «Human tutoring» verglichen mit «keine tutorielle Unterstützung», die bei 0.79 liegt.
Eine weitere und neuere Meta-Studie, bei der 50 Einzelstudien ausgewertet wurden (Kulik und Fletcher 2016), bestätigt die Ergebnisse von vanLehn:

Students who received intelligent tutoring outperformed students from conventional classes in 46 (or 92%) of the 50 controlled evaluations, and the improvement in performance was great enough to be considered of substantive importance in 39 (or 78%) of the 50 studies. (…)
The evaluations show that ITSs typically raise student performance well beyond the level of conventional classes and even beyond the level achieved by students who receive instruction from other forms of computer tutoring or from human tutors.
(Kulik und Fletcher 2016, S. 67, 70)

Diese Ergebnisse sind also sehr positiv – auch wenn sich aus den Metastudien kaum herauslesen lässt, genau welche Systeme zum Einsatz kamen. Ergänzend kann noch ein Evaluationsbericht aus dem Hochschulkontext angeführt werden:
Johnson (Johnson 2016) berichtet in der Zeitschrift EDUCAUSreview über die Einführung der adaptiven Lernplattform Intellipath an der Technischen Hochschule Colorado. Der Prozess der Einführung dieser Plattform begann im Jahr 2012. Bis zum Jahr 2015 wurden etwa 800 Lehrpersonen (ca. 80% aller Lehrpersonen) für die Nutzung des Systems geschult und die Plattform für 107 Kurse mit mehr als 30’000 Studierenden eingesetzt. Dabei wurden u.a. folgende Ergebnisse beobachtet:

In a recent review of pass rate, final grade, and retention data, we identified Accounting I as the course with the highest pass rate increase since its launch on intellipath in October 2013. We compared pre-intellipath data from October 2012 through September 2013 to post-intellipath launch data from October 2013 through December 2015. The pass rate went up to an 81 percent average — a 27 percent increase. The course retention rate rose about 9 percent to 95 percent, while the final grade average increased by 10 percent, to 79 percent.
(Johnson 2016, Hervorhebung im Original)

Einzelne Evaluationsberichte finden sich auch für den Kontext Corporate Learning. Beispielsweise von area9learning. Eine Fallstudie von area9learning mit Hitachi Data Systems zeigt, dass ein weiteres Nutzenpotzenzial adaptiver Lernumgebungen besteht darin, Lernzeiten zu minimieren – beispielsweise beim Produktraining. Insbesondere für Unternehmen und Organisationen, in denen Lernzeiten immer auch Opportunitätskosten verursachen, ist dies ein wichtiger Aspekt. Durch die granulare Aufbereitung der Inhalte und das kontinuierliche Überprüfen von kleinsten Wissenselementen sowie durch das Zuweisen von passenden nächsten Inhalten / Aufgaben kann der Zeitaufwand – so das Ergebnis dieser einzelnen Fallstudie – um annähernd 50% reduziert werden (Abbildung 2):

Abbildung 2: Zeit- und Kostenreduktion durch adaptives Lernen (Quelle: area9learning 2017, S. 6)

Als Fazit aus den angeführten Meta-Studien und Evaluationen lässt sich also festhalten, dass der Einsatz von adaptiven Lernplattformen häufig zu deutlichen Verbesserungen im Hinblick auf den Lernerfolg, zu einer Reduktion von Abbrecher-Quoten und zu einer Reduktion von Lernzeiten beitragen kann.

Fortsetzung

Dieser Beitrag steht in einer Reihe mit den folgenden Beiträgen:

Referenzen:
area9learning (2017): adaptive learning. Eliminating corporate e-learning fatique. area9learning. area9learning.com. Online verfügbar unter https://offers.area9learning.com/adaptive-learning-whitepaper.
Johnson, Constance (2016): Adaptive Learning Platforms: Creating a Path for Success. In: Educause Review. Online verfügbar unter https://er.educause.edu/articles/2016/3/adaptive-learning-platforms-creating-a-path-for-success.
Kulik, James A.; Fletcher, J. D. (2016): Effectiveness of Intelligent Tutoring Systems. In: Review of Educational Research 86 (1), S. 42–78.
VanLEHN, KURT (2011): The Relative Effectiveness of Human Tutoring, Intelligent Tutoring Systems, and Other Tutoring Systems. In: Educational Psychologist 46 (4), S. 197–221. DOI: 10.1080/00461520.2011.611369.

Fallstudie: Mobiles Lernen bei Aggreko mit Guidebook

In der aktuellen Ausgabe von Chief Learning Officer Magazine findet sich eine kurze Fallstudie dazu, wie Aggreko, ein Anbieter von mobilen Stromgeneratoren, mobiles Lernen in der eigenen Organisation umgesetzt hat. Zentraler Ansatzpunkt für die angestrebte Lernerfahrung und Lernumgebung der Mitarbeitenden war die Gestaltung einer mobilen App. Für die Entwicklung dieser App wurde die Plattform Guidebook eingesetzt.
Guidebook ist eine sehr einfach gestaltete Entwicklungsumgebung, über die in vier Schritten eine mobile App erstellt werden kann – ohne Programmierkenntnisse:

Vorlage auswählen
Elemente / Funktionen der App auswählen (drag & drop)
Daten importieren
App veröffentlichen

Auf den Webseiten von Guidebook sieht das sehr einfach aus. Ausprobiert habe ich es noch nicht, da die Kosten für den Service nicht gerade gering sind. Im FlexiPlan sind es ca. CHF 6 pro Mobilegerät pro Monat.

Davis, Walter (2018): A mobile-powered makeover. CLOMagazine, July / August 2018.

KI-basierte Lernplattformen als "Zukunft" des Lernens? (1/3)

Diversität und tutorielle Betreuung 1:1

Unsere (Bildungs-)Welt wird zunehmende bunter. Lebensläufe, Berufs- und Bildungsbiografien sind vielfältiger als früher. Die Heterogenität von Teilnehmenden an Bildungsangeboten nimmt zu. Dies gilt für Schulen genauso wie für Hochschulen, und für die Berufsbildung ebenso wie für die betriebliche Weiterbildung. Gleichzeitig ändern sich unsere Erwartungen an (Bildungs-)Dienstleistungen. Wir erwarten immer mehr, dass diese auf uns persönlich zugeschnitten sind und für uns persönlich passen.
Vor diesem Hintergrund ist auch das von Benjamin Bloom vor gut 30 Jahren formulierte „2-Sigma-Problem“ relevant: verschiedene Studien hatten aufgezeigt, dass Lernende, die in einer 1:1 Situation von Tutoren individuell betreut wurden, bei Lernerfolgsüberprüfungen 2 Standardabweichungen besser abschnitten als Lernende in konventionellen Lernarrangements mit ca. 30 Lernenden pro Lehrperson. Oder anders gesagt: die individuell betreuten Lernenden waren im Durchschnitt so gut wie die besten 2% der Lernenden in (damals) konventionellen Lernarrangements (vgl. Abbildung 1).

Tutorielle Einzelbetreuung von Lernenden ist aber in der Regel kein tragfähiges bzw. bezahlbares Modell. Bloom und sein Forschungsteam haben sich daher der Suche nach Lehr-/Lernmethoden zugewendet, die zu ähnlich guten Ergebnissen in grösseren Lerngruppen führen (z.B. Kombinationen von Mastery Learning, partizipativen Lernformen und einer Ausrichtung des Lernens auf höhere kognitive Prozesse – vgl. Bloom et al. 1984).

Künstliche Intelligenz und adaptive tutorielle Systeme

Forschungs- und Entwicklungsarbeiten in den Feldern künstliche Intelligenz und adaptive tutorielle Systeme befassen sich mit einem von Bloom nicht verfolgten Lösungsansatz: der Entwicklung von technischen Lösungen, die eine hochgradig lernwirksame und zugleich kostengünstige 1:1 Lernbegleitung für eine grosse Anzahl von Menschen ermöglichen – im Kontext der Schul- und Hochschulbildung genauso wie im Kontext der betrieblichen Weiterbildung.
Diesen Entwicklungen und den daraus hervorgegangenen Produkten wird weitherum grosses Nutzenpotenzial zugesprochen und sie werden zum Teil als «die Zukunft» des Lernens bezeichnet. Dabei kann adaptives Lernen durch verschiedene Typen von technischen Systemen unterstützt werden. Beispiele hierfür sind u.a. die folgenden:

Lernkarteikarten-Systeme (z.B. ankiapp.com)
Sprachlernapps & -services (z.B. duolingo.com)
Plattformen für kuratierte und personalisierte Lerninhalte (z.B. degreed.com)
Adaptive Lernplattformen / Intelligente tutorielle Systeme (z.B. knewton.com)

Im Fokus dieser kurzen Reihe von Beiträgen steht der zuletzt genannte Typ von Systemen. Dabei will ich den folgenden Fragen nachgehen:

Wie funktionieren adaptive Lernplattformen? (Teil 1)
Wie leistungsfähig sind diese Systeme? (Teil 2)
Was sind Besonderheiten von E-Learning mit adaptiven Lernplattformen? (Teil 3)

Wie funktionieren adaptive Lernplattformen? Ein Blick unter die Motorhaube

Adaptive Lernsysteme (ALS) bzw. intelligente tutorielle Systeme (ITS) berücksichtigen die Lernenden in unterschiedlicher Weise. Frühere Systeme beschränkten sich darauf, den Lernenden Auswahlmöglichkeiten zwischen verschiedenen Inhalten zu bieten und die Lernaktivitäten zu beobachten. Auf dieser Grundlage konnten dann z.B. nächste Lerninhalte mit passendem Schwierigkeitsgrad angeboten werden. Neuere Systeme gehen darüber hinaus, indem sie verschiedene Modelle bzw. Komponenten integrieren: ein Domänen-Modell (Inhalte), ein tutorielles Modell (Lernprozess), ein Lernenden-Modell (Merkmale des / der Lernenden) sowie eine darüber gelegte Benutzeroberfläche.

Abbildung 1: Komponenten eines adaptiven tutoriellen Systems (Darstellung nach Bagheri 2015, S. 5ff.)

Mittlerweile sind eine ganze Reihe von adaptiven Lernsystemen bzw. intelligenten tutoriellen Systemen verfügbar, die unterschiedliche Bildungskontexte adressieren: Schulen, Hochschulen und betriebliche Weiterbildung ebenso wie verschiedene fachliche Kontexte – von Mathematik und Naturwissenschaften bis hin zu Management-Themen.
Die verschiedenen, am Markt verfügbaren Systeme unterscheiden sich im Hinblick auf die Art des hinterlegten Domänenmodells, das tutorielle Modell und auch das Lernenden-Modell.

Beispiel ALEKS

Das ursprünglich aus dem Feld der Mathematik-Didaktik stammende Produkt ALEKS (Assessment and Learning in Knowledge Spaces) basiert auf der „Knowledge Space Theorie“ (Theorie der Wissensräume) und damit verbundenen Ansätzen in der Didaktik der Mathematik. ALEKS wurde ab 1994 an der University of California, Irvine im Rahmen eines Forschungsprojekts entwickelt und 2013 von McGraw-Hill Education erworben. ALEKS bietet eine Reihe von Kursen für Schulen und Hochschulen an, insbesondere zu Mathematik, Statistik, Buchhaltung, Chemie sowie verschiedene Vorbereitungskurse auf Hochschuleignungstests (https://www.aleks.com/about_aleks/course_products).
Zentral für die Funktionsweise von ALEKS ist die Abbildung einer inhaltlichen Domäne (z.B. Grundlagen der Algebra) über einen Wissensraum, Eingangstest für einen Lernenden (vgl. Abbildung 2), Errechnung des wahrscheinlichsten Wissensstands (vgl. Abbildung 3) und darauf aufbauend die Entwicklung von einzelnen Themen (z.B. Gleichungen mit zwei Unbekannten).

Abbildung 2: Beispiel für ein Test-Item in ALKES (Quelle: ALEKS Benutzerhandbuch, 2017, https://www.aleks.com/manual/pdf/learners-highedmath.pdf)

Abbildung 3: Vereinfachte Repräsentation eines Wissensraums und der veränderten Wahrscheinlichkeit von bestimmten Wissensständen eines Lernenden über eine Abfolge von kurzen Assessments (Quelle: ALEKS Corporation 2012)

Im Rahmen der individualisierten Diagnostik zum Wissensstand wählt ALKES jeweils die Frage / Aufgabe aus, die – auf Basis des aktuell berechneten Wissensstands – maximal informativ ist. Wenig informativ in diesem Sinne wäre eine Aufgabe, von der mit grosser Wahrscheinlichkeit zu erwarten ist, dass der / die Lernende sie bewältigen kann. Viel informativer ist dagegen eine Aufgabenstellung, für die diese Erwartung lediglich bei etwa 50% liegt. Auf der Grundlage der Antwort zu einer solchen Frage wird dann 1) der individuelle Wissensstand jeweils neu berechnet und 2) eine nächste passende Aufgabe zugewiesen.

Beispiel area9learning

area9learning grenzt sich bei der Darstellung der eigenen adaptiven Lernplattform deutlich von Plattformen wie z.B. ALEKS ab. Zum einen dadurch, dass einem „schliessenden Modell“ (wie bei ALEKS) die Orientierung an einem „biologischen Modell“ gegenüber gestellt wird. Zum anderen durch eine explizite Positionierung als Anbieter im Feld betriebliches Lernen / corporate learning. Insbesondere bei zwei Grundannahmen gibt es deutliche Unterschiede. Nick Howe (area9learning) zufolge

macht es keinen Sinn, von «hart verdrahteten» Beziehungen zwischen Lernzielen / Lerninhalten (Voraussetzungen etc.) auszugehen; vielmehr gibt es viele, zum Teil auch unvorhersehbare Wege zum Lernziel;
gibt es bei der Bestimmung des aktuellen Wissens- / Lernstands immer Ungenauigkeiten («Rauschen»): neues Wissen / neue Fertigkeiten kommen undokumentiert dazu (z.B. über informelle Lernaktivitäten und Erfahrungen ausserhalb der Plattform); bereits gelerntes Wissen geht wieder verloren und Fertigkeiten lassen nach; Lernziele können unscharf formuliert sein; die Zuordnung von Test-Aufgaben zu Lernzielen kann unscharf sein; usw.

Bei der Bestimmung des Wissensstands eines Lernenden werden daher zwei Aspekte berücksichtigt (vgl. Abbildung 4):

zum einen der objektive Grad, zu dem die gegebene Antwort korrekt ist;
zum anderen die subjektive Einschätzung dazu, wie sicher sich ein(e) Lerner(in) bei der Antwort ist.

Abbildung 4: Beispiel für ein Test-Item mit gleichzeitiger Abfrage dazu, wie sicher sich ein Lerner bezüglich der Antwort fühlt (Quelle: area9learning 2017, S. 5)

Die Modellierung des Wissens eines Lerners erfolgt über Algorithmen, in die beispielsweise die folgenden Werte einfliessen:

Numerischer Wert für die Bedeutsamkeit des Inhalts
Punktwert für die korrekte / inkorrekte Antwort
Punktwert für die Selbsteinschätzung
Punktwert für die Zeitdauer der Bearbeitung, zusammengesetzt aus
- Zeitdauer für das Lesen und Beantworten der Frage,
- Zeitdauer für das Ausfüllen der Selbsteinschätzung,
- Zeitdauer für das Lesen des Feedbacks nachdem die Antwort bewertet wurde.

Dabei werden die der Berechnung zugrundeliegenden Modelle und Algorithmen immer wieder überprüft und neu kalibriert. Hierzu kann area9learning (wie alle anderen Anbieter von solchen adaptiven Lernplattformen auch) auf viele Millionen Datenpunkte zurückgreifen, die bereits aus der Vergangenheit vorliegen und kontinuierlich hinzukommen.
Um einen effektiven und effizienten Lernprozess zu gewährleisten, müssen zwei potenziell konfligierende Ziele ausbalanciert werden:

zum einen soll die Zuverlässigkeit, mit der die Diagnose von Wissen / Kompetenz erfolgt, möglichst hoch sein bzw. bleiben; zusätzliche Fragen bzw. Aufgaben zum gleichen Thema erhöhen diese Zuverlässigkeit;
gleichzeitig soll aber der Zeitaufwand für Training möglichst geringgehalten werden; der Verzicht auf weitere Fragen zum gleichen Thema ist hierfür der zentrale Treiber.

Das Ausbalancieren dieser beiden konkurrierenden Anforderungen erfolgt über verschiedene weitere Modelle und Algorithmen, beispielsweise die folgenden:

die Modellierung von „vollständiger Bearbeitung“ eines Themas / Inhalts;
die Modellierung von „Kompetenz“;
die Modellierung von „Vergessen“;
die Modellierung von „benötigter Zeit“ für das Bearbeiten einer Aufgabe.

Eine adaptive Lernplattform wie area9learning bestimmt also den nächsten Lerninhalt bzw. die nächste Lernaufgabe, indem verschiedene Anforderungen ausbalanciert werden (vgl. Howe 2017, S. 25):

das Komplettieren / vollständige Bearbeiten eines bereits begonnenen Themas;
ein möglichst hoher Zuwachs an Wissen;
das Wiederholen von bereits Gelerntem, um neues Wissen langfristig zu verankern;
die Förderung der Genauigkeit der Selbsteinschätzung von Lernenden bzw. die Stärkung von deren Zutrauen in die eigene Selbsteinschätzung zu eigenem Wissen / eigenen Kompetenzen;
die laufende Verbesserung der Modelle und Algorithmen, um Rauschen / Ungenauigkeiten zu reduzieren;
den Zeiteinsatz und Motivation der Lernenden.

Fortsetzung

Dieser Beitrag findet seine Fortsetzung in den beiden nachfolgend aufgeführten Beiträgen:

Referenzen:
ALEKS Corporation (2012): What makes ALEKS unique. ALEKS Corporation. Online verfügbar unter https://www.aleks.com/about_aleks/overview.
area9learning (2017): adaptive learning. Eliminating corporate e-learning fatique. area9learning. area9learning.com. Online verfügbar unter https://offers.area9learning.com/adaptive-learning-whitepaper.
Bagheri, Mehri Mohammad (2015): Intelligent and adaptive tutoring systems. How to integrate learners. In: International Journal of Education 7 (2).
Bloom, Benjamin S. (1984): The 2 Sigma Problem. The search for methods of group instruction as effective as one-to-one tutoring. In: Educational Researcher 13 (6), S. 4–16.
Howe, Nick (2017): Adaptive learning insights. A practical guide to the future of corporate training. area9learning. Chestnut Hill, MA.
Wilson, Kevin; Nichols, Zack (2015): The Knewton Platform. A General-Purpose Adaptive Learning Infrastructure. knewton.com.