Für den nachhaltigen Erfolg von ‘student analytics’ an Hochschulen braucht es ein verbessertes Zusammenwirken von künstlicher und menschlicher Intelligenz: “Sustainable Analytics”. Ansonsten, so die Autoren eines Beitrags für EDUCAUSE Review, droht aufgrund überzogener und nicht eingelöster Erwartungen ein weiterer KI-Winter.
Die Autoren des Beitrags in EDUCAUSE Review sind am Center for Student Analytics der Utah State University beheimatet (Amanda Hagman) bzw. bei Civitas Learning (Linda Baer und David Kil) – einem auf Hochschulen fokussierten Analytics-Dienstleister aus Austin, Texas.
Sie beziehen sich in ihrem Beitrag auf ein an der Utah State University entwickeltes “Lifecycle of Sustainable Analytics”-Modell (Mitchell Colver). In diesem Modell werden zwei Phasen miteinander verküpft, bei denen einerseits Daten, Analyseverfahren und KI im Mittelpunkt stehen (“Formal analytics”) und andererseits menschliche Intelligenz und verschiedene Aspekte des Veränderungsmanagements (vgl. die folgende Abbildung).
Die Bedeutung eines solchermassen erweiterten Vorgehensmodells zu Analytics illustrieren die Autoren anhand eines Programms zur Integration von Studienanfängern in das Campus-Leben der Utah State University. Dieses Programm beinhaltete verschiedene akademische und extracurriculare Aktivitäten und die Studierenden konnten geldwerte Vorteile sowie eine Einladung für eine Veranstaltung mit der Hochschulleitung gewinnen. Datenanalysen zum Programm zeigen, dass das Programm zu einer um knapp 3% reduzierten Abbrecherquote unter den teilnehmenden Studienanfängern führte und als erfolgreich eingeschätzt wurde.
Aufgrund von Reorganisationen übernahm eine andere Einheit das Programm, allerdings mit reduzierter Ausstattung. Eine gemeinsame Arbeitsgruppe von Datenanalysten einerseits und Hochschuladministration andererseits entschied, nur die finanziellen Anreize beizubehalten (diese wurden als stärkste Motivatoren eingeschätzt). Die Evaluation des Programms im nachfolgenden Semester zeigte allerdings einen deutlich reduzierten Effekt. Erneut wurde über möglich Erfolgstreiber und Massnahmen diskutiert und es wurde beschlossen, zusätzlich Verlosungen von Essensgutscheinen, Parkbewilligungen und Ähnlichem in das Programm zu integrieren.
Die Ergebnisse dieser neuerlichen Anpassung des Programms stehen zwar noch aus. Aber die Autoren betonen aufgrund der bisherigen Erfahrungen die Bedeutung eines integrativen Vorgehens von KI-basierten Analysen einerseits und bewusstem Veränderungsmanagement (menschliche Intelligenz) andererseits:
The promises of AI—that is, predictive models that create early alerts or evaluative tools to estimate the impact of interventions on student success—are possible only when HI and AI work together.
Baer et al.: AI and HI in student success. EDUCAUSE Review 01/2020.
(…)
making predictions is less important than knowing how to create a portfolio of programs personalized to population segments with specific needs. Predictions can help academic professionals focus on the right students, but knowing how to help them is the key here.
(…)
Quantifying the impact of student initiatives allows the higher education institution to build a portfolio of student services. Drilling down into evaluations of the programs reveals what works and for whom and in which operational settings.
In dem Beitrag für EDUCAUSE Review wird u.a. auch auf ein knapp einstündiges Webinar mit Dr. Michell Colver von der Utah State University zum Thema “The lifecycle of sustainable analytics: from data collection to change management” verwiesen. In diesem Webinar werden sowohl das Sustainable-Analytics-Vorgehensmodell als auch das von dem Anbieter der bei Utah State University eingesetzen Analyseplattform (Civitas Learning) implementierte Analyseverfahren weiter erläutert.
Das verwendete Analyseverfahren nennt sich prediction based propensity score matching, auf deutsch etwa Vorhersage-basierte paarweise Zuordnung auf der Basis von Neigungsscores. Dabei handelt es sich um eine Form des Matching zur Schätzung von Kausaleffekten in Beobachtungsstudien, in denen verschiedene relevante kausale Faktoren nicht kontrolliert werden können.
(Bildquelle Civitas Learning / https://youtu.be/MIAPQwoxv7E)
Im Verlauf der Einführung der Analytics-Plattform von Civitas Learning an der Utah State University wurde auf der Basis dieses Verfahrens u.a. die Wirksamkeit von Coaching / Interventionen durch akademische Studienberater untersucht. Dabei zeigte sich ein Zusammenhang zwischen der Häufigkeit der Nutzung der Analytics-Plattform durch die Studienberater einerseits und der Kontinutität der Einschreibung von Studierenden an der Hochschule andererseits:
(Bildquelle Michell Colver/ https://youtu.be/MIAPQwoxv7E)
Baer, Linda; Hagman, Amanda; Kil, David (2020): Preventing a Winter of Disillusionment. Artificial Intelligence and Human Intelligence in Student Success. In: Educause Review (47-54). Als PDF online verfügbar unter https://er.educause.edu/-/media/files/articles/2020/3/er20_1107.pdf
Nachtrag 30.05.:
Eine Forschungsgruppe an den Universitäten Kassel und St.Gallen beschäftigt sich ebenfalls mit dem Zusammenspiel von AI und HI und spricht diesbezüglich von “Hybrid Intelligence”…
Dellermann / Ebel / Söllner / Leimeister (2019): Hybrid Intelligence. Business Information & Systems Engineering, 61 (5), 637-643.
Schreiben Sie einen Kommentar