Archives for August 2023

Lernressourcen (insbesondere Lernvideos) sind aufwändig in der Produktion und nicht immer / überall ausreichend verfügbar. KI-basierte Werkzeuge können die Content-Produktion beschleunigen. Dass dies nicht unbedingt zu schlechterer Qualität führt, zeigen zwei aktuelle Studien.

Fehlende Lernressourcen als Herausforderung

Die Nachfrage nach (Aus-)Bildung, insbesondere in Ländern des sogenannten “globalen Südens”, kann nicht immer durch geeignete Angebote beantwortet werden. So führt beispielsweise ein Bericht des WWF “Education 4.0 India” von 2022 die Produktion von geeigneten Lerninhalten als eine zentrale Herausforderung an.

Vor diesem Hintergrund stellt sich die Frage, inwiefern mittels KI-Anwendungen automatisch erzeugte Lernvideos zur Lösung dieser Herausforderungen beitragen können. Lernvideos sind ein zentrales Inhalte-Element in vielen MOOCs, sind bei den Lernenden beliebt, sind aber auch aufwändig in Produktion und Aktualisierung.

Ergebnisse einer Forschungsstudie

Ein Forschungsteam ist dieser Frage nachgegangen und präsentiert die eigenen Ergebnisse in einem auf der Pre-Print-Plattform Arxiv veröffentlichten Artikel (Leiker et al. 2023). Folgende Forschungsfragen standen im Zentrum:

• Unterscheiden sich durch KI erzeugte, syntetische Lehrvideos in der Lernwirksamkeit von traditionellen Lehrvideos mit realen Lehrpersonen?
• Welche Unterschiede nehmen die Lernenden zwischen beiden Typen von Videos wahr?

Methodisch sind die Autor:innen dabei so vorgegangen, dass 83 Teilnehmende zufällig einer von zwei Bedingungen zugewiesen wurden: Betrachtung eines 4,5-minütigen, einfachen Lehrvideos zu Energiequellen & Energie-Vektoren mit anschliessendem Kurztest (MC-Fragen). Dabei wurde in der Experimental-Bedingung ein Video mit einem durch eine KI-Applikation (Synthesia) animierten Avatar genutzt (Text-to-Speech-Technologie), in der Kontroll-Bedingung ein traditionell erstelltes Lehrvideo mit einer realen Lehrperson.

Die Ergebnisse fallen für beide Bedingungen sehr ähnlich aus (Abb. 2). Wenn überhaupt, zeigen sich leichte Vorteile für das mit der KI-Anwendung erstellte Video – vielleicht auch weil hier vorab die Erwartungen der Nutzer niedriger waren.

Die Forschungsgruppe zieht aus der Analyse der Ergebnisse folgendes Fazit:

“Our results indicated significant improvement in both traditional video and AI-generated video conditions between pre- and post-learning assessments with no statistical difference in terms of learning gains.”

Natürlich kann man argumentieren, dass diese Form von einfachst-Lehrvideos (talking torso) ohne eingebettete Interaktionselemente keine qualitativ hochwertigen Lernressourcen darstellen. Aber die Beobachtung, dass sich keine dramatischen Unterschiede zwischen den beiden Produktionsverfahren im Hinblick auf die Wirksamkeit bzw. die Akzeptanz durch die Nutzer zeigen, lässt sich damit nicht wegwischen.

Ergebnisse einer Anbieter-Studie

Ergebnisse einer ganz ähnlich angelegten Studie hat kürzlich Rask.ai publiziert. Rask bietet Services zur KI-basierten, automatisierten Bearbeitung von Videos (Übersetzung in andere Sprachen, Kürzung, Veränderung der Gesichter der abgebildeten Personen).

Auch bei dieser Studie wurden Teilnehmende zufällig einer von zwei Bedingungen zugewiesen: 1) Betrachtung eines automatisch, mit KI-Werkzeugen erstellten kurzen Lehrvideos; 2) Betrachtung eines traditionell erstellten kurzen Lehrvideos. Die verfügbaren Screenshots lassen darauf schliessen, dass diese Videos mit einer Länge von knapp einer Minute sehr kurz waren (vgl. Abb. 3).

Interessant an diesem Vergleich ist, dass hier verschiedene Werkzeuge eingesetzt wurden, um die Videoproduktion zu automatisieren:

• ChatGPT zum Erzeugen des Skripts für das Video
• Rask.ai für die Stimm-Synthese
• HeyGen für das Erzeugen und die Animation des Avatars
• DeepAI für das Erstellen des Hintergrundbilds zum Video

Auch hier zeigen die Ergebnisse keine grossen Unterschiede zwischen den beiden Produktionsvarianten (Abb. 4, unten). Ob dies allerdings bei längeren Videos auch so wäre, ist eine offene Frage.

Aufmerksamen Leser:innen wird nicht entgangen sein, dass die Grösse der Balken in Abb. 4 nicht immer zu den angegebenen Zahlenwertern passt. Damit stellen sich natürlich Fragen bezüglich der Verlässlichkeit der kommunizierten Ergebnisse. Ich habe rask.ai dazu angeschrieben, aber noch keine Antwort erhalten.

Leistungsfähige Werkzeuge und erste Zwischenergebnisse

Für die in diesen beiden Studien behandelten, sehr kurzen und sehr einfach gehaltenen Lehrvideos zeigen sich keine deutlichen Unterschiede zwischen den verglichenen Produktionsverfahren (traditionell vs. KI-basiert). Dies gilt sowohl für den “Lernerfolg” (Verständnis der Inhalte) als auch für die Aktivierung der Nutzer:innen und die Akzeptanz der Videos (Bereitschaft, diese mit anderen zu teilen).

Ob sich diese Ergebnisse auch so zeigen, wenn längere Lehrvideos oder eine grössere Zahl von solchen kurzen Lehrvideos als Bestandteil eines Lerndesigns eingesetzt werden, bleibt abzuwarten. Zu klären bleibt auch, wie gross die Reduktion des Arbeits- bzw. Kostenaufwands ausfällt, wenn Lehrvideos in vergleichbarer Qualität mit KI-basierten Werkzeugen erstellt werden. Dies wird vermutlich stark von den jeweiligen Rahmenbedingungen abhängen – nicht zuletzt von der Kompetenz im Umgang mit den verschiedenen KI-basierten Werkzeugen. In jedem Fall zeigt sich, wie leistungsfähig die verschiedenen hier eingesetzten KI-basierten Werkzeuge für Skript, Avatar, Stimmsynthese und Bilderzeugung inzwischen geworden sind.

Verweise

Leiker, D., Ricker Gyllen, A., Eldesouky, I., & Cukurova, M. (2023): Generative AI for learning: Investigating the potential of synthetic learning videos. Accepted to appear in the Proceedings of International Conference of Artificial Intelligence in Education 2023 (No. eprint arXiv:2304.03784). eprint arXiv. Retrieved from doi:10.48550/arXiv.2304.03784

rask.ai (2023): AI in Education Report 2023: Industry stats and 300+ audience survey. rask.ai