SCIL

swiss competence center for innovations in learning

HomeArchives for Christoph Meier

Christoph Meier

AI in L&D – Arbeitsberichte Taylor & Vinauskaite

by Leave a Comment

“AI presents L&D with a once-in-ageneration opportunity to have the impact and reach that it has always wanted.” So eine Stimme aus den Berichten zu “AI in L&D” von Taylor und Vinauskaite aus dem letzten Jahr. Wenn L&D KI vor allem dafür nutzt, interne Prozesse (Content-Entwicklung) zu verbessern anstatt die eigene Wirksamkeit und Geschäftsrelevanz zu stärken, dann besteht gemäss der Autor:innen die Gefahr, diese Chance zu vertun.

– – –

Donald H. Taylor (Learning Technologies Conference, Learning and Skills Group) und Egle Vinauskaite (Nodes, Learning Performance Institute) haben über das letzte Jahr drei Arbeitsberichte zum Stand der Nutzung von KI im Bereich der betrieblichen Weiterbildung (Learning & Development) publiziert:

  • AI in L&D: The state of play. L&D GSS Focus Report 01, November 2023.
  • AI in L&D: From talk to action. L&D GSS Focus Report 02, April 2024.
  • AI in L&D: Intention and reality. L&D GSS Focus Report 03, Oktober 2024.

Die Berichte fokussieren allerdings nicht nur auf generative KI, sondern berücksichtigen auch klassifizierende KI, wie sie etwa bei Skills-Management-Lösungen zum Einsatz kommt.

AI in L&D: The state of play. Focus Report 01

Für diesen Bericht haben Taylor & Vinauskaite von September bis Oktober 2023 die Stimmen von 185 Learning Professionals in verschiedenen Rollen eingeholt. Zentrale Ergebnisse waren die folgenden:

  • Die Nutzung von KI durch L&D war noch nicht weit fortgeschritten.
  • Bei den erwarteten Nutzenpotenzialen standen drei Aspekte im Vordergrund:
    • die Beschleunigung bei der Entwicklung von Lerninhalten / Lernmaterialien,
    • Kostenreduktionen,
    • eine verbesserte Personalisierung von Lernumgebungen / Lernerfahrungen.
  • Diesen erwarteten Nutzenpotenzialen standen eine Reihe von Hindernissen gegenüber:
    • Technologische Hindernisse
      (Datenschutz, Datensicherheit, Integration in bestehende Systeme und Plattformen);
    • Management Herausforderungen
      (Kosten, regulatorische Vorgaben, unklarer Geschäftsnutzen, etc.)
    • Herausforderungen auf Seiten der Learning Professionals
      (fehlendes Wissen bezüglich KI, Zweifel an der Leistungsfähgikeit der Technologie, keine Zeit für Einarbeitung).

AI in L&D: From talk to action. Focus Report 02

Für diesen Bericht haben Taylor & Vinauskaite von Ende Februar bis Anfang April 2024 die Stimmen von etwa 300 Learning Professionals eingeholt. Die zentrale Frage war die nach der Nutzung von KI (zum Zeitpunkt der Befragung und in den nächsten 3 Monaten).

Die Ergebnisse zeigen, dass das Design, die Entwicklung und die Übersetzung von Lerninhalten bzw. Lernmaterialien klar im Vordergrund stehen, gefolgt von der Unterstützung administrativer Aufgaben durch KI (u.a. Berichte, Emails, interne Kommunikation).

Abb. 1: Nutzung von KI im Bereich L&D (Bildquelle: Taylor / Vinauskaite, 2024 April, S. 7)

Dieser zweite Bericht umfasst auch sieben Fallstudien, in denen Umsetzungen bzw. laufende Projekte vorgestellt werden – von Strategie-Projekten über Compliance Projekte und Coaching bis hin zu personalisierten Lernempfehlungen.

AI in L&D: Intention and reality. Focus Report 03

Für diesen Bericht haben Taylor & Vinauskaite von Ende Juli bis Ende August 2024 die Stimmen von etwa 420 Learning Professionals eingeholt. Die zentralen Frage waren – ähnlich wie bei der ersten Erhebung in 2023 – die nach der Nutzung von KI und dem erwarteten Nutzen.

Erwarteter Nutzen

Im Hinblick auf den erwarteten Nutzen steht nach wie vor die Beschleunigung bei der Entwicklung von Lerninhalten / Lernmaterialien im Vordergrund. Und damit verbunden auch Erwartungen hinsichtlich Kosteneinsparungen. Erwartungen im Hinblick auf qualitative Weiterentwicklungen sind weniger prominent, finden sich aber ebenfalls: Unterstützung bei Datenanalysen, stärkere Personalisierung von Lernangeboten und verbesserte Lerndesigns.

Abb. 2: Erwarteter Nuten durch den Einsatz von KI im Bereich L&D
(Bildquelle: Taylor / Vinauskaite, 2024 Oktober, S. 9)

Fallstudien

Ergänzend zu einer umfangreichen Aufzählung von Use Cases für KI im Bereich L&D enthält der dritte Bericht ebenfalls verschiedene Fallstudien. Diese zeigen eine Bandbreite von Zielsetzungen und Herangehensweisen an die Arbeit mit KI in L&D. Hier einige Beispiele:

  • Ausweitung von Coaching-Angeboten durch den Einsatz von Chatbots beim National Health Service (NHS) in Grossbritannien;
  • Automatisierung von Skills-Assessments für Projektleiter:innen mit CustomGPTs beim Service-Anbieter Superside;
  • Skills-Intelligence (Identifikation und Systematisierung von künftig erforderlichen bzw. wichtiger werdenden Skills) bei Ericsson;
  • Beschleunigung der Produktion von Lernressourcen und Erprobung von innovativen, KI-unterstützten Coaching-Formaten bei EY;
  • KI-basierte Rollenspiele zur Entwicklung der Fähigkeiten im Hinblick auf u.a. Feedback-Geben, zielorientierte Führung und das Führen schwieriger Gespräche bei Boston Consulting Group (BCG).

Lösungsfelder – KEIN Reifegrad-Modell

Aus den Antworten zu den Survey-Fragen sowie aus den Fallstudien ergibt sich für Taylor / Vinauskaite ein differenziertes Bild der Nutzung von KI durch L&D. Auf der einen Seite finden sich “einfache” Nutzungsszenarien, die von Einzelpersonen (gegebenenfalls unter Umgehung von organisationalen Regelungen und Bestimmungen) einfach, schnell und kostengünstig umgesetzt werden können (gegebenenfalls mit kostenfreien Benutzerkonten bei Applikations-Anbietern). Das Erstellen von Lernmaterialien mit ChatGPT ist ein Beispiel hierfür. Auf der anderen Seite finden sich “anspruchsvolle” Nutzungsszenarien, für deren Umsetzung zusätzliche Kompetenzen oder Ressourcen oder Partner erforderlich sind. Organisationsweites Skills-Management ist ein Beispiel hierfür.

Für Taylor / Vinauskaite stellt sich dieses Feld (vgl. Abb. 3, unten) nicht so sehr als ein Kontinuum dar, in dem man von links nach rechts mit zunehmender Erfahrung voranschreitet (typisch für ein Reifegrad- bzw. Maturity-Modell). Vielmehr sehen sie dieses Feld als Gruppen von sehr unterschiedlichen Nutzungsszenarien. Auch deshalb, weil KI keine einzelne spezifische Technologie ist, sondern vielmehr für eine Bandbreite von Technologien steht. Diese Gruppen oder Cluster können fokussierte Lösungen (“Point Solutions”) sein, bei denen etwa KI-unterstützte, selbstorganisierte Lernaktivitäten oder Simulationstrainings im Vordergrund stehen. Oder eben unternehmensweit angelegte Veränderungsinitiativen wie ein systematisches, KI-unterstütztes Skills-Management, das ein organisationsweites und integriertes Vorgehen erfordert (“Business Integration”).

Erfahrung und Expertise in einer Gruppe von Nutzungsszenarien (z.B. Content-Erstellung), so Taylor und Vinauskaite, überträgt sich nicht in eine andere Gruppe von Nutzungsszenarien (z.B. KI für Coaching oder KI für Skills-Management) (vgl. Abb. 3).

Abb. 3: Immaturity Model für den Einsatz von KI im Bereich L&D,
(Bildquelle: Taylor / Vinauskaite, 2024 Oktober, S. 40)

Taylor / Vinauskaite gehen davon aus, dass es bestimmte Rahmenbedingungen (“Key enablers”) braucht, um von einem Set von Nutzungsszenarien zu einem anderen zu gelangen. Beispiele für solche Rahmenbedingungen sind unterhalb der dunkelblauen Boxen in verschiedenen Farben eingetragen:

  • L&D Expert:innen, die sich mit einzelnen Werkzeugen gut auskennen (links);
  • Promotoren aus den Geschäftseinheiten (Mitte);
  • ein Mandat für weitreichende Veränderungen und Unterstützung aus der Unternehmensleitung (rechts);
  • eine L&D-Organisation, die bereit ist, ausgetretene Pfade (Fokus auf Entwicklung von Lernangeboten) zu verlassen und – in enger Zusammenarbeit mit den jeweiligen Geschäftseinheiten bzw. der Gesamtleitung – den Fokus auf die Entwicklung von Leistungsfähigkeit und Veränderungsfähigkeit zu legen (“Open L&D department”, Mitte und rechts).

GenKI als (vertane) Chance für L&D?

Zum Abschluss ihres dritten Reports formulieren Taylor / Vinauskaite folgende Frage:

Warum wird KI im Bereich L&D vor allem dafür genutzt, interne Prozesse (Content-Entwicklung) zu verbessern anstatt die eigene Wirksamkeit und Geschäftsrelevanz zu stärken?

“AI presents L&D with a once-in-ageneration opportunity to have the impact and reach that it has always wanted.”
Teilnehmenden-Stimme aus dem Survey

Taylor und Vinauskeite beantworten diese Frage folgendermassen:

several factors keep L&D tied to its traditional role as the provider of courses for the organisation. To avoid this and to use AI in a more sophisticated way, the L&D department must be ‘Open’ – ready and able to innovate to support improved organisational performance. In addition, it needs to work in a place with both a mandate for innovation and a culture that supports it.
Taylor / Vinauskaite (Oktober 2024): AI in L&D: Intention and reality, S. 43

– – –

Taylor, D. H., & Vinauskaite, E. (2023, November). AI in L&D: The state of play. L&D GSS Focus Report 01. www.donaldhtaylor.co.uk.

Taylor, D. H., & Vinauskaite, E. (2024, April). AI in L&D: From talk to action. L&D GSS Focus Report 02. www.donaldhtaylor.co.uk.

Taylor, D. H., & Vinauskaite, E. (2024, October). AI in L&D: Intention and reality. L&D GSS Focus Report 03. www.donaldhtaylor.co.uk.

Generative KI in der Bildung – Beitrag für BeLEARN / dip

by Leave a Comment

ChatGPT & Co sind ja schon seit einer ganzen Weile in Bildungsinstitutionen angekommen. Dennoch gibt es nach wie vor viel Orientierungsbedarf. Die Nutzenpotenziale und Einsatzsszenarien kann man nach Lehrpersonen einerseits und Lernenden andererseits aufgliedern. Dies habe ich kürzlich im Rahmen eines Beitrags für BeLEARN / dip gemacht.

– – –

BeLEARN ist eine Initiative des Kantons Bern und von fünf schweizerischen Hochschulen (Uni Bern, PH Bern, BFF, EHB, EPFL). Das BeLEARN Kompetenzzentrum für Digitalisierung in der Bildung forscht und entwickelt Innovationen in den Themenfeldern Digital Skills, Digital Tools, Data Science for Education und KI. Im Rahmen des kantonalen Projekts dip (digital – innovativ – pädagogisch) war ich von BeLEARN / dip für einen Impuls zum Thema “KI & Bildung – Fähigkeiten für veränderte Arbeits- & Lernwelten” eingeladen (Kurzbericht von BeLEARN hier).

In meinem Beitrag habe ich drei Themen-Facetten angesprochen:

  • Unsere Arbeits- & Lernwelten verändern sich;
  • Zusammenarbeit mit «smarten» Maschinen (ChatGPT & Co) wird zum «neuen» Normal;
  • daraus ergeben sich Chancen und Herausforderungen für Lehrpersonen.

Zur Hinführung habe ich anhand von aktuellen Studien zur Nutzung von GenKI sowohl im Arbeitsfeld als auch in Bildungsinstitutionen Schlaglichter auf die gegenwärtige Nutzung von ChatGPT & Co geworfen. Anschliessend habe ich einen einfachen Orientierungsrahmen für GenKI-Kompetenzen vorgestellt und Beispiele dafür gezeigt, wie diese Kompetenzen entwickelt werden können. Im Hauptteil habe ich dann einige Beispiele für die Nutzung von GenKI durch Lehrpersonen und auch durch Schüler:innen gezeigt (vgl. die Hervorhebungen in der nachfolgenden Abbildung):

GenKI in der Bildung: Potenziale, Einsatzszenarien & Schlaglichter (Bildquelle: SCIL)

Zwischen die Themenblöcke waren zwei Diskussionsphasen der ca. 100 vor Ort anwesenden und per Webmeeting zugeschalteten Lehrpersonen eingeschoben. In diesen Phasen haben die Lehrpersonen zum einen untereinander diskutiert, wir haben aber auch im Plenum Fragen besprochen. Beispielsweise im Hinblick auf die Weiterentwicklung von Prüfungsformaten. Mit von der Partie waren übrigens auch eine Reihe von Innovations-Scouts aus Schulen im Kanton Bern. Insbesondere bei dieser Teilgruppe ist, so hat die Veranstaltung für mich gezeigt, schon einiges an Erfahrungen in der Nutzung von ChatGPT&Co vorhanden.

Hier noch ein Auszug aus den Folien zu meinem Beitrag:

Selbstorganisiertes Lernen mit CustomGPTs fördern, Teil 2

by Leave a Comment

Die bisherige Diskussion um die Nutzung von ChatGPT & Co im Bereich Bildung / Entwicklung fokussiert zu stark auf die Produktion von Lernmedien. Das Potenzial für qualitative Weiterentwicklungen – insbesondere im Hinblick auf selbstorganisierte Lernaktivitäten – ist zu wenig im Blick. Wir zeigen dieses Potenzial auf.

Dieser Blogpost umfasst zwei Teile. In ersten Teil ging es um den SCIL GenAI Skills Check als Beispiel für einen Chatbot, der einen umfangreichen, strukturierten, zielorientierten und personalisierten Dialogen im Bereich Lernen und Entwicklung ermöglicht. Im diesem zweiten Teil geht es um die weiteren Konsequenzen für Bildung und Entwicklung.

Hier geht es zum ersten Teil.

– – –

Beschleunigung UND Qualitätsentwicklung

In der aktuellen Diskussion um den Einsatz von generativer KI im Arbeitsfeld Bildung und Personalentwicklung stehen die Nutzenpotenziale im Hinblick auf das schnelle und kostengünstige Erzeugen von Lernmaterialien und Lerninhalten im Vordergrund. Dies gilt insbesondere im Bereich der betrieblichen Aus- & Weiterbildung bzw. Personalentwicklung.

Das Potenzial von Werkzeugen generativer KI für qualitative Weiterentwicklungen im Bereich Bildung / Entwicklung – insbesondere im Hinblick auf selbstorganisiertes Lernen – ist bisher noch zu wenig im Blick. Wir sehen hier ein sehr grosses Potenzial.

Vom Lehren zum Lernen

Im Kontext der Gezeitenbewegung «from teaching to learning» (Barr & Tagg, 1995) ist eigenverantwortliches Lernen und dessen Unterstützung seit vielen Jahren ein Thema für Verantwortliche im Bereich Bildung und Personalentwicklung. Dies gilt für verschiedenste Bildungskontexte: Schulen, Hochschulen, Berufsbildung, betriebliche Aus- & Weiterbildung. Die Bandbreite der Möglichkeiten hat Euler (2018) in einem Diskussionsbeitrag sehr übersichtlich aufgezeigt. Und er verweist darauf, dass der Grad der Eigenverantwortung bzw. Selbstregulation unterschiedlich sein kann. Euler unterscheidet hier “selbstorganisiert” (Lernende treffen Entscheidungen zu Zeit und Ort des Lernens) und “selbstbestimmt” (Lernende treffen Entscheidungen zu Zielen und Inhalten) als zwei Pole.

Abb. 1: Vom LEHREN zum LERNEN (eigene Darstellung nach Euler 2018)

Eigenverantwortlich durchgeführte, selbstregulierte Lern- und Entwicklungsaktivitäten können unterschiedliche Ausprägungen annehmen. Beispielsweise:

  • Bearbeiten von Lernmedien wie Texte, Videos oder Podcasts;
  • Bearbeiten von digitalen Lerneinheiten wie WBTs / E-Learnings;
  • Besuch von Fachveranstaltungen wie Messen, Tagungen oder Camps;
  • Systematisches Trainieren von wiederkehrenden Aufgaben;
  • Beteiligung an Peer-Learning bzw. Lernzirkeln auf Basis von Working Out Loud oder lernOS.

Eigenverantwortliches, selbstreguliertes Lernen ist anspruchsvoll. Eben weil die Lernenden keine Lehrpersonen, Trainer:innen oder Lernbegleiter:innen an ihrer Seite haben, die sie in diesem Prozess begleiten und unterstützen. Längst nicht alle Lernenden sind in der Lage, sich im Lern- und Entwicklungsprozess selbst zu motivieren, selbst zu steuern, selbst zu beobachten und selbst zu kontrollieren.

CustomGPTs zur Unterstützung von selbstorganisiertem Lernen

Aus unserer Sicht können CustomGPTs eine wichtige, unterstützende Rolle bei selbstverantworteten und selbstregulierten Lern- bzw. Entwicklungsaktivitäten übernehmen. Dabei können verschiedene, spezifisch konfigurierte CustomGPTs Lernende in den verschiedenen Phasen eines Lern- und Entwicklungsprozesses unterstützen. Beispielsweise bei

  • einer persönlichen Standortbestimmung und der Klärung von Entwicklungszielen;
  • der Überprüfung, ob Lernmedien erfolgreich bearbeitet (ausreichend tief verstanden) wurden;
  • der Vertiefung von spezifischen Themen-Facetten;
  • der vertiefenden Klärung von Begriffen und Konzepten («compare & contrast»);
  • der Erprobung von neuen Aufgaben und Rollen in Simulationen;
  • der Exploration von Möglichkeiten und Wegen, neu gelerntes Wissen und neu erworbene Fertigkeiten im Arbeitsalltag umzusetzen.

Die folgende Abbildung zeigt dies schematisch auf:

Damit selbstorganisierte Lernaktivitäten der Beschäftigten in dieser Breite gefördert und unterstützt werden können, braucht es eine Bibliothek von CustomGPTs und es braucht Möglichkeiten, diese in einfacher Weise verfügbar zu machen. Darüber hinaus braucht es auch eine Befähigung der beteiligten Personengruppen.

Die nächsten Schritte

Befähigung der Beteiligten

Unsere Beobachtungen zeigen, dass Nutzer:innen in Dialogen mit (Custom)GPTs häufig in der Rolle eines “Mitspielers” agieren. Sie antworten auf die Ausgaben des GPT, aber sie steuern den Dialog nicht aktiv in ihrem Sinne und in der Rolle eines “Spielführers”. Sie sind sich häufig nicht bewusst, dass sie den CustomGPT als unterstützenden Lernpartner behandeln, fordern und dirigieren können. Etwa mit Eingaben wie:
• «Eins nach dem anderen, nicht mehrere Fragen auf einmal.»
• «Bitte schneller auf den Punkt.»
• «Bitte genauere Begründungen.»

Ausgehend von dieser Beobachtung schlagen wir vor, verschiedene Reifegrade der Nutzung von ChatGPT&Co zu unterscheiden:

  1. Bereitgestellte Prompts und CustomGPTs benutzen und im Dialog “mitspielen”.
  2. Anpassungen im Dialog einfordern und “den Dialog führen“.
  3. Prompts und CustomGPTs auf die eigenen Erfordernisse anpassen.
  4. Prompts und CustomGPTs entwickeln.

Die nachfolgende Abbildung zeigt diese Reifegrade und deren Relevanz für verschiedene Benutzergruppen:

Abb. 3: Reifegrade der Nutzung von CustomGPTs im Kontext Bildung und Entwicklung (Bildquelle: eigene Darstellung)

Für die selbstorganisiert Lernenden geht es darum, vom “Mitspieler” zum “Spielleiter” zu werden, um so das Potenzial von bereitgestellten CustomGPTs für das eigene Lernen bestmöglich auszunutzen. Für Bildungsverantwortliche (z.B. Lernbegleiter) geht es darum, CustomGPTs auf die jeweiligen Erfordernisse anzupassen bzw. neue CustomGPTs zu entwickeln.

Bereitstellung von CustomGPTs

Mittlerweile sind viele Unternehmen und Organisationen so weit, dass sie ihren Beschäftigten einen sicheren Zugriff auf ChatGPT & Co über die jeweils eigenen Intranet-Seiten oder Lernplattformen ermöglichen können. Auf dieser Stufe können die Instruktionen für CustomGPTs als ausführliche Prompts über interne Prompt-Bibliotheken geteilt und genutzt werden.

Um die Potenziale für Zugewinne an Produktivität und Qualität weiter auszuschöpfen, ist es sinnvoll, andere Formen des Bereitstellens von CustomGPTs für Lernen und Entwicklung anzugehen. Hier ist insbesondere das Bereitstellen von CustomGPTs über eigens dafür eingerichtete Webservices (z.B. MS Azure und die Anbindung von LLMs über API) relevant. Neue Werkzeuge wie z.B. Microsofts Copilot Studio (eine nutzerfreundliche, no-code Entwicklungsumgebung für CustomGPTs bzw. Copiloten) machen dies leicht umsetztbar – auch für technisch nicht versierte Bildungsverantwortliche.

Aufgaben für Bildungsverantwortliche

Aus den Entwicklungen im Bereich der generativen KI ergeben sich daher mindesten zwei neue Aufgaben für die Verantwortlichen im Bereich Bildung / Personalentwicklung:

  • die Sichtung, Erprobung, Entwicklung, Prüfung, Anpassung und Orchestrierung von CustomGPTs zur Unterstützung eigenverantworteter und selbstregulierter Lernaktivitäten;
  • das Befähigen und Unterstützen von Lernenden, solche CustomGPTs reflektiert, zielorientiert, produktiv und in der Rolle von “Dialog-Führerenden” für sich und ihre eigenen Lern- / Entwicklungsaktivitäten zu nutzen.

– – –

SCIL Webinar Reihe: Selbstorganisiertes Lernen mit CustomGPTs unterstützen

In einer Reihe von fünf aufeinander aufbauenden Webinaren werden wir das Thema “Selbstorganisiertes Lernen mit CustomGPTs unterstützen” vertiefen. Dies sind die Themen:

  • Selbstorganisiertes Lernen (SOL): Einordnung, Formate, Stand, Erfordernisse.
  • Generative KI & Bildung / Personalentwicklung: Einsatzszenarien.
  • Unterstützung von SOL mit CustomGPTs:
    • SCIL Tutor: Erkundung und Vertiefung von selbst gewählten Themen;
    • SCIL Study-Buddy: Festigen durch Lehren bzw. Erklären;
    • SCIL Transfer-Coach: Umsetzung von Gelerntem im Arbeitsfeld.
  • Aktionsplan zur Förderung von SOL mit ChatGPT & Co.

Start ist am 05. Februar 2025. Mehr Informationen und Anmeldung hier.

– – –

Euler, D. (2018, April 25). Personalisiertes Lernen an Hochschulen. Keynote Vortrag. Kurztagung “Personalisiertes Lernen an Hochschulen – Wie viel darf es sein?”. Pädagogische Hochschule Zürich.

Meier, C., & Mann, J. M. (2024). Selbstorganisiertes Lernen mit CustomGPTs fördern: Das Beispiel SCIL GenAI Skills Check. St. Gallen. Universität St.Gallen: Institut für Bildungsmanagement und Bildungstechnologien.

Selbstorganisiertes Lernen mit CustomGPTs fördern, Teil 1

by 1 Comment

Die bisherige Diskussion um die Nutzung von ChatGPT & Co im Bereich Bildung / Entwicklung fokussiert zu stark auf die Produktion von Lernmedien. Das Potenzial für qualitative Weiterentwicklungen – insbesondere im Hinblick auf selbstorganisierte Lernaktivitäten – ist zu wenig im Blick.

Dieser Blogpost umfasst zwei Teile. In diesem ersten Teil geht es um den SCIL GenAI Skills Check als Beispiel für einen Chatbot, der einen umfangreichen, strukturierten, zielorientierten und personalisierten Dialogen im Bereich Lernen und Entwicklung ermöglicht. Im zweiten Teil geht es um die weiteren Konsequenzen für Bildung und Entwicklung.

Hier geht es zum zweiten Teil .

– – –

Einsatzmöglichkeiten für ChatGPT & Co in Bildung & Entwicklung

Die Einsatzmöglichkeiten für ChatGPT & Co im Aufgabenfeld Bildung und Entwicklung sind vielfältig. Legt man den ADDIE-Prozess als stark vereinfachte und weithin bekannte Fassung eines allgemeinen Leistungsprozesses zugrunde, ergibt sich folgender Orientierungsrahmen:

Abb. 1: Einsatzmöglichkeiten für GenKI im Arbeitsfeld Lernen & Entwicklung (Bildquelle: SCIL)

In der aktuellen Diskussion um ChatGPT&Co steht – zumindest im Kontext der betrieblichen Aus- und Weiterbildung – das Potenzial zur Vereinfachung und Beschleunigung bei der Entwicklung von Lernmaterialien im Vordergrund. Seltener wird darauf verwiesen, dass ChatGPT&Co auch bei anderen Aufgaben sinnvoll unterstützen kann – etwa der Entwicklung von Design-Ideen oder der Analyse von Daten zu Bedarfssituationen (z.B. Philippa Hardman in diesem Blogpost). Kaum im Blick ist bisher das Nutzenpotenzial im Hinblick auf Qualitätsverbesserungen, und zwar insbesondere bei der Umsetzung von eigenverantwortetem und selbstorganisiertem Lernen.

Selbstorganisiertes Lernen mit Inhalte-Bibliotheken

In vielen Unternehmen und Organisationen werden den Beschäftigten umfangreiche Inhalte-Bibliotheken verfügbar gemacht, aus denen sie eigenständig Lerninhalte auswählen und bedarfsorientiert bearbeiten können. Ein Beispiel hierfür ist etwa die unternehmensweite Einführung von Linkedin Learning bei Infineon (Spirgi & Tronsberg 2022).

In der Praxis hat sich gezeigt, dass die Veränderung einer Lernkultur und die Bewegung zu mehr eigenverantwortetem und selbstorganisiertem Lernen nicht leicht zu bewerkstelligen ist. Das Bereitstellen von technischen Umgebungen allein führt in der Regel noch nicht zum Erfolg. Denn eigenverantwortliches und selbstreguliertes Lernen ist anspruchsvoll. Eben weil die Lernenden keine Lehrpersonen, Trainer:innen oder Lernbegleiter:innen an ihrer Seite haben, die sie in diesem Prozess unterstützen. Dies zeigt sich etwa wenn es darum geht, eigene Lern- und Entwicklungsziele zu formulieren, sich im Verlauf des Lernprozesses zu steuern oder den Transfer in die Arbeitssituation zu leisten.

Hier kommt generative KI ins Spiel – und zwar in Form von spezifisch konfigurierten CustomGPTs. CustomGPTs können eigenverantwortetes und selbstorganisiertes Lernen umfangreich unterstützen – von der Klärung der eigenen Lern- und Entwicklungsziele bis hin zum Umsetzungscoaching. Im Teil 2 dieser Blogpost-Sequenz werden wird dies weiter erläutern. In diesem Post steht ein bestimmter CustomGPT im Mittelpunkt, nämlich ein virtueller Assistent für eine persönliche Standortbestimmung zu Fähigkeiten und Fertigkeiten.

SCIL GenAI Skills Check

Der SCIL GenAI Skills Check ermöglicht Dialoge, über die eine erste Orientierung zu den eigenen Kompetenzen und Skills sowie erste Ideen für Entwicklungsaktivitäten formuliert werden können. Dabei ist dieser Skills Check sehr spezifisch ausgerichtet, und zwar auf Skills für das Arbeiten mit GenKI-Werkzeugen (ChatGPT & Co). Grundsätzlich kann ein solcher Skills Check aber auch für beliebige andere Fähigkeiten und Fertigkeiten angepasst werden.

Der SCIL GenAI Skills Check ist so konfiguriert, dass er einen ausführlichen und vorstrukturierten Dialog mit den Benutzer:innen über verschiedene Schritte ermöglicht:

  1. Orientierung zum Thema und zum Ziel des Dialogs
  2. Check bzw. Standortbestimmung zu den fokussierten Skills
  3. Feedback & Einschätzung der Ausprägung der Skills
  4. Reflexion des aktuellen Stands
  5. Ideen für einen Entwicklungsplan
  6. Zusammenfassung

Die Entwicklung des SCIL GenAI Skills Check erfolgte zunächst im Rahmen der Arbeiten der SCIL Entwicklungspartnerschaft 2023/24 (Meier 2024). Der SCIL GenAI Skills Check liegt aktuell in Version 0.3 vor. Der Skills Check wurde als CustomGPT auf der Plattform chatgpt.com angelegt. Der Check ist über die folgende URL verfügbar: https://chatgpt.com/g/g-EE65tm1E6-scil-genai-skills-check-03. Der Check ist noch nicht perfekt. Aber er zeigt, welche Möglichkeiten sich hier für Bildungsverantwortliche eröffnen.

Vergleichstests und Eindrücke

Die aktuell verfügbare Version 0.3 haben wir in den letzten Wochen zum Gegenstand von verschiedenen Vergleichstests gemacht. Für diese Tests haben wir die folgenden Umgebungen genutzt:

  • OpenAI
    • GPT 3.5, Englisch und Deutsch
    • GPT-4o, Englisch und Deutsch
  • Anthropic
    • Claude Opus 3, Englisch und Deutsch
    • Claude Sonnet 3.5, Englisch und Deutsch
  • Google
    • Gemini – 1.5 Flash, Englisch und Deutsch
    • Gemini Advanced, Englisch und Deutsch
  • Microsoft
    • Microsoft Copilot (copilot.microsoft.com), Englisch und Deutsch

Der SCIL GenAI Skills Check zielt nicht auf eine objektive, summative Feststellung von Kompetenzen oder Skills ab. Vielmehr ist dieser Chatbot darauf ausgerichtet, eine erste Standortbestimmung zu ermöglichen, für das Thema zu sensibilisieren und die Nutzer:innen zu motivieren, das Kompetenzfeld «Arbeiten mit GenKI» weiter zu verfolgen. Aus diesem Grund stand für uns bei den Tests und Vergleichen die Dialoggestaltung im Vordergrund.

Folgende Punkte haben wir betrachtet:

  • Dialogeröffnung
  • Fragen und Antworten
  • Orientierung an der Instruktion (Schritte und Themen)
  • Übergang vom Check zur Bewertung
  • Ausprägung der Bewertung
  • Entwicklungsplan
  • Interaktionsstil

Die ausführlichen Test-Protokolle und Ergebnisse sind im SCIL Arbeitsbericht 32 nachzulesen. Hier eine Übersicht zu den wichtigsten Punkten:

Abb. 2: Ergebnisübersicht zu den Tests in verschiedenen Umgebungen (Bildquelle: SCIL)

Können CustomGPTs selbstorganisierte Lernaktivitäten sinnvoll unterstützen?

Entwicklung und Erprobung des CustomGPT «SCIL GenAI Skills Check» zeigen, dass die leistungsfähigsten aktuell im Markt verfügbaren Chatbots ein grosses Potenzial für die Unterstützung von umfangreichen, strukturierten, zielorientierten und personalisierten Dialogen im Bereich Lernen und Entwicklung bieten. Und sie zeigen auch, dass die Nutzer:innnen einen solchen Dialog als gewinnbringend erleben können.

Welche Perspektiven und Handlungsfelder ergeben sich daraus für Bildung und Personalentwicklung? Dieser Frage gehen wir im zweiten Teil dieses Blogposts nach.

– – –

SCIL Webinar Reihe: Selbstorganisiertes Lernen mit CustomGPTs unterstützen

In einer Reihe von fünf aufeinander aufbauenden Webinaren werden wir das Thema “Selbstorganisiertes Lernen mit CustomGPTs unterstützen” vertiefen. Dies sind die Themen:

  • Selbstorganisiertes Lernen (SOL): Einordnung, Formate, Stand, Erfordernisse.
  • Generative KI für Bildung / Personalentwicklung: Einsatzszenarien.
  • Unterstützung von SOL mit CustomGPTs:
    • SCIL Tutor: Erkundung und Vertiefung von selbst gewählten Themen;
    • SCIL Study-Buddy: Festigen durch Lehren bzw. Erklären;
    • SCIL Transfer-Coach: Umsetzung von Gelerntem im Arbeitsfeld.
  • Aktionsplan zur Förderung von SOL mit ChatGPT & Co.

Start ist am 05. Februar 2025. Mehr Informationen und Anmeldung hier.

– – –

Meier, C. (2024): Abschluss SCIL Entwicklungspartnerschaft 2023 / 24. Blogpost, 12. Juli 2024. scil.ch/blog.

Meier, C., & Mann, J. M. (2024). Selbstorganisiertes Lernen mit CustomGPTs fördern: Das Beispiel SCIL GenAI Skills Check. St. Gallen. Universität St.Gallen: Institut für Bildungsmanagement und Bildungstechnologien.

Vom Blogpost zum ‘Talk radio’ mit NotebookLM

by 1 Comment

Googles experimentelles NotebookLM macht es unter anderem möglich, aus einem Blogpost einen Podcast im “Talk Radio”-Format zu erstellen. Ein unterhaltsames und niedrigschwelliges Format, aber nicht unbedingt fachlich genau – wie die folgende Analyse zeigt.

– – –

Im Nachgang zu unseren SCIL Trend- Community Days publizieren wir jedes Jahr eine Nachbetrachtung zur Veranstaltung. In diesem Jahr war dies ein umfangreicher Blogpost zum Thema “Kompetenzen für Arbeits- & Lernwelten mit GenKI”. Diese Nachberichte werden geschätzt. Aber: Nicht alle Menschen lesen gerne; manche hören lieber.

Neue Werkzeuge wie Googles NotebookLM (Benutzerkonto bei Google erforderlich) oder Recast bieten uns jetzt hierzu neue Möglichkeiten.

NotebookLM

NotebookLM ist ein von Google entwickeltes, experimentelles KI-Notizbuch. In dieses Notizbuch kann man bis zu 50 Quellen (Dokumente, Webseiten, Videos) einstellen und diese dann bearbeiten. Grundsätzlich ist dies auch mit anderen GenKI-Anwendungen wie ChatGPT, Claude oder Gemini möglich. Aber, diesem Bericht von Datacamp.com zufolge besteht ein wichtiger Unterschied darin, dass NotebookLM den Fokus auf diese Dokumente nicht verliert. Auf der Grundlage der eingestellten Dokumente kann man dann Zusammenfassungen erstellen lassen, “Study Guides” (mit Fragen), FAQs, Audio-Zusammenfassungen und auch Podcasts.

Abb. 1: Bildschirmfoto der Benutzeroberfläche von NotebookLM (Bildquelle: SCIL)

Ein Podcast zum SCIL Trend- & Community Day 2024

Diese zuletzt genannte Variante habe ich jetzt einmal anhand unseres Nachberichts zum 11. Trend- & Community Day ausprobiert. Dieser Nachbericht ist für einen Blogpost vergleichsweise umfangreich (ca. 5 Minuten Lesezeit). Mit NotebookLM konnte ich sehr schnell und einfach eine gut 9 Minuten lange Podcast-Version erstellen lassen, die man z.B. auch beim Autofahren oder beim Spazierengehen hören kann:

Podcast “Nachbericht 11. SCIL Trend- & Community Day 2024”

Bei dem so erzeugten Podcast führen zwei von der KI erzeugte “Moderator:innen” (eine männliche, eine weibliche Stimme) ein Gespräch zu den Inhalten des Blogposts. Das Ganze hat das Format von US-amerikanischen ‘Talk radio’-Sendungen und die beiden haben erkennbar Spass am Gespräch. Das Gespräch ist informell und unterhaltsam, aber nicht unbedingt auf fachliche Präzision ausgerichtet.

Die Qualität der Stimmsynthese erscheint mir sehr gut. Und das Gespräch zwischen den beiden wirkt lebendig. Der ursprüngliche Blogpost ist in deutscher Sparche geschrieben, wird aber problemlos in einen englischsprachigen Podcast übersetzt. Allerdings: Mit Abkürzungen kommt die Anwendung nicht gut zurecht und spricht beispielsweise GenKI englisch aus, statt diese in ein GenAI zu transformieren. Zudem ist es aktuell nur möglich, solche Podcasts in englischer Sprache erstellen zu lassen.

Was zeigt ein genauerer Vergleich?

Ein Abgleich zwischen dem ursprünglichen Blogpost und dem Podcast zeigt folgendes:

Die Qualität des Podcasts als Audio-Format ist aus meiner Sicht sehr gut. Die fachliche Genauigkeit ist allerdings nicht immer gegeben. Beispielsweise wird aus “metakognitiven Aspekten” im Text “critical thinking” im Podcast; aus dem “Handlungsfeld ‘Veränderungen der Arbeitswelt meistern'” wird “culture of experimentation and collaboration”; aus “Prompt-Bibliothek” wird “prompt cheat sheets”; und aus “lernOS” werden “support groups”. Allerdings: diese Unschärfen oder “Halluzinationen” passen gut in den grösseren Diskussionszusammenhang, dem unsere Veranstaltung und der Blogpost zuzuordnen sind. Vermutlich könnte dies auch bei der Produktion einer Radiosendung mit echten Moderator:innen so passieren – es sei denn, es würde sich um eine Wissenschaftssendung mit hohem fachlichem Anspruch handeln.

Erstaunlich ist das Weltwissen, das NotebookLM einbringen kann. Im Blogpost ist die Abkürzung SBB nicht erklärt und es wird auch nicht erwähnt, dass SBB ein grosses Unternehmen mit vielen Mitarbeitenden ist (aktuell ca. 35’000). Beides wird aber im Podcast angesprochen (“Swiss Railway Company”, “scale”).

Hier eine Übersicht mit vergleichenden Beobachtungen zu den beiden Formaten, die ich für mich zur besseren Einschätzung von NotebookLM zusammengestellt habe:

Abb. 2: Vergleichende Beobachtungen zu Blogpost und Podcast (Bildquelle: SCIL)

Ein Experiment mit Potenzial

Google positioniert das Produkt bzw. den Service “NotebookLM” ausdrücklich als “Experiment”. Mit NotebookLM kann man bisher neben Inhaltsverzeichnissen, Zusammenfassungen oder Arbeitshilfen auch sehr unterhaltsame, aber auch sehr amerikanisch wirkende Podcasts im ‘Talk radio’-Format erstellen. Bisher sind bei diesen Podcasts allerdings nur Produktionen in englischer Sprache möglich. Und Konfigurationsmöglichkeiten (etwa bezüglich der Tonalität des Podcastst) gibt es ebensowenig wie die Möglichkeit einer Nachbearbeitung (etwa um bestimmte Formulierungen nachträglich zu korrigieren).

Aber dass dieses Erstellen eines dialogischen Podcasts aus einem Textdokument überhaupt in dieser Qualität möglich ist, ist im ersten Moment sehr beeindruckend. Im Kontext von (betrieblicher) Bildung erscheint mir das Einsatzspektrum für solche Podcasts aktuell auf das unterhaltsame, niedrigschwellige informieren zu fachlichen Themen beschränkt. Aber immerhin…

GenKI in der (Weiter-)Bildung: Nutzungsszenarien und Entwicklungserfordernisse

by Leave a Comment

GenKI-Werkzeuge können Learning Professionals wirksam unterstützen – über den gesamten ADDIE-Prozess hinweg. Die Kernaufgabe von Learning Professionals verlagert sich dabei, hin zu einem Orchestrieren von “starken” Lernumgebungen. Mein Beitrag zum Weiterbildungstag 2024 der Deutschen Gesellschaft für Qualität.

– – –

KI in (Weiter-)Bildung und QM

Der Weiterbildungstag 2024 der Deutschen Gesellschaft für Qualität stand unter dem Motto “KI in (Weiter-)Bildung und QM” und etwa 100 Teilnehmende (mehrheitlich Kursleitende) waren gekommen. Ich war eingeladen, zu dem Programm mit verschiedenen Vorträgen und Workshops eine Orientierung zu “GenKI in der (Weiter-)Bildung” beizusteuern.

Mein Startpunkt waren die Veränderungen in der Arbeitswelt (u.a. Industrie 5.0 und Human-Robot-Collaboration) und daraus abgeleitet die Zusammenarbeit mit “smarten” Maschinen als neues Normal. Anschliessend habe ich die damit verbundenen Chancen und Herausforderungen für Bildungsverantwortliche in den Blick genommen.

Potenziale für L&D / PE

Anhand einer vereinfachten Übersicht zum Leistungsprozess (ADDIE) habe ich aus meiner Sicht einige besonders wichtige Potenziale von GenKI für Bildungsverantwortliche schlaglichtartig beleuchtet:

  • Unterstützung beim Erarbeiten von Curricula und Designs;
  • Unterstützung beim Erstellen von Lernressourcen (Text, Bild, Audio, Video, etc.);
  • Unterstützung bei der Umsetzung von personalisierten, aktivierenden und handlungsorientierten Lernumgebungen (Standortbestimmungen, Tutoring, Coaching, etc.);
  • Verdichtung und Auswertung von offenen Teilnehmenden-Feedbacks.
Abb. 1: Nutzungsszenarien für GenKI-Werkzeuge im Bereich L&D / PE (Bildquelle: SCIL)

Was bedeutet das für mich als “Learning Professional”?

In der nachfolgenden Diskussion haben wir vor allem zwei Fragen behandelt: “Was bedeutet das alles für mich als Learning Professional?” und “Wie kann / muss ich mich weiterentwickeln?”.

Aus meiner Sicht stellt sich aktuell nicht die Frage, ob es Learning Professionals auch weiterhin braucht. Ja, es braucht sie, aber zunehmend in einer anderen Rolle. Weniger in der Rolle von Fachexpert:innen, die Informationen vermitteln oder über ihre Erfahrungen berichten. Das werden künftig virtuelle Tutoren mehr und mehr übernehmen können.

Es braucht die Learning Professionals in der Interaktion mit Teilnehmenden / Lernenden, um Kontexte und Perspektiven zu vermitteln, um Wichtiges von weniger Wichtigem zu trennen, um Bewertungen vorzunehmen und um Feedback zu geben.

Orchestrieren von “starken” Lernumgebungen

Und es braucht sie einer orchestrierenden Rolle bei der Planung und Gestaltung des Zusammenspiels von vielfältigen Elementen starker bzw. wirksamer Lernumgebungen. Die nachfolgende Abbildung, die unter anderem von Bransford et al. (2000) inspiriert ist, zeigt zentrale Elemente von wirksamen Lernumgebungen. Die Entwicklungen im Bereich der Generativen KI sind hier insofern relevant, als sich dadurch neue, zusätzliche bzw. ergänzende Möglichkeiten zur Realisierung von wirksamen Lernumgebungen ergeben. Dazu gehören u.a.

  • Dialoge mit virtuellen Tutoren zur Schärfung von persönlichen Zielsetzungen (Challenge);
  • Dialoge mit virtuellen Tutoren zur Exploration und Vertiefung von Themen;
  • attraktive Lernmedien (z.B. stilistisch angepasste Texte, Visualisierungen, Podcasts oder Videos);
  • Dialoge mit virtuellen Tutoren für erste Feedbacks zu Problemlösungen oder Arbeitsergebnissen.
Abb. 2: Elemente “starker” Lernumgebungen (Bildquelle: SCIL)

Die Herausforderung für Learning Professionals besteht darin, diese neuen Möglichkeiten so einzusetzen, dass sie die Lernumgebung tatsächlich wirksamer machen.

Hier noch ein Auszug aus der Unterlage, die ich für meinen Beitrag mitgebracht hatte…

– – –

Bransford, J. D., Brown, A. L., & Cocking, R. R. (2000). How people learn: Brain, mind, experience, and school. Expanded edition. Washington, USA: National Academy Press. https://doi.org/10.17226/9853

– – –

Mehr zum Konzept der “starken” Lernumgebung als Leitbild für das Lerndesign in unserem (Winter-)Workshop “Modelle & Designs für Blended Learning, Re- & Upskilling”.

Kompetenzen für Arbeits- & Lernwelten mit GenKI: 11. SCIL Trend- & Community Day 2024

by Leave a Comment

Im Mittelpunkt der Veranstaltung standen zwei Fragenkomplexe: 1) Welche Art von Stärkung / Befähigung brauchen unsere Zielgruppen (Schülerinnen & Schüler, Studierende, Berufslernende, Beschäftigte), um erfolgreich mit GenKI-Werkzeugen arbeiten zu können? 2) Wie können wir diese Stärkung / Befähigung umsetzen?

Hohe Entwicklungsdynamik im Bereich von GenKI-Werkzeugen

Die Veröffentlichung von ChatGPT (30.11.2022) liegt fast zwei Jahre zurück. Die anfängliche Verunsicherung (insbesondere an Bildungsinstitutionen wie Schulen / Hochschulen) hat sich vielerorts gelegt. Wir verstehen inzwischen besser, wie Werkzeuge wie ChatGPT & Co funktionieren und auch wofür sie eingesetzt werden können (mehr dazu u.a. hier).

Weniger klar ist, welche Kompetenzen bzw. Skills wir brauchen, um erfolgreich mit diesen Werkzeugen arbeiten bzw. lernen zu können. Zu klären ist auch, wie diese Kompetenzen bzw. Skills zielführend entwickelt werden können. Ein wichtiger Aspekt hierbei ist die hohe Entwicklungsdynamik im Bereich der generativen KI und darauf basierender Werkzeuge. Immer wieder werden neue, leistungsfähigere Sprachmodelle bzw. GPTs veröffentlicht – so beispielsweise kürzlich GPT-o1 von OpenAI. In der Folge verändert sich auch die Art und Weise, wie wir mit diesen Werkzeugen interagieren und arbeiten – und welche Kompetenzen / Skills es dazu braucht (vgl. dazu Ethan Mollick in diesem Post).

Diese beiden Fragenkomplexe:
1) Welche Kompetenzen / Skills braucht es?
2) Wie können diese entwickelt werden?
standen dementsprechend im Mittelpunkt des 11. SCIL Trend- & Community Day am 20.09.2024 in St.Gallen. Wir hatten zum einen externe Gäste eingeladen, uns zu ihren Projekten und Erfahrungen zu berichten. Zum anderen haben uns aber auch die Doktorand:innen an unserem Institut eingeladen, die uns zu ihren Forschungs- und Entwicklungsarbeiten in diesem Feld ins Bild gesetzt haben.

Kompetenzen für Arbeits- & Lernwelten mit (Gen)KI

Volker Rohr
Dr. Volker Rohr,
Institut für Bildungsmanagement und Bildungstechnologien, Universität St.Gallen

In seinem orientierenden Einstiegsbeitrag hat Volker Rohr aufgezeigt, dass es zahlreiche unterschiedliche Modelle und Rahmen für die Systematisierung von KI-Kompetenzen gibt: AICOMP, DigCompEdu, UNESCO-Framework, und viele weitere.

Diese Modelle beschreiben bzw. systematisieren Kompetenzen und Skills für den Umgang mit KI allgemein, aber nicht explizit für den Umgang mit generativer KI. Darüber hinaus sind diese Modellierungsansätze häufig sehr umfangreich, womit sich die Frage nach der Praktikabilität stellt. In Anlehnung an das Modell von Kong et al. (2024) hat Volker Rohr daher einen Rahmen mit vier Kompetenzfacetten aufgezogen, die für das Lernen und Arbeiten mit GenKI wichtig sind:

  • Haltungen & Einstellungen (z.B. Bereitschaft zur Auseinandersetzung mit GenKI und den zu erwartenden Veränderungen von (Berufs-)Arbeit);
  • Kognitive Aspekte (Wissen zu / Verständnis von Werkzeugen, Nutzungsmöglichkeiten, etc.);
  • Metakognitive Aspekte (Selbst-Wahrnehmung in der Zusammenarbeit mit bzw. bei der Steuerung von GenKI-Werkzeugen);
  • Verhalten / Umsetzung (z.B. Berücksichtigen von ethischen Herausforderungen in der Zusammenarbeit mit diesen Werkzeugen).
Abb. 1: Ein einfacher Orientierungsrahmen zu Kompetenzen für den Umgang mit GenKI (Bildquelle: IBB-HSG)

    Diese Systematik diente uns dann als ein Orientierungs- und Bezugsrahmen für die weiteren Beiträge des Tages.

    Standortbestimmung zu GenKI-Skills: Optionen & Beispiele

    Sobald geklärt ist, welche Kompetenzen und Skills im Hinblick auf generative KI gefördert und entwickelt werden sollen, könnte die Frage nach dem “Wie?” angegangen werden. Allerdings ist es in der Regel sinnvoll, zunächst zu klären, wo denn die Zielgruppen aktuell stehen.

    Für eine solche Standortbestimmung bzw. ein solches Assessment gibt es unterschiedliche Möglichkeiten: formativ oder summativ; hoher oder niedriger Anspruch an Gültigkeit und Genauigkeit; etc.. In meinem anschliessenden Beitrag habe ich zunächst einen einfachen Möglichkeitsraum aufgezogen und dann zwei Beispiele vorgestellt. Zum einen die stärker auf Objektivierung ausgerichteten Skills-Verifications von Workera. Zum anderen unseren SCIL GenAI Skills Check Vs03. Dieser ist stärker auf eine Sensibilisierung für das Entwicklungsthema und auf eine Aktivierung für die weitere Beschäftigung damit ausgerichtet.

    Diesen Skills Check haben wir dann mit allen Teilnehmenden erprobt. Dabei zeigte sich, dass die Wahl des Werkzeugs und des Modus einen Unterschied macht. So war es beispielsweise mit einem kostenfreien Benutzerkonto bei OpenAI nicht möglich, den umfangreichen Check vollständig durchzuführen. Mit einem Pro-Account dagegen funktionierte die Standortbestimmung gut. Ein Teilnehmer verwendete GPT im Voice-Modus und berichtete sehr positiv von der Nutzererfahrung.

    Abb. 2: Polaritätenprofile von zwei Ansätzen zur Bestimmung von GenKI-Skills (Bildquelle: IBB-HSG)

    Dieses Beispiel zeigt, dass mit Werkzeugen wie ChatGPT & Co durchaus umfangreiche, in Teilen vorstrukturierte Dialoge geführt werden können. Hier eröffnet sich ein grosses Potenzial für Bildung und Personalentwicklung in Form von Tutoring, Coaching und Rollenspielen bzw. Simulationen.

    Dr. Christoph Meier,
    Institut für Bildungsmanagement und Bildungstechnologien, Universität St.Gallen

    Förderung von GenKI-Kompetenzen bei SBB: Praxisbericht

    Deborah Imboden
    Deborah Imboden,
    Projektleiterin L&D,
    SBB

    Mit dem nächsten Beitrag waren wir dann beim Fragenkomplex “Wie können Kompetenzen und Skills zu GenKI entwickelt werden?” Deborah Imboden leitet entsprechende Projekte dazu bei der SBB und berichtete zum Vorgehen dort.

    Sie positionierte die Entwicklungsaktivitäten zu GenKI bei der SBB zunächst im grösseren Handlungsfeld “Veränderung der Arbeitswelt meistern” und zeigte dann das Vorgehensmodell auf: Berufsanalysen als Grundlage für darauf basierende Massnahmen zur Vorbereitung der Mitarbeitenden auf das Arbeiten mit generativer KI.

    Die Unterstützungsangebote zum Thema KI / GenKI bei SBB beinhalten eine Grundlagen-Einheit (online) mit vier Modulen, eine Prompt-Bibliothek, Vorträge, Workshops mit Stationenarbeiten, Netzwerk-Anlässe sowie darüber hinaus gehende weitere, auch externe Angebote.

    Insgesamt liegt der Fokus der Unterstützung und Befähigung bei SBB bisher auf der Dimension Wissen / Fertigkeiten. Haltungen und Einstellungen zur Arbeit mit GenKI werden ebenfalls adressiert. In Zukunft sollen aber auch die weiteren Dimensionen (Metakognition und Verhalten) systematischer behandelt werden.

      Abb. 3: Die KI-Handlungsfelder bei SBB als Kontext für die Angebote zur Kompetenzentwicklung (Bildquelle SBB)

      Aktuelle F&E-Arbeiten zu GenKI-Kompetenz am IBB-HSG

      Nach der Mittagspause leitete Sabine Seufert den F&E-Marktplatz zu GenKI ein und setzte die Arbeiten am Institut in einen grösseren Rahmen.

      Diesen Rahmen gliederte sie in drei Ebenen:

      1. Strategische Einschätzungen bzw. langfristige Positionen (beispielsweise Future Work Self oder die Sicht auf KI-Roboter als Konkurrenten oder Partner);
      2. Domänen-spezifische Kompetenzen (beispielsweise Critical Thinking Skills im Umgang mit GenKI oder Schreibkompetenzen);
      3. Transversale Kompetenzen (beispielsweise AI-Empowerment oder Growth Mindset).
      Abb. 4: Rahmen zur Einordnung der aktuellen Forschungs- & Entwicklungsaktivitäten im Bereich GenKI bei IBB-HSG
      (Bildquelle: IBB-HSG)

      An den insgesamt vier Marktplatz-Ständen stellten dann Mandana York, Kira Rohwer, Lukas Spirgi und Stefan Sonderegger ihre aktuellen Forschungs- bzw. Entwicklungsprojekte vor. Zentrale Punkte waren die folgenden:

      • Grundlegende Haltungen bzw. Persönlichkeitsmerkmale wie etwa “Growth Mindset” haben einen Einfluss auf die Wahrnehmung von GenKI-Assistenzsystemen und die Bereitschaft, mit diesen kooperativ zusammen zu arbeiten.
      • Die in einem Experimental-Setting demonstrierten “critical thinking skills” werden von der Arbeitsumgebung (mit / ohne Nutzung von GenKI-Assistenten) beeinflusst.
      • KI-basierte Systeme können genutzt werden, um spezifische Kompetenzen wie z.B. wissenschaftliches Schreiben zu fördern. Dafür braucht es spezifisch gestaltete Lerndesigns.
      • Es werden auch spezifische Unterstützungsangebote benötigt, um Bildungsverantwortlichen / Lehrpersonen aufzuzeigen, wie GenKI Lehr- und Lernprozesse unterstützen kann. Darüber hinaus braucht es geeignete Lern- und Testumgebungen.

      – – –

      Mandana York: Future Work Self und AI Empowerment.
      Ready für KI aus psychologischer Perspektive?

      Abb. 5: Growth Mindset als Einflussfaktor für die Wahrnehmung von KI-Robotern (inkl. ChatGPT & Co) und die Bereitschaft zur Kooperation (Bildquelle IBB-HSG)

      – – –

      Kira Rohwer: Critical Thinking Skills im Umgang mit GenAI:ChatGPT.
      Studie zum kritischen Denken in der Hochschulbildung.

      Abb. 6: Ausprägung von kritischem Denken im Vergleich (MIT Nutzung von ChatGPT (EG) und OHNE (KG) – Auszug aus den Ergebnissen) (Bildquelle: IBB-HSG)

      – – –

      Lukas Spirgi: Entwicklung vom Schreibkompetenzen mit generativer KI

      Abb. 7: Ausprägungen der Unterstützung durch GenKI im Schreibprozess (Bildquelle: IBB-HSG)

      – – –

      Stefan Sonderegger: Education Copilot – Sandbox für KI-basierte Lerndesigns

      Abb. 8: Einsichten aus der Analyse von Interaktionen von Lehrpersonen mit Education Copilot (Bildquelle: IBB-HSG)
      Prof. Dr. Sabine Seufert,

      Mandana York, M.Sc.
      Kira Rohwer, M.Sc. M.A.
      Lukas Spirgi, M.A.
      Dr. Stefan Sonderegger

      Institut für Bildungsmanagement und Bildungstechnologien, Universität St.Gallen

      Förderung von GenKI-Kompetenzen an der Universität Lüneburg

      Dana-Kristin Mah
      Prof. Dr. Dana-Kristin Mah,
      Digitales Lehren & Lernen, Universität Lüneburg

      Mit dem Beitrag von Dana-Kristin Mah, Junior-Professur für Digitales Lehren und Lernen an der Leuphana-Universität Lüneburg, blieben wir im Anschluss noch im Kontext Hochschulbildung.

      An der Universität Lüneburg wird Bildung zu KI bzw. die Förderung von (Gen)KI-Kompetenzen in vielfältiger Weise vorangetrieben. So beinhaltet das Leuphana Studienmodell Angebote im Bereich “Data Literacy” für Studierende im ersten Semester und diese werden um das Thema “AI Literacy” erweitert. Die Studierenden können über verschiedene Services, die im Verbund mit anderen Hochschulen betrieben werden, auf eine ganze Reihe von verschiedenen GenKI-Tools zugreifen. Das Thema GenKI wird im Rahmen von verschiedenen Veranstaltungen und Workshops aufgegriffen (Tag der Lehre, Schreiblabor, Medien- & Informationszentrum). Und auch in der Breite der Lehre ist generative KI ein Thema, wie Dana-Kristin Mah am Beispiel der Fakultät Bildung aufzeigte. Dabei kommen zwei Perspektiven zum Tragen: (Gen)KI als Lerngegenstand sowie auch (Gen)KI als Werkzeuge.

      Abb. 9: Förderung von (Gen)KI-Kompetenzen an der Universität Lüneburg und Gestaltungsfelder (Bildquelle: Mah / Universität Lüneburg)

      Empowerment für M365 Copilot

      Mit dem Beitrag von Joachim Haydecker ging es zurück in den betrieblichen Kontext. Dort sind aktuell zahlreiche Unternehmen und Organisationen dabei, Microsoft 365 Copilot für Office Anwendungen wie Word, PowerPoint, Excel, Outlook, Teams, etc. zu evaluieren.

      Auch ENBW hat einen mehrmonatigen Evaluationsprozess durchgeführt. In dessen Verlauf hat sich gezeigt, dass es eine Unterstützung / Befähigung der Anwender:innen braucht, um die M365 Copiloten sinnvoll nutzen zu können. Bei ENWB wurde daher der Evaluationsprozess mit einem systematischen Vorgehen zur Unterstützung / Befähigung der Nutzer:innen verwoben. Das gewählte Vorgehen entsprach einer vereinfachten und gekürzten Version von Peer-Learning bzw. Lernzirkeln gemäss lernOS. In einem systematisch gestalteten, mehrwöchigen Programm haben jeweils 4-5 Teilnehmende in einer Lerngruppe systematisch Übungen zur Nutzung von M365 Copilot bearbeitet. Joachim Haydecker zufolge hat sich dieses Vorgehen gut bewährt.

      Abb. 10: Gesamtsicht auf den Prozess der Evaluation / Erkundung / Befähigung für Microsoft 365 Copilot bei ENBW
      (Bildquelle: Haydecker / ENBW)
      Joachim Haydecker,
      Innovationsmanager
      Digital Workplace,
      ENBW

      Förderung von GenKI-Kompetenzen mit Promptathons

      Gerd Stumm,
      L&D-Experte,
      SAP

      Den letzten fachlichen Beitrag des Tages steuerte Gerd Stumm von SAP bei. Startpunkt für seinen Beitrag war die Feststellung, dass GenKI anders ist als Software, die wir bisher kannten. Und dass deshalb das Nutzen und Ausprobieren unverzichtbar ist, um Lösungen wie ChatGPT & Co effektiv nutzen zu können.

      Eine sehr praxisorientierte Lernerfahrung zu GenKI ist das Format Promptathon. Ein Promptathon ist eine etwa zweistündige Grossgruppenveranstaltung, bei der 20-150 Teilnehmende mit verschiedenen Problemstellungen konfrontiert werden, die sie in Kleingruppen (3-4 Personen) bearbeiten. Dabei arbeiten die Kleingruppen selbstorganisiert an Prompts, mit denen die von ihnen ausgewählte Problemstellung möglichst gut bewältigt werden kann. Mehr zum Format Promptathon bei CLC (2024).

      Als zentrale Ressource für die Vorbereitung und Durchführung eines Promptathons haben sich grosse digitale Whiteboards erwiesen. Auf diesen sind nicht nur die Aufträge / Challenges dokumentiert. Dort finden auch die zahlreichen Kleingruppen Raum, um ihre Arbeit und Lösungen zu dokumentieren. Und im Nachgang ermöglichen diese digitalen Whiteboards allen Teilnehmenden einen Zugang zu allen Problemstellungen und Lösungen, die im Verlauf der Veranstaltung erarbeitet wurden.

      Abb. 11: Digitales Whiteboard als zentraler Event-Hub für einen Promptathon (Bildquelle: Stumm / SAP)

      Fazit

      Generative KI ist in unseren Arbeits- und Lernwelten angekommen – jedenfalls an vielen Orten. Damit stellen sich nächste Fragen: (1) Welche Kompetenzen / Skills brauchen wir dafür? (2) Wie können diese Kompetenzen / Skills gefördert bzw. entwickelt werden?

      Die bisher vorliegenden Kompetenzmodelle und Kompetenzrahmen sind eher allgemein mit Blick auf KI formuliert und berücksichtigen die Besonderheiten von generativer KI noch nicht. Beispielsweise die verschiedenen Ausprägungen des Ineinandergreifens von Mensch und Maschine bei der Bearbeitung von Aufgaben (hybride Intelligenz oder Co-Creativity). Hier gibt es also noch weiteren Klärungsbedarf.

      Wenn neue Anforderungen zutage treten, ist die erste Reaktion häufig “Wir brauchen einen Kurs dafür” (Schuchmann / Seufert 2013). Die Möglichkeiten für das Befähigen von Zielgruppen für die Arbeit mit GenKI-Anwendungen wie ChatGPT & Co gehen aber weit darüber hinaus. Die Beiträge zum Tag haben gezeigt, wie ein breiteres Angebotsportfolio sowohl im Kontext der betrieblichen Bildung als auch im Kontext der Hochschulbildung umgesetzt werden kann. Und sie haben gezeigt, dass insbesondere handlungsorientierten Formaten wie etwa Peer- bzw. Circle Learning oder Promptathons grosse Bedeutung zukommt.

      – – –

      Kong, S.‑C., Cheung, M.‑Y. W., & Tsang, O. (2024). Developing an artificial intelligence literacy framework: Evaluation of a literacy course for senior secondary students using a project-based learning approach. Computers and Education: Artificial Intelligence, 6 (1-11).

      CLC (Robes / Kirchner) (2024): Leitfaden zur Durchführung eines Promptathons.

      Schuchmann, D., & Seufert, S. (2013). Neuorientierung betrieblicher Weiterbildung – Wege aus der “Kürsli-Denke”? In S. Seufert & C. Metzger (Eds.), Kompetenzentwicklung in unterschiedlichen Lernkulturen: Festschrift für Dieter Euler zum 60. Geburtstag (pp. 421–442). Paderborn: Eusl.

      Save the date: 12. Trend- & Community Day am 19.09.2025

      Der 12. SCIL Trend- & Community Day findet am 19. September 2025 statt. Das Rahmenthema haben wir noch nicht definiert – wir werden dazu informieren.

      GenKI und Produktivität von Bildungsverantwortlichen / Lehrpersonen

      by 1 Comment

      Im Rahmen einer aktuelle Studie aus den USA wurden Lehrpersonen über ein Schuljahr hinweg bei der Nutzung von GenKI-Werkzeugen begleitet. Dabei kristallisierten sich verschiedene Typen von Nutzern heraus. Produktivitätsgewinne nahmen die Lehrpersonen wahr, die GenKI AUCH für das Erzeugen und Weiterentwickeln von Ideen zur Unterrichtsgestaltung nutzten – und nicht NUR für das Erzeugen von Unterrichtsmaterialien.

      – – –

      Studien zur Arbeitsproduktivität

      In der Folge der Veröffentlichung von leistungsfähigen Chatbots wie OpenAIs ChatGPT (GPT-3.5, 30.11.2022) und GPT-4 (14.03.2023) wurden an vielen Orten empirische Studien dazu durchgeführt, wie sich die Nutzung dieser Werkzeuge auf die Arbeitsproduktivität auswirkt. Eine erste, gross angelegte (444 Beschäftigte) und breit bekannt gewordene Studie wurde von Wissenschaftlern am MIT publiziert (Noy & Zhang, 2023). Die Studie kam zu dem Schluss, dass die Nutzung solcher Assistenzsysteme bei Aufgaben der Texterstellung (Email, Pressetext, Förderantrag, Analyse-Bericht) sowohl zu Zeitersparnis (ca. 30%) als auch zu Qualitätsverbesserungen führt. (Mehr dazu in diesem Blogpost)

      Vor wenigen Tagen wurde eine weitere gross angelegte Studie einer Forschungsgruppe (Princeton, MIT, Microsoft, Wharton) publiziert, die die Auswirkungen der Nutzung von GenKI (GitHub Copilot) auf die Produktivität von Software-Entwicklern untersucht (Cui et al. 2024). An der Studie waren insgesamt mehr als 5’000 Software-Entwickler:innen beteiligt. Auch hier wurden deutliche Produktivitätsgewinne bei der Nutzung des Assistenzsystems GitHub Copilot konstatiert. Allerdings wurde auch festgestellt, dass die Produktivitätsgewinne ungleich verteilt sind:

      • jüngere Entwickler:innen bzw. solche, die weniger lang in diesem Beruf tätig sind (“short tenure”) profitieren deutlich stärker vom Assistensystem GitHub Copilot,
      • ältere Entwickler:innen bzw. solche, die schon länger in diesem Beruf tätig sind (“long tenure”) profitieren deutlich weniger stark.
      Abb. 1: Ergebnisvisualisierung aus der Studie von Cui et al. 2024

      Und was ist mit Learning Professionals?

      Vergleichbare Studien aus dem Bildungskontext waren mir bisher nicht bekannt. Über Barbara Geyer bin ich jetzt auf eine explorative Studie aufmerksam geworden, die Lehrpersonen in den Blick nimmt (Keppler et al. 2024). Die Studienautor:innen haben im Rahmen der Studie 24 Lehrpersonen auf der Stufe K12 an verschiedenen Schulen im mittleren Westen der USA über ein Schuljahr hinweg mit Interviews, Beobachtungen und standardisierten Befragungen begleitet.

      Die Studie fokussierte das “backward planning” der Lehrpersonen, also die Erarbeitung von Unterrichtsplänen und dazu passenden Unterrichtsmaterialien abgeleitet aus den vordefinierten Lernzielen. Im Verlauf des Schuljahres kristallisierten sich für die Autor:innen drei Typen von Lehrpersonen heraus:

      • Lehrpersonen, die GenKI sowohl für “Input” (z.B. Ideen für Unterrichstplanungen und Anregungen zu deren Weiterentwicklung) als auch für “Output” (z.B. das Erstellen von Lernmaterialien wie Quizzes oder Arbeitsblätter) nutzten;
      • Lehrpersonen, die GenKI nur für “Output” nutzten;
      • Lehrpersonen, die GenKI gar nicht nutzten.

      Die nachfolgende Abbildung 2 kontrastiert die Verwendungsweisen der beiden zuerst genannten Typen von Lehrpersonen.

      Abb. 2: Zwei Herangehensweisen, wie Lehrpersonen GenKI zur Unterstützung heranziehen (Bildquelle: Keppler et al. 2024)

      Die Analysen zeigen, dass die Lehrpersonen, die GenKI SOWOHL für Input (Ideen, Anregungen zur Weiterentwicklung) als auch für Output (Lernmaterialien) nutzen, erleben sich dabei als produktiver. Demgegenüber erleben sich die Lehrpersonen, die GenKI NUR für Output nutzen, nicht als produktiver.

      Die Autor:innen fassen ihre Ergebnisse wie folgt zusammen:

      In fall 2023, all teachers were novice users or had never tried generative AI. By spring 2024, the teachers separate into three distinct groups: (1) those who seek generative AI input (i.e., thoughts or ideas about learning plans) and output (i.e., quizzes, worksheets), (2) those who only seek generative AI outputs, and (3) those not using generative AI. The teachers in the first group—but not the second group—report productivity gains in terms of workload and work quality.
      Keppler, Park Sinchaisri, Snyder (2024), S. 1

      Und sie begründen dies an anderer Stelle wie folgt:

      Teachers seeking input from generative AI on their plans use it to come up with alternative ideas, not to make an entire plan for their course without incorporating their own expertise and input. (…) A consequence of generative AI’s input is that teachers can feel more confident.
      (…)
      Teachers using generative AI to create outputs are asking generative AI to make materials for them. Yet, in our data, teachers explain that they almost always still do a lot of material creation work themselves modifying or improving upon what generative AI creates.
      Keppler, Park Sinchaisri, Snyder (2024), S. 20

      – – –

      Cui, Z., Demirer, M., Jaffe, S., Musloff, L., Peng, S., & Salz, T. (2024). The Effects of Generative AI on High Skilled Work: Evidence from Three Field Experiments with Software Developers. SSRN Electronic Journal. (September).

      Keppler, S., Sinchaisri, W., & Snyder, C. (2024). Backwards planning with Generative AI: Case study evidence from US K12 teachers. SSRN Electronic Journal.

      Noy, S., & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. Science, 381(6654), 187–192.

      Prompt-Kataloge für verschiedene Bildungskontexte: Schule, Hochschule, betriebliche Weiterbildung

      by Leave a Comment

      Prompt-Kataloge machen Beispiele für (gut gestaltete) Prompts verfügbar, die dann für den jeweils eigenen Kontext angepasst werden können. Solche Prompt-Kataloge gibt es für verschiedene Bildungskontexte – beispielsweise Schule, Hochschule oder betriebliche Weiterbildung. In der Regel sollten diese Prompts jeweils auch in anderen Bildungskontexten sinnvoll genutzt werden können.

      – – –

      Die Ständige Wissenschaftliche Kommission der Kultusministerkonferenz (SWK) hatte Anfang Jahr in einem Positionspapier (SWK 2024) die “versierte Koaktivität mit LLM” als wichtige Zukunftskompetenz herausgestellt. Ein Element dieser “versierten Koaktivität” ist das Prompting. Prompt-Kataloge machen Beispiele für (gut gestaltete) Prompts verfügbar, die dann für den eigenen Kontext angepasst werden können.

      Kontext Hochschule

      Im Rahmen eines vom Hochschulforum Digitalisierung veranstalteten “Prompt-Labors” wurde ein offener Prompt-Katalog mit erprobten Prompts aus dem Kontext Hochschullehre aufgebaut.

      Die unter einer OER-Lizenz veröffentlichten Prompts (aktuell 83) sind über eine tabellarische Übersicht einsehbar und können gefiltert werden nach

      • Modell (z.B. ChatGPT, BARD, Perplexity),
      • Anwendungsszenario (z.B. Lernziele definieren, Zeitplanung erstellen, didaktische Reduktion),
      • Funktion des Prompts (z.B. Zusammenfassung, Textgenerierung, Fragen beantworten).
      Abb.1: Prompt-Katalog des KI-Campus (Bildschirmfoto)

      Kontext Schule

      Für den Kontext Schule bietet beispielsweise AI for Education (https://www.aiforeducation.io/prompt-library) einen umfangreichen (englischsprachigen) Prompt-Katalog.

      Die in der Bibliothek zusammengeführten Prompts sind nach verschiedenen Kategorien bzw. Aufgabenbereichen gegliedert. Beispiele sind:

      • Unterrichtsplanung (z.B. Lernzielformulierung, Stärken-basierter Unterrichtsplan, Umgang mit verbreiteten Fehlvorstellungen),
      • Soziales & emotionales Lernen (z.B. Achtsamkeitsübungen, kooperative Lernaktivitäten, reflektierendes Lerntagebuch),
      • Prüfungen (z.B. authentische Prüfungsformen, Bewertungsschemata, KI-resistente Prüfungen).
      Abb.2: Prompt-Katalog von AIforEducation (Bildschirmfoto)

      Kontext betriebliche Weiterbildung

      Vergleichbare, offene Prompt-Kataloge mit Fokus auf die Erfordernisse der betrieblichen Weiterbildung scheinen bisher kaum verfügbar zu sein. Ein Beispiel für ein kostenpflichtiges Angebot, das ich gefunden habe, ist die Prompt-Sammlung von PromptSnack.net. Dort sind nach eigenen Angaben über 50’000 Prompts verfügbar, die nach Stichworten durchsucht und über Filter gesichtet werden können. Für die Rolle “Chief Learning Officer” sind dort 18 Prompts verfügbar: https://promptsnack.net/audiences/chief-learning-officer#. Beispiele sind:

      • “Design a sales training program”,
      • “Strategies for Employee Growth and Development”,
      • “Effective Evaluation Methods for Employee Training ROI”.
      Abb.3: Prompt-Katalog von PromptSnack.net (Bildschirmfoto)

      – – –

      SWK (2024). Large Language Models und ihre Potenziale im Bildungssystem. Impulspapier der Ständigen Wissenschaftlichen Kommission der Kultusministerkonferenz. www.swk-bildung.org.

      Via Unidigital.news (Matthias Kindt)

      GenKI als Lerndesign-Assistent? (Philippa Hardman)

      by Leave a Comment

      Philippa Hardman ist der Frage nachgegangen, wie gut die Arbeitsergebnisse sind, wenn Lerndesigner (mit viel oder wenig Erfahrung) GenKI zur Unterstützung heranziehen. Sie zeigt die Ergebnisse ihres “crowsourcing” Experiments auf und sie formuliert ein Zukunftsbild für die Zusammenarbeit von Lerndesignern und GenKI-Werkzeugen.

      – – –

      Ein Experiment…

      Dr. Philippa Hardman ist eine Expertin für Lerndesign und Autorin eines Rahmenmodells für Lerndesign (DOMS: Discovery, Objectives, Mapping, Storyboarding). Hardman interessiert sich dafür, inwieweit GenKI bereits die Rolle eines Lerndesigners bzw. einer Lerndesignerin einnehmen kann. Die Rolle “Lerndesigner:in” operationalisiert sie dabei über drei typische Aufgaben bzw. Aktivitäten:

      • Lernziele formulieren
      • Lerndesign (“instructional strategy”) auswählen
      • Kursinhalte formulieren (“course outline”)

      Um ihrer Frage nachzugehen, hat sie ein “crowdsource experiment” durchgeführt:

      1. Sie hat drei Kolleg:innen darum gebeten, jeweils drei Aufgaben zu bearbeiten:
        • Lernziele formulieren;
        • Lehrstrategie formulieren;
        • Inhalte eines Kurses formulieren.
      Design a course which equips entrepreneurs and marketing professionals with the practical skills and strategies so that they can effectively market and grow innovative products and services in dynamic environments.
      Philippa Hardman, https://drphilippahardman.substack.com/p/how-close-is-ai-to-taking-over-the, 17.07.2024
      1. Sie hat drei Bedingungen geschaffen:
        • Bearbeitung durch Lerndesigner:in mit viel Erfahrung (“experienced instructional designer”) OHNE Unterstützung durch GenKI-Werkzeuge;
        • Bearbeitung durch durch Lerndesigner:in mit wenig Erfahrung (“non-expert instructional designer”) MIT Unterstützung durch GenKI-Werkzeuge (ChatGPT-4o);
        • Bearbeitung durch Lerndesigner:in mit viel Erfahrung (“experienced instructional designer”) MIT Unterstützung durch GenKI-Werkzeuge (ChatGPT-4o).
      1. Sie hat Personen aus ihrem Netzwerk darum gebeten, die daraus resultierenden Arbeitsergebnisse zu bewerten.

      Ihr Vorgehen und die Ergebnisse hat sie in verschiedenen Blogposts erläutert bzw. dokumentiert:

      …und die Ergebnisse

      Knapp 200 Personen haben sich an dem Experiment beteiligt. Die genaue Zahl der Rückmeldungen bzw. Bewertungen ist aus den Blogposts nicht ersichtlich. Auch unterscheidet sich die Weise, wie Hardman die Ergebnisse zu den drei Teilaspekten verdichtet. Ich habe daher die in den Blogposts publizierten Daten neu aufbereitet und in einer Grafik zusammengefasst. Zentrale Ergebnisse sind

      1. die Arbeitsergebnisse von wenig erfahrenen Lerndesignern MIT Unterstützung durch GenKI-Werkzeuge werden besser bewertet als die Arbeitsergebnisse von erfahrenen Lerndesignern OHNE Unterstützung durch GenKI-Werkzeuge;
      2. am besten bewertet werden die Arbeitsergebnisse von erfahrenen Lerndesignern MIT Unterstützung durch GenKI-Werkzeuge:
      Abb. 1: Bewertung der Arbeitsergebnisse unter den verschiedenen Bedingungen (höhere Punktzahl = bessere Bewertung)
      (Bildquelle: eigene Ergebnisvisualisierung auf Basis der Daten in den Blogbeiträgen von Ph. Hardman)
      Legende:
      “exp. ID no AI” = Lerndesigner:in mit viel Erfahrung OHNE Zugriff auf GenKI
      “nov. ID with AI” = Lerndesigner:in mit wenig Erfahrung MIT Zugriff auf GenKI”
      “exp. ID with AI” = Lerndesigner:in mit viel Erfahrung MIT Zugriff auf GenKI”
      Hinweis:
      Für den Aspekt “Instructional Strategy” hat Hardman nur die Daten zur Bedingung “exp. ID with AI” publiziert.

      Eine ausführlichere Darstellung und Diskussion der Ergebnisse sowie der Bewertungen der Arbeitsergebnisse durch die “crowd” finden sich in den jeweiligen Blogposts (vgl. die Links oben).

      Höhere Ergebnisqualität bei Nutzung von GenKI-Werkzeugen

      Die Schlussfolgerungen, die Philippa Hardman zieht, sind folgende:

      1) AI outperforms human-only ID efforts: Across all tasks, AI-assisted work consistently produced higher-quality outputs than human-only efforts, even from experienced IDs.

      2) AI capabilities exceed perceptions: AI demonstrated abilities in areas often considered uniquely human, such as creating well-structured, contextually appropriate content and linking objectives to modules effectively.

      3) AI is an ID equaliser: Novices using AI often produced work comparable to or better than experienced IDs working alone, suggesting AI’s potential to level the playing field in the field.

      4) IDs value most what is perceived “human touch”: Despite AI’s strong performance, respondents consistently associated what they valued most with expert human input, even when these elements were actually AI-generated.

      (…)

      For expert IDs, AI will likely operate as an “ID apprentice” which responds to clearly defined instructions informed by the ID’s expertise. (…)
      For novice IDs, AI operates less like and apprentice and more like an “ID mentor”, helping them to get to grips with the fundamentals – e.g. writing objectives – more quickly than ever before.

      – – –

      Die Zukunft der Arbeit für Lerndesigner: Zusammenarbeit mit GenKI statt Delegation von Aufgaben an GenKI

      In einem zwei Wochen später publizierten Blogpost führt Hardman ihre Überlegungen weiter und formuliert ein Profil für “The Post-AI Instructional Designer”. In diesem Beitrag argumentiert sie gegen eine blosse Delegation von Aufgaben an GenKI-Werkzeuge und für eine partnerschaftliche Zusammenarbeit mit GenKI-Werkzeugen:

      According to this [“delegation” model, CM], humans and AI have distinct roles. As a result, the relationship between AI and instructional designer is one of task separation and delegation: the human does what they’re good at, and the AI does what it’s good at.
      (…)
      In practice, the typical human AI-ID dynamic currently follows the Delegation Model described by researchers, and looks something like this:
      AI’s Role in Instructional Design
      – Content Creation (…)
      – Information Retrieval & Synthesis” (…)
      – Translation (…)
      – Data Analysis (…)
      (…)
      However, according to a growing, parallel body of research (…) the most effective model of human-AI interaction (…) is more nuanced and complex than simply dividing tasks between human and AI.
      (…)
      Those who engaged with AI as a thought partner throughout their workflow, using it to generate ideas, define problems, refine approaches, develop strategies and gain confidence in their decisions gained significantly more from their collaboration with AI than those who only delegated functional tasks to AI.

      – – –

      Die Schlussfolgerung von Hardman, dass ChatGPT & Co in der Rolle von Assistenten oder Praktikanten eine wirksame Unterstützung bei nahezu allen Aufgaben von Bildungsverantwortlichen ermöglichen, deckt sich mit meiner eigenen Erfahrung (vgl. z.B. hier). Das hat Folgen für unsere Berufsrollen und die erforderlichen Kompetenzen.

      Die Weiterbildungsprogramme der SCIL Academy greifen die Herausforderungen, die sich aus den Entwicklungen im Bereich Generative KI für Verantwortliche in Bildung / Personalentwicklung ergeben, systematisch auf und. Mehr dazu, wie wir dies machen, in diesem Blogpost…

      GenKI in Bildung / Personalentwicklung: Orientierung – Befähigung – Weiterentwicklung

      by Leave a Comment

      Ein aktueller Beitrag für das Handbuch “PersonalEntwickeln” zeigt auf, wie Verantwortliche für Bildung / Personalentwicklung die Chancen und Herausforderungen, die sich mit der Verbreitung von GenKI im Arbeitsfeld verbinden, in drei Schritten angehen können:
      (1) Orientierung zu GenKI, LLMs, GPTs;
      (2) Empowerment und Befähigung der Beschäftigten;
      (3) Weiterentwicklung des eigenen Funktionsbereichs.

      – – –

      Generative KI ist vor allem aus zwei Gründen ein Thema für die Verantwortlichen in Bildung und Personalentwicklung:

      • Mit der Verbreitung von Anwendungen generativer KI im Arbeitsfeld ergeben sich neue Anforderungen im Hinblick auf das Empowerment der Beschäftigten und deren Kompetenzerfordernisse. Denn die Beschäftigten müssen in der Lage sein, mit diesen Werkzeugen bzw. Assistenzsystemen zusammenzuarbeiten (“versierte Koaktivität mit LLMs als Zukunftskompetenz”, SWK 2024).
      • Mit der Verbreitung von Anwendungen generativer KI ergeben sich neue Möglichkeiten auch für Bildung und Personalentwicklung. Konkret geht es um Potenziale für Beschleunigung und Kostenreduktion (z.B. bei der Produktion von Lerninhalten), Qualitätsverbesserung (z.B. im Hinblick auf personalisierte Lernumgebungen), Rollen und Prozesse (z.B. im Hinblick auf die Arbeitsteilung mit Agenturen).

      Um diese Chancen und Herausforderungen aufzugreifen, ist es sinnvoll, wenn Verantwortliche bzw. Organisationen im Bereich Bildung / Personalentwicklung in drei Schritten vorwärts gehen:

      1. Orientierung zu GenKI, LLMs, GPTs
        Im Vordergrund stehen hier die Folgen für Arbeit und Beschäftigung sowie für Fertigkeiten und KOmpetenzen. Bildungsverantwortliche müssen verstehen, wie diese funktionieren, wie sie nutzbringend eingesetzt werden können und welche Kompetenzen dies erfordert. Gleichzeitig müssen Sie sich mit benachbarten Funktionsbereichen abstimmen und klären, wer mit Blick auf generative KI welche Aufgaben übernimmt. Dies umfasst das Klären der Folgen für die (strategische) Personalplanung, das Bereitstellen von GenKI-Werkzeugen bzw. deren Integration in Arbeits- und Lernumgebungen, das Prüfen von Verpflichtungen aus dem EU AI Act, etc.
      2. Empowerment und Befähigung
        Die produktive Nutzung von Anwendungen generativer KI durch die Beschäftigten erfordert auf der einen Seite entsprechende Rahmenbedingungen bzw. ein Empowerment. Die Beschäftigten benötigen beispielsweise Zugriff auf die Werkzeuge und Freiräume zum Experimentieren. Auf der anderen Seite braucht es Befähigung: die Beschäftigten müssen die neuen Technologien verstehen, Nutzungsmöglichkeiten erkennen und Fertigkeiten im produktiven Umgang mit diesen Werkzeugen entwickeln.
      3. Weiterentwicklung des eigenen Funktionsbereichs
        Im Zuge der Arbeit an den Rahmenbedingungen und an der Befähigung der Beschäftigten werden ganz unvermeidlich auch die Kompetenzen und Fertigkeiten im Funktionsbereich Bildung / Personalentwicklung weiterentwickelt. Dies ermöglicht es, die mit diesen Technologien und Werkzeugen verbundenen Potenziale für die Weiterentwicklung des eigenen Funktionsbereichs nutzen zu können. Im Vordergrund stehen hier die Aspekte
        a) Beschleunigung und Kostenreduktion (z.B. bei der Inhalte-Erstellung),
        b) Qualitätsverbesserungen (z.B. im Hinblick auf personalisierte Lernumgebungen), und
        c) Anpassungen bei Portfolio, Prozessen und Personal (z.B. im Hinblick auf die Bedeutung von Inhalte-Medien vs. tutoriellen Medien in Lernprozessen).
      Abb. 1: GenKI & L&D / PE – Von der Orientierung über Empowerment & Befähigung zur Weiterentwicklung (Bildquelle: Meier 2024)

      Eine ausführlichere Darstellung hierzu (mit einer Übersicht zu Nutzungsszenarien für GenKI im Leistungsprozess Bildung / Entwicklung) sich in einem Beitrag für das Handbuch “PersonalEntwickeln” des Deutschen Wirtschaftsdienstes, der dieser Tage erschienen ist.

      – – –

      Meier, C. (2024): 8.161 – Generative KI und betriebliche Bildung / Personalentwicklung: Orientierung – Befähigung – Weiterentwicklung. In S. Laske, A. Orthey, & M. J. Schmid (Eds.), PersonalEntwickeln, 304. Ergänzungslieferung, August 2024, S. 1–30. Hürth: Wolters Kluwer Deutschland. (Zugriff über SCIL-Publikationen)

      SWK (2024). Large Language Models und ihre Potenziale im Bildungssystem. Impulspapier der Ständigen Wissenschaftlichen Kommission der Kultusministerkonferenz. www.swk-bildung.org.

      – – –

      Die Weiterbildungsprogramme der SCIL Academy befähigen Bildungsverantwortliche, die hier skizzierten Chancen und Herausforderungen erfolgreich aufzugreifen. Mehr dazu hier.

      Leitfaden der CLC zu Promptathons

      by Leave a Comment

      Promptathons scheinen sich als Format zur Entwicklung von Kompetenz in der Nutzung von ChatGPT & Co zu etablieren. Ein Leitfaden der Corporate Learning Community (Jochen Robes, Marcel Kirchner) zeigt, wie das Format funktioniert und umgesetzt werden kann.

      – – –

      Jochen Robes und Marcel Kirchner haben für die Corporate Learning Community einen Leitfaden zu Promptathons als Entwicklungsformat erstellt.

      Ein Promptathon ist eine Veranstaltung, bei der Teilnehmende in einer bestimmten Zeitspanne eine
      Vielzahl von kreativen Eingabeaufforderungen (Prompts) entwickeln, um eine bestimmte Aufgabe zu
      lösen. Der Begriff Promptathon setzt sich aus “Prompt” (Eingabeaufforderung) und dem Suffix
      “-athon” (angelehnt an Marathon) zusammen, was auf einen intensiven und oft kollaborativen
      Prozess hinweist.
      Robes / Kirchner (2024): Leitfaden Promptathon, S. 1

      Der Leitfaden basiert auf den Erfahrungen, die im Rahmen des CLC Promptathons im April 2024 gemacht wurden und umfasst 12 Seiten. Er behandelt folgende Punkte:

      • Was ist ein Promptathon?
      • Wie plant man einen Promptathon?
      • Wie führt man einen Promptathon durch?
      • Wie wertet man einen Promptathon aus?
      • Ergänzung: Das Format “Prompt Battle” und Gegenüberstellung Promptathon – Prompt-Battle

      Der Leitfaden enthält Literaturverweise sowie eine Reihe von Abbildungen, die Aspekte der Organisation und Dokumentation (z.B. digitales Whiteboard als zentrale Arbeitshilfe) gut nachvollziehbar aufzeigen.

      – – –

      CLC (Robes / Kirchner) (2024): Leitfaden zur Durchführung eines Promptathons.

      – – –

      Im Rahmen des 11. SCIL Trend- & Community Day am 20.09.2024 in St.Gallen wird Gerd Stumm (SAP), einer der Initiatoren des CLC-Promptathon 2024, das Format und die Erfahrungen ausführlich vorstellen. Wir freuen uns schon sehr darauf.

      Abschluss SCIL Entwicklungspartnerschaft 2023-24

      by Leave a Comment

      Wenn es um GenKI für Bildung bzw. Personalentwicklung geht, stehen oft das Befähigen für die Nutzung von ChatGPT & Co (Prompting) und das Erzeugen von (personalisierten) Lerninhalten im Vordergrund. Die Ergebnisse der SCIL Entwicklungspartnerschaft zeigen, dass die Relevanz von ChatGPT & Co im Funktionsbereich Bildung / Personalentwicklung weit darüber hinausreicht.

      – – –

      Mit einem weiteren Ganztages-Workshop, dieses Mal bei Basel, haben wir diese Woche die Arbeit an der SCIL Entwicklungspartnerschaft 2023-24 abgeschlossen. “Generative KI & Personalentwicklung – Befähigung für erfolgreiches Arbeiten mit smarten Assistenzsystemen” – so lautete der Titel dieser Ausgabe unseres wichtigsten Innovationsformats.

      Start Anfang November 2023

      Begonnen hatten wir den gemeinsamen Arbeitsprozess Anfang November 2023. Ausgangspunkt war die Überzeugung, dass Generative KI sowohl Potenziale als auch Herausforderungen für die Verantwortlichen in Learning & Development bzw. Personalentwicklung mit sich bringt.

      Gestartet waren wir mit einer Sammlung und Priorisierung von Themen, die wir in diesem Aufgaben- und Gestaltungsfeld sehen:

      Abb.1: Erste Auslegeordnung zum Themenfeld mit Beginn der Arbeiten (Bildquelle: SCIL)

      Orientierungsrahmen für L&D / PE

      Im Verlauf der gemeinsamen Arbeit hat sich daraus u.a. der nachfolgend abgebildete Übersicht entwickelt, die als Orientierungsrahmen für die gemeinsame Arbeit gedient hat:

      Abb. 2: Orientierungsrahmen für L&D / PE zum Thema “Generative KI” (Bildquelle: SCIL)

      Diesen Orientierungsrahmen habe ich übrigens mittlerweile in einem Beitrag für das Handbuch “PersonalEntwickeln” ausführlicher erläutert. Der Beitrag ist hier verfügbar.

      Neun Arbeitsgruppen

      Innerhalb dieses Orientierungsrahmens haben wir in den letzten neun Monaten verschiedene Themen in Arbeitsgruppen bearbeitet. Diese Themen sind in der nachfolgenden Übersicht ersichtlich. Die AGs 1 bis 4 waren von November 2023 bis März 2024 aktive; die AGs 5 bis 9 im Zeitraum zwischen März und Juli 2024.

      Abb. 3: Verortung der Arbeitsgruppen im Orientierungsrahmen (Bildquelle: SCIL)

      Breite Projekt- & Initiativlandschaft

      Bei unserem abschliessenden Arbeitstreffen haben wir die Ergebnisse der noch laufenden Arbeitsgruppen diskutiert und eine Gesamtschau auf alle Ergebnisse der Entwicklungspartnerschaft vorgenommen. Und wir haben darüber gesprochen, wie es jetzt für die einzelnen Partner in diesem Themenfeld weitergeht. Dabei ist deutlich geworden, dass das Thema “Generative KI für Bildung & Personalentwicklung” in den beteiligten Unternehmen angekommen ist und auch in den jeweiligen Projekt- und Initiativlandschaften seinen Platz gefunden hat. Hier einige Stichworte zu diesen Projekten und Initiativen:

      • Turnusmässige Überprüfung der Implikationen von (Gen)KI für die strategische Personalplanung;
      • Systematische Entwicklung von Use- und Business-Cases für GenKI (”Use Case Factory”);
      • Förderung von (Gen)AI-Literacy und entsprechende Curricula;
      • Systematisierung der Nutzungsszenarien für Führungskräfte, Integration in die Führungsausbildung und Ergänzung der Inhalte;
      • Nutzung von Entwicklungsumgebungen für CustomGPTs (z.B. MS Copilot Studio);
      • Entwicklung von Chatbots zur Entwicklungsbegleitung und Entwicklungsberatung;
      • Entwicklung von RAG-Bots zur Lernunterstützung zu beliebigen Themen;
      • Integration von Custom-GPTs für formative Assessments, für personalisiertes Tutoring, für Rollenspiele, etc. in das Leistungs- und Service-Portfolio einer Weiterbildungsakademie;

      Im Hinblick auf Generative KI und die Implikationen für Bildung / Personalentwicklung stehen häufig die Möglichkeiten zur Unterstützung beim Erzeugen von Lerninhalten im Vordergrund (z.B. Learntec 2024). Die Bandbreite der eben angeführten Projekte und Initiativen macht deutlich, dass die Relevanz von ChatGPT & Co im Funktionsbereich Bildung / Personalentwicklung weit darüber hinausreicht.

      – – –

      Mit dem Abschluss der Entwicklungspartnerschaft steht jetzt die Vorbereitung unseres 11. SCIL Trend- & Community Day am 20. September an. Dort werden wir die Kompetenzen für das erfolgreiche Arbeiten mit GenKI-Werkzeugen in den Vordergrund stellen: “Kompetenzen für die Arbeits- & Lernwelt der Zukunft: Generative KI und Implikationen für Bildung & Personalentwicklung”.

      ChatGPT&Co – Chancen (und Herausforderungen) für Bildungsverantwortliche

      by Leave a Comment

      Die Zusammenarbeit mit “smarten Maschinen” wird zum neuen Normal – auch für Bildungsverantwortliche. Beim Fortbildungstag Lehre der School of Engineering (ZHAW) habe ich verschiedene Nutzungsszenarien aufgezeigt. Grosses Potenzial sehe ich im Hinblick auf aktivierende, handlungsorientierte Lernumgebungen (Rollenspiele & Simulationen).

      – – –

      Im Rahmen des Fortbildungstags Lehre 2024 “KI und Hochschulbildung: Potenziale und Zukunftsperspektiven” der School of Engineering an der ZHAW war ich letzte Woche eingeladen, eine orientierende Einführung zu geben.

      Unsere Arbeitswelt verändert sich

      Startpunkt war für mich die Feststellung, dass sich unsere Arbeitswelt verändert. Aktuell erleben wir einen Veränderungsschub durch neue Technologien, insbesondere im Bereich Künstliche Intelligenz. In diesem Zusammenhang ist verschiedentlich von “Industrie 5.0” die Rede. In Abgrenzung zu “Industrie 4.0” (Stichwort Cyber-physische Systeme) steht hier das kollaborative Zusammenarbeiten mit smarten Maschinen wie ChatGPT&Co im Vordergrund.

      Zusammenarbeit mit “smarten Maschinen” wird zum neuen Normal

      Ein zweiter wichtiger Punkt meines Impulses war, dass das Arbeiten mit diesen smarten Assistenzsystemen zum “neuen Normal” wird. Verschiedene Umfragen zeigen eine stark zunehmende Nutzung von ChatGPT&Co – die wir auf verschiedene Weise nutzen können:

      • via Web-Browser am PC;
      • via mobile App am Smartphone;
      • als eingebettete Assistenten in Office-Applikationen (z.B. MS 365 Copilot);
      • als eingebettete Assistenten in verschiedensten (Business-)Plattformen – beispielsweise in Plattformen für die Entwicklung von Lernressourcen (Web-Based Trainings, Aninmationen oder Videos).

      Worauf bereiten wir Studierende und Beschäftigte vor? Wofür befähigen wir sie?

      Vor dem Hintergrund dieser Entwicklungen stellt sich für Bildungsverantwortliche die Frage, worauf sie Menschen (Schülerinnen und Schüler, Studierende, Berufslernende, Beschäftigte) vorbereiten sollen. Welche Kompetenzen braucht es in einer Arbeitswelt, in der uns mehr oder weniger überall “smarte Maschinen” zur Seite stehen?

      “Versierte Koaktivität mit LLM ist eine wichtige Zukunftskompetenz” – so lautet ein Fazit der Ständigen Wissenschaftlichen Kommission der Kultusministerkonferenz in einem Impulspapier von Anfang 2024. Ethan Mollick (Wharton Business School) spricht diesbezüglich von Co-Intelligence. Wir bei IBB-HSG / SCIL sprechen von “hybrider Intelligenz“.
      Übrigens: Der Frage, welche Kompetenzen es künftig braucht, werden wir im Rahmen unseres diesjährigen SCIL Trend- & Community Day im September weiter nachgehen.

      Herausforderungen und Chancen für Bildungsverantwortliche

      Mit diesen Entwicklungen verbinden sich sowohl Herausforderungen als auch Chancen für Bildungsverantwortliche:

      • Herausforderungen, weil neue bzw. veränderte Kompetenzen entwickelt werden müssen. Und auch weil etablierte Entwicklungsformate (Fokus Instruktion) bzw. Prüfungsformate (Fokus schriftliche Ausarbeitung) hinterfragt bzw. angepasst werden müssen.
      • Chancen, weil sich mit den neuen Technologien und Werkzeugen auch neue Möglichkeiten für Bildungsverantwortliche eröffnen.

      In meinem Beitrag für den Fortbildungstag Lehre habe das Spektrum der Einsatzmöglichkeiten von Werkzeugen wie ChatGPT&Co für Bildungsverantwortliche aufgezeigt und schlaglichtartig beleuchtet. Dabei habe ich drei grosse Bereiche von Nutzenpotenzialen aufgezeigt:

      • Vereinfachung / Beschleunigung,
      • Qualitätsverbesserung,
      • Veränderung von Formaten und Abläufen.
      Abb. 1: Einsatzmöglichkeiten für ChatGPT&Co / GenKI für Bildungsverantwortliche und Nutzenpotzenziale (Bildquelle: eigene Darstellung)

      Im Bereich “Qualitätsverbesserung” habe ich insbesondere auf die Möglichkeiten für die Realisierung von aktivierenden und handlungsorientierten Lernumgebungen hingewiesen. Dazu gleich mehr.

      Eine Herausforderung, die wir nur ganz kurz gestreift haben, betrifft die Frage der Überprüfung bzw. Qualitätssicherung der Ausgaben von smarten Assistenzsystemen wie ChatGPT&Co. Und eine Facette, die wir aufgrund der intensiven Diskussion um die Implikationen für Prüfungen und Prüfungsformate gar nicht mehr betrachten konnten, möchte ich hier nachreichen: neue Möglichkeiten der Umsetzung von Rollenspielen und Simulationen mit ChatGPT&Co.

      Einfacheres Entwickeln von Simulationen mit ChatGPT&Co

      Hierzu hat die Forschungsgruppe um Ethan Mollick vor kürzlich ein Forschungspapier veröffentlicht, das neue Perspektiven aufzeigt (Mollick et al. 2024). Ethan Mollick hat auf der Grundlage seiner eigenen Erfahrungen als Hochschulllehrer in der Ausbildung im Fach “Entrepreneurship” bei verschiedenen Gelegenheiten darauf hingewiesen, wie aufwändig, arbeitsintensiv und kostenintensiv das Erstellen von Simulationen ist, mit denen sich Studierende auf herausfordernde Situationen (z.B. Pitching einer Gründungsidee vor Investoren) vorbereiten können.

      Im aktuellen Forschungspapier zeigen Mollick und sein Team auf, wie sie über eine Kombination verschiedener, mit ChatGPT erstellter Agenten personalisierbare Simulationen möglich machen können. Perspektivisch, so die Autor:innen, lassen sich über diesen Weg mit sehr viel weniger Aufwand als bisher wirksame Simulationen zu beliebigen Themen entwickeln und im Studium nutzen.

      Abb. 2: Veränderungen bei der Umsetzung von Simulationen durch den Einsatz von ChatGPT&Co (Bildquelle: Mollick et al. 2024)
      Abb. 3: Simulationen mit Agenten – Screenshots und Rollen der Agenten (Bildquelle: Mollick et al. 2024)

      Die Umsetzung von aktivierenden und handlungsorientierten Lernumgebungen in Form von Rollenspielen uns Simulationen auf der Basis von ChatGPT&Co bzw. von Agenten ist aus meiner Sicht ein Bereich, wo sich grosse Potenziale für Bildungsverantwortliche eröffnen. Die Autorengruppe um Ethan Mollick formuliert in ihrem Forschungsbericht diesbezüglich folgendes Fazit:

      While acknowledging the limitations and need for rigorous testing, we propose that generative AI can significantly lower the barriers to creating effective, engaging simulations, opening up new possibilities for experiential learning at scale.
      Mollick et al. 2024

      – – –

      Mollick, E., Mollick, L., Bach, N., Ciccarelli, L. J., Przystanski, B., & Ravipinto, D. (2024). AI Agents and education: Simulated practice at scale. SSRN Electronic Journal.

      Generative KI in der Arbeitswelt: Beschäftigte befähigen, Bildungsarbeit stärken

      by Leave a Comment

      Das Motto der Jahrestagung 2024 des SPI lautete: “Einfluss von KI auf Polizeiarbeit und -ausbildung”. Mein Beitrag stand unter dem Titel “Generative KI in der Arbeitswelt: Beschäftigte befähigen, Bildungsarbeit stärken”. Ich habe dabei einen Orientierungsrahmen aufgespannt und schlaglichtartig beleuchtet.

      – – –

      Das Schweizerische Polizei-Institut (SPI) ist eine privatrechtliche Stiftung, die im Auftrag der Schweizer Polizei eine nationale Ausbildungsstrategie für die Polizeikräfte entwickelt bzw. umsetzt und dabei Inhalte, Methoden und Didaktik der Ausbildung in der Schweiz koordiniert.

      Die Ausgabe 2024 der SPI-Tagung in Olten stand unter dem Motto: “Einfluss von KI auf Polizeiarbeit und -ausbildung”. Etwa 150 Bildungsverantwortliche waren für den Tag gekommen. Als Impulsgeber eingeladen waren unter anderem Thilo Stadelmann (Leiter des Centre for Artificial Intelligence an der ZHAW), sowie Albin Muff und Micha Fuchs, Bildungsbeauftragte der Bayerischen  Bereitschaftspolizei. Mein Beitrag am Vormittag stand unter dem Titel “Generative KI in der Arbeitswelt: Beschäftigte befähigen, Bildungsarbeit stärken”. Ich habe dabei einen Orientierungsrahmen aufgespannt, der in vereinfachter Weise zentrale Phasen im Leistungsprozess einer Bildungsorganisation abbildet (ADDIE) und drei Ebenen, auf denen GenKI Potenzial für Bildungsorganisationen eröffnen kann:

      Abb. 1: Einsatzmöglichkeiten / Potenziale für GenKI in der Bildung / Personalentwicklung
      (Bildquelle: eigene Darstellung)

      Diesen Raum habe ich dann schlaglichtartig beleuchtet und Beispiele aufgezeigt.

      Im Rahmen eines weiteren Beitrags zur Veranstaltung am Nachmittag hatte ich dann noch Gelegenheit, Einblicke in die Nutzung von ChatGPT&Co in meiner persönlichen (Bildungs-)Arbeit zu geben. Im Vordergrund standen dabei folgende Aktivitäten:

      • Sichten & Verarbeiten von Informationen;
      • Erzeugen von Text & Bild;
      • Analysieren von Daten;
      • Unterstützen von selbstorganisiertem Lernen;
      • Erzeugen von Lerneinheiten.

      Hier einige ausgewählte Folien aus meinem Beitrag zum Tag:

      Arbeiten mit GenKI – Ausgabe Sommer ’24 (Ethan Mollick)

      by Leave a Comment

      Eine neue Ausgabe in der Reihe der Übersichtsartikel “Doing things with GenAI” von Ethan Mollick. Unter anderem Vergleichen der Modelle Claude 3 Opus, Gemini 1.5 und GPT-4o.

      – – –

      Review-Artikel zu ChatGPT&Co

      Ethan Mollick (Professor für Entrepreneurship an der Wharton Business School in Pennsylvania) publiziert auf seinem Blog oneusefulthing.org immer wieder einmal sehr subjektiv gehaltene Überblicksartikel dazu, wie generative KI für verschiedenste (Arbeits-)Aufgaben genutzt werden kann. Beispiele für solche Artikel sind u.a. diese:

      Die neueste Ausgabe dieses turnusmässigen Überblicks erschien vor einigen Tagen:

      Unterhaltsame Annäherung an GenKI

      Für diesen Artikel wählt Mollick einen anderen Startpunkt und zeigt zunächst einmal Möglichkeiten auf, wie man sich generativer KI eher spielerisch annähern kann. Unter anderem

      • mit einem von generativer KI erzeugten Jazz-Pop-Song auf der Basis des wissenschaftlichen Artikels zu “Attention is all you need” (der Refrain hat Ohrwurmqualität);
      • mit der Google-App “Illuminate” (noch im Experimental-Stadium), die die Inhalte von wissenschaftlichen Zeitschriftenbeiträgen in das Format eines jeweils etwa 5-minütigen Radio-Interviews transformiert. Hier ein Beispiel für den Beginn eines solchen Interviews:
        • KI-Stimme 1 (männlich): “Let’s unpack a paper entitled “Attention is all you need”. What is the core idea here?
        • KI-Stimme 2 (weiblich): “Well, the big idea in this paper is that we can build (…)
        • KI-Stimme 1 (männlich): “That is super interesting (…) What was the state of sequence models back then?”
        • …
      • mit einem Versuch, ein grosses Sprachmodell wie Claude Opus, das sich um einen konstruktiven Dialog bemüht, bewusst aus der Fassung zu bringen (“Knoblauchbrot”).

      Der Blogpost verweist unter andem auch auf sehr gelungene, einfache Einführungen in die zugrundeliegende Technologie (LLMs und GPTs). Sehr gut gefällt mir dieses im Beitrag verlinkte Video von 3Blue1Brown, das Teil einer 6-teiligen Playlist zu “Neural Networks” ist und eine sehr gut visualisierte Einführung dazu bietet, wie GPTs funktionieren (But what is a GPT? Visual intro to transformens, Chapter 5, Deep Learning). Hier zwei Screenshots zur Illustration der visuellen Qualität:

      Vergleich von Claude 3 Opus, Gemini 1.5 und GPT-4o

      Der aktuelle Post beinhaltet eine vergleichende Übersicht zu bekannten grossen Sprachmodellen und deren Besonderheiten:

      Abb. 1: Übersicht zu aktuellen LLMs (Bildquelle: Ethan Mollick, oneusefulthing.org

      In seinen Überblicksbeiträgen behandelt Ethan Mollick üblicherweise in separaten Abschnitten die Typen von Aktivitäten, die grosse LLMs unterstützen können: “Text schreiben”, “Bilder erzeugen”, “Ideen sammeln”, “Videos erstellen”, etc. Im aktuellen Beitrag stehen folgende Nutzungsmöglichkeiten im Vordergrund und werden für die Modelle von Claude, Google und OpenAI vergleichend kommentiert:

      • Im Web recherchieren (bzw. Recherchen zusammenfassen lassen);
      • Bilder erstellen;
      • Dokumente zusammenfassen oder analysieren;
      • Datensätze analysieren;
      • Bilder analysieren;
      • Video zusammenfassen

      Wie lernt man, mit LLMs / GPTs zu arbeiten?

      Wie kann man lernen, mit diesen Werkzeugen zu arbeiten? Ethan Mollick empfiehlt: “always invite AI to the table”:

      To learn to do serious stuff with AI, choose a Large Language Model and just use it to do serious stuff – get advice, summarize meetings, generate ideas, write, produce reports, fill out forms, discuss strategy – whatever you do at work, ask the AI to help. (…) I know this may not seem particularly profound, but “always invite AI to the table” is the principle (…) that people tell me had the biggest impact on them.
      Ethan Mollick, oneusefulthing.org, 06.06.2024

      – – –

      Mollick, Ethan: Doing Stuff with AI: Opinionated Midyear Edition. AI systems have gotten more capable and easier to use. oneusefulthing.org, 06.06.2024.

      Promptathon als Format zur Entwicklung von GenKI-Skills

      by Leave a Comment

      300. Folge des Education Newscast mit einem Rückblick auf den ersten Promptathon der Corporate Learning Community. Gerd Stumm wird dazu auch auf dem 11. SCIL Trend- & Community Day in St.Gallen berichten.

      – – –

      In der 300sten Folge des Education Newscast hat Thomas Jenewein (SAP) mit Mitgliedern des Orga-Teams eine Rückschau auf die erfolgreiche Veranstaltung der Corporate Learning Community gehalten. Das war sehr interessant und informativ. Mehr zum Promptathon auch hier auf den Seiten der CLC.

      – – –

      Im Rahmen des 11. SCIL Trend- & Community Day am 20.09.2024 in St.Gallen wird Gerd Stumm (SAP), einer der Initiatoren des CLC-Promptathon 2024, das Format und die Erfahrungen ausführlich vorstellen. Wir freuen uns schon sehr darauf.

      GenKI-basiertes Tutoring: Prompting oder Modell-Finetuning?

      by Leave a Comment

      Ein Forschungsbericht aus den Google Labs zur Entwicklung eines spezifisch für Tutoring trainierten grossen Sprachmodells. Die Ergebnisse zeigen eine Überlegenheit eines auf Finetuning basierenden Modells gegenüber spezifischen Prompting-Strategien. Es bleiben aber Fragen offen.

      – – –

      Kontext

      Wir explorieren bei SCIL Academy seit einiger Zeit Möglichkeiten, CustomGPTs für verschiedene Szenarien im Bereich selbstorganisiertes und selbstgesteuertes Lernen zu nutzen. Also beispielsweise

      • virtuelle Lernbuddies, mit denen man überprüfen kann, ob man sich ausreichend intensiv mit dem Skript zu einem Modul auseiander gesetzt hat;
      • virutelle Tutoren, die einen bei der Erarbeitung von Wissensthemen unterstützen;
      • virtuelle Rollenspielpartner, mit denen man kleine Rollenspiele und Simulationen durchführen kann.

      Die Prompts, die wir dafür entwickeln, sind teilweise sehr detailliert und können bis zu 8’000 Zeichen (knapp 4 Seiten) an Anweisungen umfassen.

      In einem aktuellen Bericht argumentiert eine Forschungsgruppe bei Google, dass dies letztlich nicht der richtige Weg sei. Vielmehr bräuchte es auf Tutoring spezialisierte LLMs, die durch einen finetuning-Prozess angepasst wurden. Das hat mich natürlich neugierig gemacht…

      – – –

      LearnLM-Tutor – und der Weg zu “pädagogischen” LLMs

      Der Bericht der Forschungsgruppe ist umfangreich (86 Seiten) und teilweise recht technisch. Die Entwicklungsarbeiten waren Teil eines Google-weiten internen Projekts mit Beteiligung von Personen aus Projekten wie Google DeepMind, Google Research, Google LearnX usw. Darüber hinaus waren Wissenschaftler verschiedener Hochschulen (Arizona State University, Lund University, Oxford University) eingebunden.

      Die übergeordnete Zielsetzung der Projektarbeit war nicht so sehr die Entwicklung eines “pädagogischen” LLM, sondern vielmehr das Erkunden von Wegen, wie künftige Versionen des LLM Gemini dahin gebracht werden können, dass sie auch als wirksame pädagogische Agenten genutzt werden können. (11)

      Die Begründung der Forschungsgruppe, warum sie bei ihren Arbeiten auf finetuning an Stelle von Prompting gesetzt haben, lautet wie folgt:

      Out of the box, gen AI models have a remarkable ability to understand user queries expressed in
      natural language and generate responses that synthesise relevant information from across the internet
      (used in the gen AI pre-training) to answer in a helpful and harmless way. However, by default, these
      models do not typically behave like human tutors. Such default behaviour can be modified in two ways: prompting or fine-tuning (through supervised and/or reinforcement learning). (…) Prompting is the easiest and most popular way to adjust the behaviour of gen AI.
      (…)
      The prompting approach, however, has a number of limitations. Most importantly, it requires explicit specification of what good tutoring behaviours look like in natural language. This involves enumerating what should be done and when, what should be avoided and when, all the possible exceptions to the rules, etc. This makes prompted gen AI-based tutors similar to ITSs: while gen AI is more general and faster to build (based on an existing foundation model), in the end both are limited by declarative knowledge of what the best educational practices look like. (…) However, we found that most pedagogy is too nuanced to be explained with prompting. Furthermore, prompting produced unreliable and inconsistent results, because there are limits to how much it can push the behaviour of gen AI away from the core principles ingrained into it during the pre-training and instruction tuning phases of its development.
      (…)
      While far less computationally intensive than the standard pre-training phase, fine-tuning can still be costly to perform on models with many billions of parameters (…), which explains why it is less explored in the gen AI for education literature compared to prompting. However, fine-tuning (RL in particular) may enable AI to capture some of the intuition and reasoning that humans use in effective teaching, leveraging backpropagation to search the vast space of pedagogical possibilities.
      Jurenka et al. 2024, S. 9-10

      Für die Entwicklung des LearnLM-Tutor-Modells auf der Basis von Gemini 1.0 wurden zunächst Datensätze (menschliche & synthetische) erzeugt. Die Ausführungen hierzu sind im Bericht vergleichsweise kurz. Diese Datensätze wurden dann für das Finetuning des Modells verwendet. In einem nächsten Schritt wurden dann ein Vorgehen für die Evaluation und ein Bewertungsschema entwickelt.

      Evaluationsergebnisse

      Für die Evaluation haben Lernende (Novizen und Expert:innen) umfangreiche Lerndialoge mit dem LearnLM-Tutor-Modell geführt (ca. 45 Minuten). Inhaltlich basierten diese auf YouTube Videos mit Aufzeichnungen zu Lehrveranstaltungen aus Informatik, Biologie, Chemie, Literaturwissenschaft, Geschichtswissenschaft und anderen Disziplinen. (17; 59)

      Die verschiedenen, im Verlauf der Evaluation von LearnLM-Tutor eingesetzten Tests und die daraus resultierenden Ergebnisse zeigen, dass LearnLM-Tutor (finetuning) in den meisten Aspekten dem Basismodell Gemini 1.0 (mit spezifischem Prompting für Tutoring) überlegen ist. (25) Dies betrifft beispielsweise Aspekte wie die folgenden:

      • Als wie freundlich wurde der virtuelle Tutor erlebt?
      • Wie stark fördert der virtuelle Tutor das Engagement im Lerndialog?
      • Wie gross war der subjektiv wahrgenommene Lernerfolg?

      Die folgenden Grafiken zeigen Vergleichsergebnisse, die auf automatisierten Evaluationsverfahren basieren:

      Abb. 1: Vergleich von Gemini 1.0 (mit Prompting) mit LearnML-Tutor
      (Bildquelle: Jurenka et al. 2024, S. 17-19)

      Neben den automatisierten Vergleichstests wurden in einem weiteren Evaluationsstrang Bewertungen von weiteren Personen (Generalisten sowie Pädagogik-Expert:innen) eingebunden, die die Tutoring-Dialoge zwischen Studierenden und LearnLM-Tutor analysierten. Die folgende Tabelle liefert eine Übersicht zu drei der vier Evaluationsverfahren, den verwendeten Bewertungskriterien und den erzielten Ergebnissen:

      Abb. 2: Übersicht zu quantitativen Evaluationsergebnissen (Bildquelle: Jurenka et al. 2024, S. 29)

      Risiken

      Die Forscher:innen bzw. Entwickler:innen haben sich auch mit möglichen Risiken des Einsatzes von GenKI im Tutoring-Prozess befasst. Dabei haben sie u.a. die folgenden Aspekte berücksichtigt:

      The families of risks we studied and planned mitigations for included bad model outputs, such as hallucinations, toxicity, biased outputs, and bias in the teaching level; changes in the learner’s behaviour, such as loss of autonomy, persuasion and emotional dependency; and privacy and surveillance, such as the collection of sensitive data and inferring and monitoring of emotions.
      Jurenka et al. 2024, S. 32

      Für den Aspekt “praise for harm-inducing queries” (also wertschätzende Behandlung durch das Tutor-Modell von Fragen zu potenziell gefährlichen Handlungen) wird eine quantitative Auswertung geliefert. Dabei zeigt sich, dass mit jeder Modellversion der Anteil der unpassenden Reaktionen (“failure”) deutlich reduziert werden konnte (aber eben auch nicht ausgeschlossen).

      Abb. 3: Ergebnisse für verschiedene Modell-Versionen zum Bewertungsaspekt “praise for harm-inducing queries” (Bildquelle: Jurenka et al. 2024, S. 34)

      Offene Fragen

      Nach der Lektüre des Berichts bleiben bei mir noch offene Fragen zurück:

      1. Auf Basis von genau welchem Modell wurde die Studie durchgeführt?
        • Aus dem Bericht geht (für mich) nicht klar hervor, mit welcher Version von Gemini 1.0 gearbeitet wurde. Gemini 1.0 ist in drei Versionen (Nano, Pro, Ultra) mit jeweils unterschiedlicher Leistungsfähigkeit verfügbar (Gemini Team 2023). An einer einzigen Stelle im Bericht findet sich eine Erwähnung von Gemini Pro (13).
      2. Sind für das Finetuning ausreichend spezifische Operationalisierungen von “gutem Tutoring” verwendet worden? Die Autor:innen verweisen hierzu an zwei Stellen auf entsprechende Operationalisierungen. Zum einen auf allgemeine Tutoring-Strategien wie z.B. die folgenden:
      – Do not just give away the answers. Instead, help the learner discover their own answers. Then help them take their next steps.
      – Aim to return appropriate credible resources.
      – Be a safe space to make mistakes.
      Jurenka et al. 2024, S. 7

      Zum anderen auf Strategien bzw. Prinzipien, die insbesondere für KI-Tutoren wichtig sind. Dazu gehören etwa die folgenden:

      – Stay on topic of tutoring and learning, and the particular subject being tutored.
      – Be relevant and receptive.
      – Do not repeat yourself verbatim.
      – Do not claim to be embodied or human.
      Jurenka et al. 2024, S. 55
      1. Reizt das zum Vergleich verwendete Tutor-Prompt von Mollick / Mollick (2023; mehr zu diesem Prompt hier) die Möglichkeiten für spezifisches Prompting aus? Bei diesem handelt es sich zwar um einen umfangreichen Prompt. Ich gehe aber davon aus, dass es möglich ist, deutlich spezifischere und leistungsfähigere Tutoring-Prompts zu entwickeln.
      2. Gilt die hier aufgezeigte Überlegenheit eines mit Finetuning für Tutoring angepassten Sprachmodells auch für andere Typen von LLMs, also beispielsweise OpenAIs GPT-4?

      Wenn es hierzu Stimmen aus der GenKI-Community bzw. von Spezialist:innen für Tutoring gibt, bin ich sehr daran interessiert, diese zu hören.

      – – –

      Eckpunkte zu LearnLM-Tutor

      • Basis:
        Gemini 1.0 mit finetuning für “gutes” Tutoring.
      • Trainingsdaten:
        “We curated a collection of diverse pedagogical datasets, consisting of multi-turn conversations, for the purpose of supervised fine-tuning. These datasets include human-authored multi-turn pedagogical dialogues as well as synthetic data produced by larger models. We mix these datasets in varying proportions based on their quality to optimise training outcomes. Additionally, we curated specialised single-turn datasets specifically designed to mitigate deficiencies in model behaviour.”
        (Jurenka et al. 2024, S. 54)
      • Input & Output:
        Text
      • Einsatzszenarien:
        “LearnLM-Tutor is trained for text-based AI tutoring grounded in high-quality lesson materials.”
        (Jurenka et al. 2024, S. 54)

      – – –

      Verweise

      Gemini Team (2023). Gemini: A family of highly capable multimodal models. Arxiv.org

      Jurenka, I., Kunesch, M., & McKee, K. e. a. (2024, May 14). Towards responsible development of generative AI for education: An evaluation-driven approach. googleapis.com.

      Mollick, E., & Mollick, L. (2023). Assigning AI: Seven Approaches for Students, with Prompts. SSRN.