Philippa Hardman ist der Frage nachgegangen, wie gut die Arbeitsergebnisse sind, wenn Lerndesigner (mit viel oder wenig Erfahrung) GenKI zur Unterstützung heranziehen. Sie zeigt die Ergebnisse ihres “crowsourcing” Experiments auf und sie formuliert ein Zukunftsbild für die Zusammenarbeit von Lerndesignern und GenKI-Werkzeugen.
– – –
Ein Experiment…
Dr. Philippa Hardman ist eine Expertin für Lerndesign und Autorin eines Rahmenmodells für Lerndesign (DOMS: Discovery, Objectives, Mapping, Storyboarding). Hardman interessiert sich dafür, inwieweit GenKI bereits die Rolle eines Lerndesigners bzw. einer Lerndesignerin einnehmen kann. Die Rolle “Lerndesigner:in” operationalisiert sie dabei über drei typische Aufgaben bzw. Aktivitäten:
- Lernziele formulieren
- Lerndesign (“instructional strategy”) auswählen
- Kursinhalte formulieren (“course outline”)
Um ihrer Frage nachzugehen, hat sie ein “crowdsource experiment” durchgeführt:
- Sie hat drei Kolleg:innen darum gebeten, jeweils drei Aufgaben zu bearbeiten:
- Lernziele formulieren;
- Lehrstrategie formulieren;
- Inhalte eines Kurses formulieren.
Design a course which equips entrepreneurs and marketing professionals with the practical skills and strategies so that they can effectively market and grow innovative products and services in dynamic environments.
- Sie hat drei Bedingungen geschaffen:
- Bearbeitung durch Lerndesigner:in mit viel Erfahrung (“experienced instructional designer”) OHNE Unterstützung durch GenKI-Werkzeuge;
- Bearbeitung durch durch Lerndesigner:in mit wenig Erfahrung (“non-expert instructional designer”) MIT Unterstützung durch GenKI-Werkzeuge (ChatGPT-4o);
- Bearbeitung durch Lerndesigner:in mit viel Erfahrung (“experienced instructional designer”) MIT Unterstützung durch GenKI-Werkzeuge (ChatGPT-4o).
- Sie hat Personen aus ihrem Netzwerk darum gebeten, die daraus resultierenden Arbeitsergebnisse zu bewerten.
Ihr Vorgehen und die Ergebnisse hat sie in verschiedenen Blogposts erläutert bzw. dokumentiert:
- Crowdsourced Experiment
https://drphilippahardman.substack.com/p/how-close-is-ai-to-taking-over-the - Ergebnisse Teil1: Lernzielformulierungen
https://drphilippahardman.substack.com/p/how-close-is-ai-to-replacing-instructional - Ergebnisse Teil2: Instruktionsdesign
https://drphilippahardman.substack.com/p/how-close-is-ai-to-replacing-instructional-e6c - Ergebnisse Teil3: Kursinhalte (“course outline”)
https://drphilippahardman.substack.com/p/how-close-is-ai-to-replacing-instructional-1ba
…und die Ergebnisse
Knapp 200 Personen haben sich an dem Experiment beteiligt. Die genaue Zahl der Rückmeldungen bzw. Bewertungen ist aus den Blogposts nicht ersichtlich. Auch unterscheidet sich die Weise, wie Hardman die Ergebnisse zu den drei Teilaspekten verdichtet. Ich habe daher die in den Blogposts publizierten Daten neu aufbereitet und in einer Grafik zusammengefasst. Zentrale Ergebnisse sind
- die Arbeitsergebnisse von wenig erfahrenen Lerndesignern MIT Unterstützung durch GenKI-Werkzeuge werden besser bewertet als die Arbeitsergebnisse von erfahrenen Lerndesignern OHNE Unterstützung durch GenKI-Werkzeuge;
- am besten bewertet werden die Arbeitsergebnisse von erfahrenen Lerndesignern MIT Unterstützung durch GenKI-Werkzeuge:
(Bildquelle: eigene Ergebnisvisualisierung auf Basis der Daten in den Blogbeiträgen von Ph. Hardman)
Legende:
“exp. ID no AI” = Lerndesigner:in mit viel Erfahrung OHNE Zugriff auf GenKI
“nov. ID with AI” = Lerndesigner:in mit wenig Erfahrung MIT Zugriff auf GenKI”
“exp. ID with AI” = Lerndesigner:in mit viel Erfahrung MIT Zugriff auf GenKI”
Hinweis:
Für den Aspekt “Instructional Strategy” hat Hardman nur die Daten zur Bedingung “exp. ID with AI” publiziert.
Eine ausführlichere Darstellung und Diskussion der Ergebnisse sowie der Bewertungen der Arbeitsergebnisse durch die “crowd” finden sich in den jeweiligen Blogposts (vgl. die Links oben).
Höhere Ergebnisqualität bei Nutzung von GenKI-Werkzeugen
Die Schlussfolgerungen, die Philippa Hardman zieht, sind folgende:
1) AI outperforms human-only ID efforts: Across all tasks, AI-assisted work consistently produced higher-quality outputs than human-only efforts, even from experienced IDs.
2) AI capabilities exceed perceptions: AI demonstrated abilities in areas often considered uniquely human, such as creating well-structured, contextually appropriate content and linking objectives to modules effectively.
3) AI is an ID equaliser: Novices using AI often produced work comparable to or better than experienced IDs working alone, suggesting AI’s potential to level the playing field in the field.
4) IDs value most what is perceived “human touch”: Despite AI’s strong performance, respondents consistently associated what they valued most with expert human input, even when these elements were actually AI-generated.
(…)
For expert IDs, AI will likely operate as an “ID apprentice” which responds to clearly defined instructions informed by the ID’s expertise. (…)
For novice IDs, AI operates less like and apprentice and more like an “ID mentor”, helping them to get to grips with the fundamentals – e.g. writing objectives – more quickly than ever before.
– – –
Die Zukunft der Arbeit für Lerndesigner: Zusammenarbeit mit GenKI statt Delegation von Aufgaben an GenKI
In einem zwei Wochen später publizierten Blogpost führt Hardman ihre Überlegungen weiter und formuliert ein Profil für “The Post-AI Instructional Designer”. In diesem Beitrag argumentiert sie gegen eine blosse Delegation von Aufgaben an GenKI-Werkzeuge und für eine partnerschaftliche Zusammenarbeit mit GenKI-Werkzeugen:
According to this [“delegation” model, CM], humans and AI have distinct roles. As a result, the relationship between AI and instructional designer is one of task separation and delegation: the human does what they’re good at, and the AI does what it’s good at.
(…)
In practice, the typical human AI-ID dynamic currently follows the Delegation Model described by researchers, and looks something like this:
AI’s Role in Instructional Design
– Content Creation (…)
– Information Retrieval & Synthesis” (…)
– Translation (…)
– Data Analysis (…)
(…)
However, according to a growing, parallel body of research (…) the most effective model of human-AI interaction (…) is more nuanced and complex than simply dividing tasks between human and AI.
(…)
Those who engaged with AI as a thought partner throughout their workflow, using it to generate ideas, define problems, refine approaches, develop strategies and gain confidence in their decisions gained significantly more from their collaboration with AI than those who only delegated functional tasks to AI.
– – –
Die Schlussfolgerung von Hardman, dass ChatGPT & Co in der Rolle von Assistenten oder Praktikanten eine wirksame Unterstützung bei nahezu allen Aufgaben von Bildungsverantwortlichen ermöglichen, deckt sich mit meiner eigenen Erfahrung (vgl. z.B. hier). Das hat Folgen für unsere Berufsrollen und die erforderlichen Kompetenzen.
Die Weiterbildungsprogramme der SCIL Academy greifen die Herausforderungen, die sich aus den Entwicklungen im Bereich Generative KI für Verantwortliche in Bildung / Personalentwicklung ergeben, systematisch auf und. Mehr dazu, wie wir dies machen, in diesem Blogpost…