Im Rahmen einer aktuelle Studie aus den USA wurden Lehrpersonen über ein Schuljahr hinweg bei der Nutzung von GenKI-Werkzeugen begleitet. Dabei kristallisierten sich verschiedene Typen von Nutzern heraus. Produktivitätsgewinne nahmen die Lehrpersonen wahr, die GenKI AUCH für das Erzeugen und Weiterentwickeln von Ideen zur Unterrichtsgestaltung nutzten – und nicht NUR für das Erzeugen von Unterrichtsmaterialien.
– – –
Studien zur Arbeitsproduktivität
In der Folge der Veröffentlichung von leistungsfähigen Chatbots wie OpenAIs ChatGPT (GPT-3.5, 30.11.2022) und GPT-4 (14.03.2023) wurden an vielen Orten empirische Studien dazu durchgeführt, wie sich die Nutzung dieser Werkzeuge auf die Arbeitsproduktivität auswirkt. Eine erste, gross angelegte (444 Beschäftigte) und breit bekannt gewordene Studie wurde von Wissenschaftlern am MIT publiziert (Noy & Zhang, 2023). Die Studie kam zu dem Schluss, dass die Nutzung solcher Assistenzsysteme bei Aufgaben der Texterstellung (Email, Pressetext, Förderantrag, Analyse-Bericht) sowohl zu Zeitersparnis (ca. 30%) als auch zu Qualitätsverbesserungen führt. (Mehr dazu in diesem Blogpost)
Vor wenigen Tagen wurde eine weitere gross angelegte Studie einer Forschungsgruppe (Princeton, MIT, Microsoft, Wharton) publiziert, die die Auswirkungen der Nutzung von GenKI (GitHub Copilot) auf die Produktivität von Software-Entwicklern untersucht (Cui et al. 2024). An der Studie waren insgesamt mehr als 5’000 Software-Entwickler:innen beteiligt. Auch hier wurden deutliche Produktivitätsgewinne bei der Nutzung des Assistenzsystems GitHub Copilot konstatiert. Allerdings wurde auch festgestellt, dass die Produktivitätsgewinne ungleich verteilt sind:
- jüngere Entwickler:innen bzw. solche, die weniger lang in diesem Beruf tätig sind (“short tenure”) profitieren deutlich stärker vom Assistensystem GitHub Copilot,
- ältere Entwickler:innen bzw. solche, die schon länger in diesem Beruf tätig sind (“long tenure”) profitieren deutlich weniger stark.
Und was ist mit Learning Professionals?
Vergleichbare Studien aus dem Bildungskontext waren mir bisher nicht bekannt. Über Barbara Geyer bin ich jetzt auf eine explorative Studie aufmerksam geworden, die Lehrpersonen in den Blick nimmt (Keppler et al. 2024). Die Studienautor:innen haben im Rahmen der Studie 24 Lehrpersonen auf der Stufe K12 an verschiedenen Schulen im mittleren Westen der USA über ein Schuljahr hinweg mit Interviews, Beobachtungen und standardisierten Befragungen begleitet.
Die Studie fokussierte das “backward planning” der Lehrpersonen, also die Erarbeitung von Unterrichtsplänen und dazu passenden Unterrichtsmaterialien abgeleitet aus den vordefinierten Lernzielen. Im Verlauf des Schuljahres kristallisierten sich für die Autor:innen drei Typen von Lehrpersonen heraus:
- Lehrpersonen, die GenKI sowohl für “Input” (z.B. Ideen für Unterrichstplanungen und Anregungen zu deren Weiterentwicklung) als auch für “Output” (z.B. das Erstellen von Lernmaterialien wie Quizzes oder Arbeitsblätter) nutzten;
- Lehrpersonen, die GenKI nur für “Output” nutzten;
- Lehrpersonen, die GenKI gar nicht nutzten.
Die nachfolgende Abbildung 2 kontrastiert die Verwendungsweisen der beiden zuerst genannten Typen von Lehrpersonen.
Die Analysen zeigen, dass die Lehrpersonen, die GenKI SOWOHL für Input (Ideen, Anregungen zur Weiterentwicklung) als auch für Output (Lernmaterialien) nutzen, erleben sich dabei als produktiver. Demgegenüber erleben sich die Lehrpersonen, die GenKI NUR für Output nutzen, nicht als produktiver.
Die Autor:innen fassen ihre Ergebnisse wie folgt zusammen:
In fall 2023, all teachers were novice users or had never tried generative AI. By spring 2024, the teachers separate into three distinct groups: (1) those who seek generative AI input (i.e., thoughts or ideas about learning plans) and output (i.e., quizzes, worksheets), (2) those who only seek generative AI outputs, and (3) those not using generative AI. The teachers in the first group—but not the second group—report productivity gains in terms of workload and work quality.
Und sie begründen dies an anderer Stelle wie folgt:
Teachers seeking input from generative AI on their plans use it to come up with alternative ideas, not to make an entire plan for their course without incorporating their own expertise and input. (…) A consequence of generative AI’s input is that teachers can feel more confident.
(…)
Teachers using generative AI to create outputs are asking generative AI to make materials for them. Yet, in our data, teachers explain that they almost always still do a lot of material creation work themselves modifying or improving upon what generative AI creates.
– – –
Cui, Z., Demirer, M., Jaffe, S., Musloff, L., Peng, S., & Salz, T. (2024). The Effects of Generative AI on High Skilled Work: Evidence from Three Field Experiments with Software Developers. SSRN Electronic Journal. (September).
Keppler, S., Sinchaisri, W., & Snyder, C. (2024). Backwards planning with Generative AI: Case study evidence from US K12 teachers. SSRN Electronic Journal.
Noy, S., & Zhang, W. (2023). Experimental evidence on the productivity effects of generative artificial intelligence. Science, 381(6654), 187–192.
[…] (via quisquilia und scil.ch): […]