Eine Studie von Wissenschaftlern am MIT untersucht die Folgen des Einsatzes von ChatGPT als Assistenzsystem am (Büro-)Arbeitsplatz (Marketing, HR, Datenanalyse, etc.). Die Ergebnisse verweisen auf schnellere und bessere Arbeitsergebnisse sowie eine höhere Zufriedenheit mit der Arbeitssituation.
Wie wird sich der Einsatz von ChatGPT am Arbeitsplatz auswirken?
Was sind die Folgen der Nutzung von KI-basierten Assistenzsystemen wie ChatGPT am Arbeitsplatz – beispielsweise bei Aufgaben im Bereich Marketing oder HR? Werden Aufgaben schneller erledigt? Begnügen sich die Beschäftigten mit den Ergebnissen / Texten, die sie aus Werkzeugen wie ChatGPT herausziehen können oder setzen sie Zeit und Energie ein, um diese weiter zu verbessern? Wer profitiert wie stark von den neuen Hilfsmitteln? Wie wirkt sich die Nutzung von ChatGPT auf die Arbeitszufriedenheit aus? Und wie auf die Einschätzung der Selbstwirksamkeit, d.h., die Fähigkeit, anspruchsvolle Situationen aus eigener Kraft erfolgreich bewältigen zu können?
Dies sind einige der Fragen, denen Shakked Noy und Whitney Zhang, zwei Nachwuchsforscher am Massachusetts Institute of Technology (MIT), nachgegangen sind.
Studie mit anspruchsvollem Design
Noy / Zhang haben dazu 444 Beschäftigte mit College-Abschluss dafür gewonnen, in zwei Runden verschiedene berufsspezifische Szenarien zu bearbeiten und dabei in einem Zeitraum von jeweils ca. 20-30 Minuten Texte zu erstellen:
Briefly, the marketers in our experiment write a press release about a hypothetical product; grantwriters write a cover letter for a grant application; managers and HR professionals write a long company-wide email on a sensitive topic; data analysts write an analysis plan in code-notebook format; and consultants write a short report based on three provided sources. Each task is designed to take 20-30 minutes and involve writing about 400 words.
Noy / Zhang (n.d.): Online Appendix, S. 16
Über ein anspruchsvolles Untersuchungsdesign wurden sowohl Vergleiche zwischen Experimental- und Kontrollgruppen, als auch Vergleiche innerhalb jeder dieser Gruppen möglich. Die Ergebnisse haben Noy / Zhang in einem Arbeitspapier von Anfang März 2023 publiziert: “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence”.
Zentrale Ergebnisse
Einige der zentralen Ergebnisse der Untersuchung sind die folgenden:
- Mit der Nutzung von ChatGPT reduziert sich die für das Erstellen der Texte insgesamt erforderliche Arbeitszeit deutlich (Abb. 1).
- Dies gilt insbesondere für die Arbeitsphasen “Brainstorming” und “Drafting”. Für die Phase “Editing” resultiert dagegen eine Verlängerung (Abb. 2, unten).
- Die Qualität der Arbeitsergebnisse verbessert sich deutlich.
- Dies gilt gleichermassen für die Aspekte Formulierungen, Inhalte und Originalität.
- Über die beiden Arbeitsaufträge hinweg zeigen sich stabile Unterschiede zwischen den beiden Aufträgen, die jede Person bearbeitet. Personen, die gute Bewertungen beim ersten Auftrag erzielen, erhalten eine solche in der Regel auch für den zweiten Auftrag. Das Gleiche gilt für Personen, die schlechtere Bewertungen erzielen. Mit der Nutzung von ChatGPT reduzieren sich allerdings die Differenzen in der Qualität der Arbeitsergebnisse zwischen dem ersten und dem zweiten Auftrag. Pointiert formuliert: Unterschiede in der Leistungsfähigkeit (Qualität der Ergebnisse) zwischen Beschäftigten werden reduziert (Abb. 3).
- Die Versuchspersonen, die ChatGPT eingesetzt haben, zeigten sich zufriedener mit der Arbeitssituation als die Personen in der Kontrollgruppe.
- Auswirkungen auf die Wahrnehmung von Selbstwirksamkeit (die Fähigkeit, anspruchsvolle Situationen aus eigener Kraft erfolgreich bewältigen zu können) zeigen sich ebenfalls, aber weniger deutlich.
Die folgenden Abbildungen dokumentieren diese Ergebnisse:
Die Nielsen Norman Group (NN/g) hat ausgewählte Daten von Noy / Zhang neu ausgewertet, um so zu einer eingängigen und verdichteten Ergebnisvisualisierung im Hinblick auf die für einzelne Teilaufgaben verwendete Arbeitszeit und die insgesamt eingesetzte Arbeitszeit zu gelangen. Hier die von NN/g erstellte Visualisierung auf Basis der Daten von Noy / Zhang:
Fazit
Noy / Zhang fassen die von ihnen in dieser Untersuchung erzielten Ergebnisse wie folgt zusammen:
College-educated professionals performing mid-level professional writing tasks experience substantial increases in productivity when given access to ChatGPT. The generative writing tool increases the output quality of low-ability workers while reducing their time spent, and it allows high-ability workers to maintain their quality standards while becoming significantly faster. At the aggregate level, ChatGPT substantially compresses the productivity distribution, reducing inequality. It is also already being used by many workers in their real jobs. The experimental evidence suggests that ChatGPT largely substitutes for worker effort rather than complementing workers’ skills, potentially causing a decrease in demand for workers, with adverse distributional effects as capital owners gain at the expense of workers.
Noy / Zhang (2023): Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. MIT Working Paper, S. 11-12.
Nielsen Norman Group (2023): ChatGPT Lifts Business Professionals’ Productivity and Improves Work Quality. https://www.nngroup.com.
Noy, S., & Zhang, W. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. https://economics.mit.edu/.
Noy, S. & Zhang, W. (n.d.). Online Appendix for: Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. https://economics.mit.edu/.
