Durch die zerklüftete Technikfront navigieren: Nutzungsszenarien für generative KI und Arbeitsergebnisse

Eine Forschungsgruppe (u.a. HBS, MIT, BCG) hat die Lösung anspruchsvoller Aufgaben durch Berater:innen untersucht. Je nach Typ von Aufgabe führte die Arbeit mit oder ohne Unterstützung durch GPT-4 zu besseren Ergebnissen. Ein Fazit: Wir müssen unser Verständnis von generativen KI-Applikationen, deren Leistungsfähigkeit und sinnvollen Nutzungsszenarien kontinuierlich überprüfen bzw. anpassen.

Vor einigen Monaten hatten bereits Wissenschaftler des MIT über deutlich erhöhte Arbeitsproduktivität bei der Nutzung von ChatGPT für verschiedene Arbeitsaufgaben (Textproduktion) berichtet (vgl. dazu dieser Blogpost). Jetzt hat eine Arbeitsgruppe verschiedener renommierter Hochschulen (u.a. Harvard Business School und MIT Sloan School of Management) sowie des Beratungsunternehmens Boston Consulting Group (BCG) die Ergebnisse weiterführender Untersuchungen publiziert:

“Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality”.

Zwei Aspekte der Publikation sind aus meiner Sicht besonders interessant:

• die Konzeptualisierung der Grenzregion bei den Fähigkeiten von generativen KI-Anwendungen;
• ausgewählte Ergebnisse der durchgführten empirischen Untersuchung.

Zerklüfteter Grenzbereich der KI-Fähigkeiten

Die Autor:innen stellen in ihrem Bericht heraus, dass der Möglichkeitsraum, innerhalb dessen generative KI-Anwendungen leistungsfähig sind und uns sinnvoll unterstützen können, nicht so einfach abzugrenzen ist:

“Some unexpected tasks (like idea generation) are easy for AIs, while other tasks that seem to be easy for machines to do (like basic math) are challenges for some LLMs. This creates a “jagged Frontier,” where tasks that appear to be of similar difficulty may either be performed better or worse by humans using AI.»

Im Bericht wird dieser Sachverhalt über die nachfolgende Grafik visualisiert:

Anlage der empirischen Untersuchung

Für die empirische Untersuchung im Design eines Feldexperiments wurden hochqualifizierte Wissensarbeiter:innen rekrutiert: gut 750 Berater:innen des Beratungshauses BCG. Die Teilnehmenden sollten eine der beiden folgenden Aufgaben bearbeiten, die für den Arbeitsalltag von Berater:innen typisch sind, die aber unterschiedlich positioniert waren:

• Entwicklung von neuen Produktideen
  (diese Aufgabe wurde als “innerhalb” des Leistungsvermögens von generativer KI klassifiziert)
  • Hier waren u.a. kreatives sowie analytisches Denken, Überzeugungskraft und schriftliches Ausdrucksvermögen gefordert.
• Bearbeitung einer Strategie-Fallstudie (Analyse von Distributionskanälen eines Unternehmens und Ableitung von strategischen Empfehlungen)
  (diese Aufgabe wurde als “ausserhalb”(*) des Leistungsvermögens von generativer KI klassifiziert)
  • Hier waren u.a. die Auswertung von Interviews, von quantitativen Daten und überzeugende schriftliche Argumentation gefordert.

(*) Ich habe in der Publikation keine explizite Aussage dazu gefunden, ob die Berater:innen eine Version von GPT-4 nutzen konnten, die hochgeladene Dateien analysieren kann (GPT-4 Code Interpreter – verfügbar seit Mitte Juli 2023). Ich vermute aber, dass dies nicht der Fall war. Dieser Aspekt verdeutlicht, wie stark die Grenze dessen, welche Aufgaben generative KI unterstützen kann, aktuell im Fluss ist (vgl. auch den Hinweis auf eine der Schlussfolgerungen des Autorenteams am Ende dieses Blogposts).

Die Bearbeitung dieser Aufgaben erfolgte in drei verschiedenen Bedingungen:

• Bearbeitung der Aufgaben OHNE Unterstützung durch generative KI (GPT-4);
• Bearbeitung der Aufgaben MIT Unterstützung durch generative KI (GPT-4);
• Bearbeitung der Aufgaben MIT Unterstützung durch generative KI (GPT-4) UND zusätzlich einer Arbeitshilfe zu Prompt Engineering.

Ergebnisqualität – abhängig vom Nutzungsszenario

Bei der Aufgabenstellung “Entwicklung von neuen Produktideen” (innerhalb des Leistungsvermögens von generativer KI) zeigte sich, dass die qualitativ besten Ergebnisse in der Bedingungen MIT Unterstützung durch generative KI (GPT-4) UND Arbeitshilfe zu Prompt Engineering erzielt wurden (rote Fläche bzw. rote Mittelwertslinie):

Bei der Aufgabenstellung “Analyse von Distributionskanälen und Ableitung von strategischen Empfehlungen” zeigte sich ein anderes Bild. Hier wurden die besten Ergebnisse in der Bedingungen OHNE Unterstützung durch generative KI (GPT-4) erreicht:

Die Autor:innen interpretieren diesen Befund so, dass bei der Verwendung von generativen KI-Applikationen die Gefahr besteht, sich vorschnell auf die von der KI gelieferten (und u.U. nicht korrekten bzw. nicht sinnvollen) Ergebnisse zu verlassen.

Die Dinge sind im Fluss…

Drei Schlussfolgerungen der Autor:innen scheinen mir besonders wichtig:

(1)
“Our results show that this generation of LLMs are highly capable of causing significant increases in quality and productivity, or even completely automating some tasks, but the actual tasks that AI can do are surprising and not immediately obvious to individuals or even to producers of LLMs themselves. Because this frontier is expanding and changing, the overall results suggest that AI will have a large impact on work, one which will increase with LLM capabilities, but where the impacts occur will be uneven.” (S. 4)

(2)
“We found that the utility of AI can fluctuate over the course of a professional’s workflow, with some tasks falling inside while others fall outside of the frontier.” (S. 17)

(3)
“As the boundaries of AI capabilities continue to expand, often exponentially, it becomes incumbent upon human professionals to recalibrate their understanding of the frontier and for organizations to prepare for a new world of work combining humans and AI.” (S. 19)

Kurz gesagt: die Dinge sind im Fluss und wir müssen unser Verständnis von generativen KI-Applikationen, deren Leistungsfähigkeit und sinnvollen Nutzungsszenarien kontinuierlich überprüfen bzw. anpassen.

Dell’Acqua, F., McFowland, E., Mollick, E., & et al. Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Technology & Operations Mgt. Unit Working Paper No. 24-013, 15.09.2023.