• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar
SCIL

SCIL

swiss competence center for innovations in learning

  • Aktuelles: SCIL Blog
  • Kompetenzzentrum SCIL
  • SCIL Module
  • Mein Konto
    • Search
    • Social Media, Newsletter
HomeFundstückeDurch die zerklüftete Technikfront navigieren: Nutzungsszenarien für generative KI und Arbeitsergebnisse

Durch die zerklüftete Technikfront navigieren: Nutzungsszenarien für generative KI und Arbeitsergebnisse

18. September 2023

Eine Forschungsgruppe (u.a. HBS, MIT, BCG) hat die Lösung anspruchsvoller Aufgaben durch Berater:innen untersucht. Je nach Typ von Aufgabe führte die Arbeit mit oder ohne Unterstützung durch GPT-4 zu besseren Ergebnissen. Ein Fazit: Wir müssen unser Verständnis von generativen KI-Applikationen, deren Leistungsfähigkeit und sinnvollen Nutzungsszenarien kontinuierlich überprüfen bzw. anpassen.


Vor einigen Monaten hatten bereits Wissenschaftler des MIT über deutlich erhöhte Arbeitsproduktivität bei der Nutzung von ChatGPT für verschiedene Arbeitsaufgaben (Textproduktion) berichtet (vgl. dazu dieser Blogpost). Jetzt hat eine Arbeitsgruppe verschiedener renommierter Hochschulen (u.a. Harvard Business School und MIT Sloan School of Management) sowie des Beratungsunternehmens Boston Consulting Group (BCG) die Ergebnisse weiterführender Untersuchungen publiziert:

“Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality”.

Zwei Aspekte der Publikation sind aus meiner Sicht besonders interessant:

  • die Konzeptualisierung der Grenzregion bei den Fähigkeiten von generativen KI-Anwendungen;
  • ausgewählte Ergebnisse der durchgführten empirischen Untersuchung.

Zerklüfteter Grenzbereich der KI-Fähigkeiten

Die Autor:innen stellen in ihrem Bericht heraus, dass der Möglichkeitsraum, innerhalb dessen generative KI-Anwendungen leistungsfähig sind und uns sinnvoll unterstützen können, nicht so einfach abzugrenzen ist:

“Some unexpected tasks (like idea generation) are easy for AIs, while other tasks that seem to be easy for machines to do (like basic math) are challenges for some LLMs. This creates a “jagged Frontier,” where tasks that appear to be of similar difficulty may either be performed better or worse by humans using AI.»
Dell’Acqua et al. (2023): Navigating the jagged technological frontier. HBS (pp. 3, 17)

Im Bericht wird dieser Sachverhalt über die nachfolgende Grafik visualisiert:

Abb. 1: Die zerklüftete Grenze der Fähigkeiten von generativen KI-Anwendungen
(Bildquelle: Dell’Acqua et al. 2023, S. 27)

Anlage der empirischen Untersuchung

Für die empirische Untersuchung im Design eines Feldexperiments wurden hochqualifizierte Wissensarbeiter:innen rekrutiert: gut 750 Berater:innen des Beratungshauses BCG. Die Teilnehmenden sollten eine der beiden folgenden Aufgaben bearbeiten, die für den Arbeitsalltag von Berater:innen typisch sind, die aber unterschiedlich positioniert waren:

  • Entwicklung von neuen Produktideen
    (diese Aufgabe wurde als “innerhalb” des Leistungsvermögens von generativer KI klassifiziert)
    • Hier waren u.a. kreatives sowie analytisches Denken, Überzeugungskraft und schriftliches Ausdrucksvermögen gefordert.
  • Bearbeitung einer Strategie-Fallstudie (Analyse von Distributionskanälen eines Unternehmens und Ableitung von strategischen Empfehlungen)
    (diese Aufgabe wurde als “ausserhalb”(*) des Leistungsvermögens von generativer KI klassifiziert)
    • Hier waren u.a. die Auswertung von Interviews, von quantitativen Daten und überzeugende schriftliche Argumentation gefordert.

(*) Ich habe in der Publikation keine explizite Aussage dazu gefunden, ob die Berater:innen eine Version von GPT-4 nutzen konnten, die hochgeladene Dateien analysieren kann (GPT-4 Code Interpreter – verfügbar seit Mitte Juli 2023). Ich vermute aber, dass dies nicht der Fall war. Dieser Aspekt verdeutlicht, wie stark die Grenze dessen, welche Aufgaben generative KI unterstützen kann, aktuell im Fluss ist (vgl. auch den Hinweis auf eine der Schlussfolgerungen des Autorenteams am Ende dieses Blogposts).

Die Bearbeitung dieser Aufgaben erfolgte in drei verschiedenen Bedingungen:

  • Bearbeitung der Aufgaben OHNE Unterstützung durch generative KI (GPT-4);
  • Bearbeitung der Aufgaben MIT Unterstützung durch generative KI (GPT-4);
  • Bearbeitung der Aufgaben MIT Unterstützung durch generative KI (GPT-4) UND zusätzlich einer Arbeitshilfe zu Prompt Engineering.

Ergebnisqualität – abhängig vom Nutzungsszenario

Bei der Aufgabenstellung “Entwicklung von neuen Produktideen” (innerhalb des Leistungsvermögens von generativer KI) zeigte sich, dass die qualitativ besten Ergebnisse in der Bedingungen MIT Unterstützung durch generative KI (GPT-4) UND Arbeitshilfe zu Prompt Engineering erzielt wurden (rote Fläche bzw. rote Mittelwertslinie):

Abb. 2: Auftrag innerhalb des Leistungsvermögens von KI – Leistungsergebnisse in den verschiedenen untersuchten Bedingungen
(Bildquelle: Dell’Acqua et al. 2023, S. 28)

Bei der Aufgabenstellung “Analyse von Distributionskanälen und Ableitung von strategischen Empfehlungen” zeigte sich ein anderes Bild. Hier wurden die besten Ergebnisse in der Bedingungen OHNE Unterstützung durch generative KI (GPT-4) erreicht:

Abb. 3: Auftrag ausserhalb des Leistungsvermögens von KI – Leistungsergebnisse in den verschiedenen untersuchten Bedingungen
(Bildquelle: Dell’Acqua et al. 2023, S. 33)

Die Autor:innen interpretieren diesen Befund so, dass bei der Verwendung von generativen KI-Applikationen die Gefahr besteht, sich vorschnell auf die von der KI gelieferten (und u.U. nicht korrekten bzw. nicht sinnvollen) Ergebnisse zu verlassen.

Die Dinge sind im Fluss…

Drei Schlussfolgerungen der Autor:innen scheinen mir besonders wichtig:

(1)
“Our results show that this generation of LLMs are highly capable of causing significant increases in quality and productivity, or even completely automating some tasks, but the actual tasks that AI can do are surprising and not immediately obvious to individuals or even to producers of LLMs themselves. Because this frontier is expanding and changing, the overall results suggest that AI will have a large impact on work, one which will increase with LLM capabilities, but where the impacts occur will be uneven.” (S. 4)

(2)
“We found that the utility of AI can fluctuate over the course of a professional’s workflow, with some tasks falling inside while others fall outside of the frontier.” (S. 17)

(3)
“As the boundaries of AI capabilities continue to expand, often exponentially, it becomes incumbent upon human professionals to recalibrate their understanding of the frontier and for organizations to prepare for a new world of work combining humans and AI.” (S. 19)
Dell’Acqua et al. (2023): Navigating the jagged technological frontier. HBS Working Paper.

Kurz gesagt: die Dinge sind im Fluss und wir müssen unser Verständnis von generativen KI-Applikationen, deren Leistungsfähigkeit und sinnvollen Nutzungsszenarien kontinuierlich überprüfen bzw. anpassen.


Dell’Acqua, F., McFowland, E., Mollick, E., & et al. Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality. Harvard Business School Technology & Operations Mgt. Unit Working Paper No. 24-013, 15.09.2023.

christoph-meier

Geschrieben von
Christoph Meier

Veröffentlicht in
Fundstücke

Verschlagwortet
AI / KI

Reader Interactions

Comments

  1. Dirk Zellmer says

    25. Oktober 2023 at 13:28

    Bitte um Aufnahme in den Newsletter

    Antworten
    • Christoph Meier says

      25. Oktober 2023 at 13:36

      Sie können Sie für unseren Newsletter auf dieser Seite anmelden: https://www.scil.ch/swiss-competence-centre-for-innovations-in-learning/newsletter/

      Antworten

Schreiben Sie einen Kommentar Antworten abbrechen

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert


Primary Sidebar

Lizenz Blogbeiträge

Creative Commons Lizenzvertrag
Unsere Blogbeiträge sind lizenziert unter einer Creative Commons Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International Lizenz.

Tag Cloud

70:20:10 adaptive Lernumgebungen AI / KI Analytics (Teaching~ / Learning~) Augmentation Berufsbildung Bildungsmanagement Blended Learning Change Management Coaching Digitale Arbeitswelt Digitale Bildung Digitale Kompetenzen Digitale Transformation Digitalisierung E-Learning / TEL Entwicklungsförderliche Führung Evaluation Führungskräfteentwicklung Hochschulbildung Hochschullehre Informelle Lernformen Kompetenz- & Skills-Management Kompetenzmodell Kuratieren Learning Design Learning Professionals Lern- / Trainingsmethoden Lernende Organisation Lernen in / mit VR, AR, XR Lernkultur Lernmedien Lernplattform Lernräume mobile learning MOOC Professionelle Kompetenzentwicklung Ro/Bots for learning Social Media Strategieentwicklung und Portfolio-Management Trends Trendstudie Video-basiertes Lernen Wertbeitrag / Learning Value Management Zukunftsorientierte Kompetenzentwicklung

Neueste Beiträge

  • SCIL-Blog ist umgezogen
  • Studie “GenKI in L&D / PE” – Ergebnisse und Handlungsfelder
  • AI in L&D – Arbeitsberichte Taylor & Vinauskaite
  • Generative KI in der Bildung – Beitrag für BeLEARN / dip
  • Selbstorganisiertes Lernen mit CustomGPTs fördern, Teil 2

Neueste Kommentare

  • Christoph Meier bei Selbstorganisiertes Lernen mit CustomGPTs fördern, Teil 1
  • Michael Wechner bei Selbstorganisiertes Lernen mit CustomGPTs fördern, Teil 1
  • Sven Hallwirth bei Selbstorganisiertes Lernen mit CustomGPTs fördern, Teil 1
  • KI-Tools 3.0: NotebookLM® – MatthiasHeil.de bei Vom Blogpost zum ‘Talk radio’ mit NotebookLM
  • GenKI und Produktivität von Lehrpersonen | digithek blog bei GenKI und Produktivität von Bildungsverantwortlichen / Lehrpersonen

Archive

  • 2025
    • Dezember 2025
    • November 2025
    • Oktober 2025
    • September 2025
    • August 2025
    • Juli 2025
    • Juni 2025
    • Mai 2025
    • März 2025
    • April 2025
    • Februar 2025
    • Januar 2025
  • 2024
    • Dezember 2024
    • November 2024
    • Oktober 2024
    • September 2024
    • August 2024
    • Juli 2024
    • Juni 2024
    • Mai 2024
    • März 2024
    • April 2024
    • Februar 2024
    • Januar 2024
  • 2023
    • Dezember 2023
    • November 2023
    • Oktober 2023
    • September 2023
    • August 2023
    • Juli 2023
    • Juni 2023
    • Mai 2023
    • März 2023
    • April 2023
    • Februar 2023
    • Januar 2023
  • 2022
    • Dezember 2022
    • November 2022
    • Oktober 2022
    • September 2022
    • August 2022
    • Juli 2022
    • Juni 2022
    • Mai 2022
    • März 2022
    • April 2022
    • Februar 2022
    • Januar 2022
  • 2021
    • Dezember 2021
    • November 2021
    • Oktober 2021
    • September 2021
    • August 2021
    • Juli 2021
    • Juni 2021
    • Mai 2021
    • März 2021
    • April 2021
    • Februar 2021
    • Januar 2021
  • 2020
    • Dezember 2020
    • November 2020
    • Oktober 2020
    • September 2020
    • August 2020
    • Juli 2020
    • Juni 2020
    • Mai 2020
    • März 2020
    • April 2020
    • Februar 2020
    • Januar 2020
  • 2019
    • Dezember 2019
    • November 2019
    • Oktober 2019
    • September 2019
    • August 2019
    • Juli 2019
    • Juni 2019
    • Mai 2019
    • März 2019
    • April 2019
    • Februar 2019
    • Januar 2019
  • 2018
    • Dezember 2018
    • November 2018
    • Oktober 2018
    • September 2018
    • August 2018
    • Juli 2018
    • Juni 2018
    • Mai 2018
    • März 2018
    • April 2018
    • Februar 2018
    • Januar 2018
  • 2017
    • Dezember 2017
    • November 2017
    • Oktober 2017
    • September 2017
    • August 2017
    • Juli 2017
    • Juni 2017
    • Mai 2017
    • März 2017
    • April 2017
    • Februar 2017
    • Januar 2017
  • 2016
    • Dezember 2016
    • November 2016
    • Oktober 2016
    • September 2016
    • August 2016
    • Juli 2016
    • Juni 2016
    • Mai 2016
    • März 2016
    • April 2016
    • Februar 2016
    • Januar 2016
  • 2015
    • Dezember 2015
    • November 2015
    • Oktober 2015
    • September 2015
    • August 2015
    • Juli 2015
    • Juni 2015
    • Mai 2015
    • März 2015
    • April 2015
    • Februar 2015
    • Januar 2015
  • 2014
    • Dezember 2014
    • November 2014
    • Oktober 2014
    • September 2014
    • August 2014
    • Juli 2014
    • Juni 2014
    • Mai 2014
    • März 2014
    • April 2014
    • Februar 2014
    • Januar 2014
  • 2013
    • Dezember 2013
    • November 2013
    • Oktober 2013
    • September 2013
    • August 2013
    • Juli 2013
    • Juni 2013
    • Mai 2013
    • März 2013
    • April 2013
    • Februar 2013
    • Januar 2013
  • 2012
    • Dezember 2012
    • November 2012
    • Oktober 2012
    • September 2012
    • August 2012
    • Juli 2012
    • Juni 2012
    • Mai 2012
    • März 2012
    • April 2012
    • Februar 2012
    • Januar 2012

Kategorien

  • Allgemein
  • Aufträge, Projekte & Studien
  • Beiträge
  • Fundstücke
  • Publications
  • Stichworte
  • Vertiefung
  • Vorträge & Workshops

Meta

  • Anmelden
  • Feed der Einträge
  • Kommentar-Feed
  • WordPress.org
Suche

 

Social Media

SCIL

Universität St.Gallen

Gehe direkt zu

IBB-HSG
SCIL Newsletter
Login

Kontakt

swiss competence centre for innovations in learning (SCIL)
Universität St.Gallen (HSG)
St. Jakob-Strasse 21
9000 St. Gallen

+41712243155

scil-info@unisg.ch

Location

 

From insight to impact.

 

Akkreditierung


Mitglied von


Copyright © 2025 Universität St.Gallen, Schweiz

  • Kontakt
  • AGB
  • Datenschutz
  • Cookie-Richtlinie (EU)
Cookie-Zustimmung verwalten
Um Ihnen ein optimales Erlebnis zu bieten, verwenden wir Technologien wie Cookies, um Geräteinformationen zu speichern bzw. darauf zuzugreifen. Wenn Sie diesen Technologien zustimmen, können wir Daten wie das Surfverhalten oder eindeutige IDs auf dieser Website verarbeiten. Wenn Sie Ihre Zustimmung nicht erteilen oder zurückziehen, können bestimmte Merkmale und Funktionen beeinträchtigt werden.
Funktional Immer aktiv
Der Zugriff oder die technische Speicherung ist unbedingt für den rechtmäßigen Zweck erforderlich, um die Nutzung eines bestimmten Dienstes zu ermöglichen, der vom Abonnenten oder Nutzer ausdrücklich angefordert wurde, oder für den alleinigen Zweck der Übertragung einer Nachricht über ein elektronisches Kommunikationsnetz.
Vorlieben
Die technische Speicherung oder der Zugriff ist für den rechtmäßigen Zweck der Speicherung von Voreinstellungen erforderlich, die nicht vom Abonnenten oder Nutzer beantragt wurden.
Statistiken
Die technische Speicherung oder der Zugriff, der ausschließlich zu statistischen Zwecken erfolgt. Die technische Speicherung oder der Zugriff, der ausschließlich zu anonymen statistischen Zwecken verwendet wird. Ohne eine Aufforderung, die freiwillige Zustimmung Ihres Internetdienstanbieters oder zusätzliche Aufzeichnungen von Dritten können die zu diesem Zweck gespeicherten oder abgerufenen Informationen allein in der Regel nicht zu Ihrer Identifizierung verwendet werden.
Marketing
Die technische Speicherung oder der Zugriff ist erforderlich, um Nutzerprofile zu erstellen, um Werbung zu versenden oder um den Nutzer auf einer Website oder über mehrere Websites hinweg zu ähnlichen Marketingzwecken zu verfolgen.
Optionen verwalten Dienste verwalten Verwalten Sie {vendor_count} Lieferanten Lesen Sie mehr über diese Zwecke
Voreinstellungen anzeigen
{title} {title} {title}