Arbeiten mit smarten Assistenzsystemen (2): GPT-4 als Datenanalyse-Assistent

GPT-4 kann Bildungsverantwortliche bei Datenanalysen (Umfragen, Learning Analytics) unterstützen. Wichtig sind sorgfältig formulierte Prompts, da diese von GPT-4 in Python-Code umgesetzt werden, der dann Datenanalyse und Ergebnisvisualisierung regelbasiert steuert.

– – –

Nutzungsszenarien für GenKI im Bereich L&D

Aktuelle Studien zeigen auf, welche Nutzungsszenarien für Anwendungen generativer KI im Bereich L&D / Personalentwicklung aktuell im Vordergrund stehen (vgl. Taylor / Vinauskaite 2024). Ein Szenario, das dort genannt wird, zu dem (mir) bisher aber keine Erfahrungsberichte vorliegen, ist die Unterstützung von Datenanalysen.

Im Rahmen der SCIL Entwicklungspartnerschaft 2023-24 arbeiten wir mit unseren Partnern am Thema «Befähigung für erfolgreiche Zusammenarbeit mit Assistenzsystemen auf Basis generativer KI». Dazu haben wir u.a. eine kurze Umfrage (Pulsmessung) unter den Beschäftigten der beteiligten Partner durchgeführt.

Ein Ziel der SCIL Entwicklungspartnerschaft besteht darin, ChatGPT&Co auch in der eigenen Arbeit zu erproben. Und dies haben wir dann auch bei der Auswertung der Pulsmessung zur Nutzung generativer KI umgesetzt.

Unterstützung von Datenanalysen

Bildungsverantwortliche sind für Aufgaben im Bereich Datenanalysen und Learning Analytics nicht immer gut ausgebildet (vgl. Garavan et al. 2020). Hier eröffnen sich durch smarte Assistenzsysteme wie z.B. GPT-4 neue Möglichkeiten. So ist GPT-4, wie Cheng & Bing (2023) zeigen, auch im Hinblick auf Datenanalysen sehr leistungsfähig:

Vorgehen

• Bei der Auswertung der Umfage / Pulsmessung wurden zunächst die verschiedenen Datensätze zusammengeführt, angeglichen und bereinigt. Zudem wurde ein Codebook erstellt. Dies geschah manuell. Inwiefern auch diese Schritte durch GPT-4 unterstützt werden können, wurde nicht erprobt.
• Anschliessend erfolgte die Konfiguration eines CustomGPT (“Assistant for data analysis 02 En”). In dieses CustomGPT wurden dann der Datensatz und das Codebook hochgeladen.
• Für die einzelnen Auswertungen wurden jeweils spezifische Prompts formuliert. Dabei konnten viele Elemente (Textbausteine beispielsweise zur Formatierung der Visualisierungen) wiederverwendet werden.
  Eine sorgfältige Formulierung dieser Prompts ist insofern wichtig, als diese von GPT-4 in Python code umgesetzt werden, der dann wiederum die regelbasierte Bearbeitung der hinterlegten Dateien steuert. Wird die im Prompt abgebildete Intention vom Sprachmodell nicht richtig interpretiert, entsteht ein Python Code, der die Intention nicht adäquat abbildet. Die Auswertung läuft dann unter Umständen in eine falsche Richtung.
• GPT-4 lieferte auf Grundlage der Prompts jeweils Ergebnisvisualisierungen.
• Diese Visualisierungen bzw. die dort eingetragenen Ergebniswerte wurden auf verschiedene Weise (punktuell) überprüft.

Erfahrungen

Das Vorgehen und die Erfahrungen in der Arbeit mit GPT-4 als Analyseassistent bei der Auswertung einer Umfrage zum Thema “Arbeiten mit GenKI” sind im SCIL Arbeitsbericht 31 ausführlich dokumentiert (dieser Bericht kann hier kostenfrei geladen werden). Erläutert werden das Vorgehen, die Konfiguration eines CustomGPT, das Prompting, die Ergebnisvisualisierungen, die Auswertung offener Kommentare bzw. die Durchführung einer Sentiment-Analyse und schliesslich das Vorgehen bei der Überprüfng der Ergebnisse.

Fazit

GPT-4 kann Bildungsverantwortliche bei Datenanalysen sinnvoll unterstützen. GPT-4 kann insbesondere Analysemöglichkeiten aufzeigen, ein Vorgehen vorschlagen, Berechnungen durchführen und
Visualisierungen erstellen. Sinnvoll ist dabei folgende Arbeitsteilung:

– – –

Cheng, L., Li, X., & Bing, L. (2023). Is GPT-4 a good data analyst? ArXiv.

Garavan, Thomas N.; Heneghan, Sinead; O’Brien, Fergal; Gubbins, Claire; Lai, Yanquing; Carbery, Ronan et al. (2020): L&D professionals in organizations. Much ambition, unfilled promise. In: Euro J of Training and Dev 44 (1), S. 1–86.

Meier, C. (2024): Arbeiten mit smarten Assistenzsystemen. SCIL Arbeitsbericht 31, April 2024. Universität St.Gallen, Institut für Bildungsmanagement und Bildungstechnologien / SCIL.

Taylor / Vinauskaite (2024): AI in L&D: From talk to action. Focus Report 02. https://donaldhtaylor.co.uk/