SCIL

swiss competence center for innovations in learning

Home2023Archives for März 2023

Archives for März 2023

GPT-4: Auf dem Weg in die Lern- & Arbeitswelt 5.0

by Leave a Comment

Auf ChatGPT folgt eine verbesserte Version GPT-4 – wiederum beeindruckend. Die Diskussion über die Folgen im Bildungskontext (Fokus Prüfungen) muss erweitert werden. Ko-Kreation mit ‘Smart Machines’ wird zum Standard im Arbeitsalltag werden. Wie kann uns Bildung / Personalentwicklung darauf vorbereiten?

Diese Woche wurde GPT-4 veröffentlicht, der Generalized Pretrained Transformer von OpenAI. GPT-4 ist eine Weiterentwicklung der bisherigen Sprachmodelle GPT-3.5 und ChatGPT.

GPT-4: Was ist neu bzw. anders / besser?

Auf seinen Webseiten erläutert das Unternehmen OpenAI die Besonderheiten von GPT-4 und die Unterschiede zu den bisherigen Modellen: https://openai.com/research/gpt-4. Die folgenden Punkte scheinen mir zentral zu sein:

  • GPT-4 kann einen grösseren Kontext bei den Prompts berücksichtigen.

    Die Rede ist hier von zwei Versionen: GPT-4-8K mit 8’192 und GPT-4-32K mit 32’768 Tokens an Stelle von bisher 4’096. Dadurch können längere Texte analysiert und auch erzeugt werden. Auf Techcrunch wird dies wie folgt kommentiert:
    “Previously, the model didn’t have any knowledge of who you are, what you’re interested in and so on. Having that kind of history [with the larger context window] is definitely going to make it more able … It’ll turbocharge what people can do.” (https://neoteric.eu/blog/gpt-4-vs-gpt-3-openai-models-comparison/).

  • GPT-4 kann neu Grafiken und Bilder verarbeiten.

    Auf der Webseite von OpenAI werden verschiedene Beispiele dafür gezeigt. Unter anderem dieses:
Visual input GPT-4
Abb. 1: Verarbeitung von Text und Grafik (Bildquelle: https://openai.com/research/gpt-4)
  • Bei GPT-4 kann die Modalität der Aufgabenbearbeitung bzw. der Ausgabe besser gesteuert werden.

    Auch hierzu werden verschiedene Beispiele gezeigt, unter anderem das folgende:
Beispiel Sokratischer Dialog
Abb. 2: Steuerung der Ausgabe von GPT-4 in einer Weise, dass ein sokratischer Dialog bzw. ein Verhalten wie ein Lern-Tutor resultiert (Bildquelle: https://openai.com/research/gpt-4)

Insgesamt bewerten die Macher von GPT die Weiterentwicklung wie folgt und sichern sich gleichzeitig gegen überzogene Erwartungen ab:

GPT-4 is more reliable, creative, and able to handle much more nuanced instructions than GPT-3.5. (…)
GPT-4 poses similar risks as previous models, such as generating harmful advice, buggy code, or inaccurate information.

https://openai.com/research/gpt-4

Vergleich der Leistungsfähigkeit

Im Artikel wird auch auf Ergebnisse von Vergleichstests bzw. Benchmarking verwiesen. Unter anderem werden die Ergebnisse von GPT-3.5 und GPT-4 bei verschiedenen standardisierten Tests bzw. Prüfungen verglichen:

Ausgewählte Test-Ergebnisse im Vergleich
Abb. 3: Ergebnisse von GPT-3.5 und GPT-4 bei verschiedenen Typen von standardisierten Tests bzw. Prüfungen
(Bildquelle: https://openai.com/research/gpt-4)

Einen der auf der Webseite angeführten Tests, MMLU, habe ich mir etwas genauer angeschaut. MMLU steht für Massive Multitask Language Understanding und ist ein Test, der in 2021 entwickelt wurde, um die immer leistungsfähiger werdenden Sprachmodelle zu testen und herauszufordern. Hier eine kurze Erläuterung zu diesem Test:

We design the benchmark to measure knowledge acquired during pretraining by evaluating models exclusively in zero-shot and few-shot settings. This makes the benchmark more challenging and more similar to how we evaluate humans. The benchmark covers 57 subjects across STEM, the humanities, the social sciences, and more. It ranges in difficulty from an elementary level to an advanced professional level, and it tests both world knowledge and problem solving ability. Subjects range from traditional areas, such as mathematics and history, to more specialized areas like law and ethics.

Hendrycks et al. (2021): Measuring massive multitask language understanding. ICLR 2021.

GPT-3.5 erreicht bei diesem Test eine Quote von 70% richtigen Antworten, GPT-4 eine Quote von 86.4%. Wenn ich mir die Testfragen anschaue, die Bestandteil des Tests sind, so muss ich sagen, dass ich selbst vermutlich deutlich schlechter abgeschnitten hätte…

Beispiele Test-Items im MMLU
Abb. 4: Beispiele für Fragen im MMLU-Test für grosse Sprachmodelle
(Bildquelle: Hendrycks et al. 2021: https://arxiv.org/pdf/2009.03300.pdf)

Auf dem Weg in eine Lern- & Arbeitswelt mit Smart Machines

Die Veröffentlichung von ChatGPT Ende November 2022 hat für viel Unruhe und Diskussion geführt – insbesondere unter Bildungsverantwortlichen an Schulen und Hochschulen. Im Vordergrund steht bisher die Diskussion darüber, ob diese Art von Werkzeugen zugelassen werden sollen und wie gegebenenfalls Prüfungen und Reglemente angepasst werden müssen.

Ich denke, dass wir die den Blickwinkel etwas weiter fassen müssen. Die schnelle Verbreitung von ChatGPT liefert einen Vorgeschmack dessen, was auf uns zukommt. Wir bewegen uns in eine Welt, die mit ‘smarten Maschinen’ angereichert ist (Arbeitswelt 5.0). Microsoft hat ja bereits die Integration von ChatGPT / GPT-4 in die eigene Suchmaschine Bing und in die Office-365-Suite angekündigt. Über kurz oder lang werden wir also im Arbeitsalltag (und beim Lernen) ständig solche und ähnliche Werkzeuge an unserer Seite haben. Damit wird Ko-Kreation mit ‘Smart Machines’ zum Standard werden.

Ähnlich wie beim Aufkommen des Taschenrechners oder des Internets macht dies eine Diskussion darüber erforderlich, auf welche Handlungssituationen uns Bildungsinstitutionen (oder auch die betriebliche Personalentwicklung) vorbereiten sollen, welche Kompetenzen künftig zentral sind und welche (Personal-)Entwicklungsstrategien sinnvoll sind. Augmentation, Augmentationsstrategien und Integrationskompetenzen sind hier ebenso relevante Stichworte wie beispielsweise Prompt Design / Prompt Engineering und die 4K (Kommunikation, Kollaboration, Kreativität und kritisches Denken).

Die Möglichkeiten, GPT-4, ChatGPT und ähnliche Lösungen im Rahmen der Arbeit von Bildungsverantwortlichen bzw. im Kontext von Lehren und Lernen einzusetzen, vertiefen wir im Rahmen unseres Weiterbildungsmoduls “Dialogorientierte Lern- & Assistenzsysteme”.

Leitlinien für den Umgang mit ChatGPT an Bildungsinstitutionen

by 2 Comments

Bildungsverantwortliche können ChatGPT nicht ausweichen. Also braucht es Leitlinien für die Nutzung. Ein Vorschlag von Expert:innen der Wharton Business School fokussiert das Wann und Wie, die Limitationen und die Notwendigkeit eigener Leistung.

In einem Beitrag für Harvard Business Publishing Education machen Ethan und Lilach Mollick von der Wharton Business School einen Vorschlag zu Leitlinien für den Umgang mit ChatGPT im (Hochschul-)Unterricht. Dass es solche Leitlinien braucht, ist vermutlich unstrittig:

“AI is here to stay and will only become more prevalent in our classrooms over time.”
(…)
“Having a clear policy around AI use is step one in creating a classroom environment in which AI can be embraced responsibly and honestly.”

Mollick & Mollick (2023): Why all our classes suddenly became AI classes. HBSP-Education
Bildquelle: Levart_Photographer, https://unsplash.com/de/fotos/drwpcjkvxuU

Aus Ihrer Sicht braucht es folgende Elemente in einer solchen Leitlinie:

  • Wann & wie darf KI genutzt werden und wann nicht?
  • Wie muss die Nutzung von KI dokumentiert werden?
  • Hinweise auf Limitationen & Einschränkungen von KI-Systemen (z.B. Halluzinationen)
  • Die Nutzung von KI als Werkzeug ist kein Ersatz für eigene Leistung

Mollick und Mollick teilen im Beitrag ihre eigene Version einer solchen Leitlinie bzw. Vereinbarung, die sie in der Hochschullehre einsetzen. Und sie ermuntern dazu, diese Leitlinie zu übernehmen bzw. an den eigenen Kontext anzupassen:

“I expect you to use AI (e.g., ChatGPT and image generation tools) in this class. In fact, some assignments will require it. Learning to use AI is an emerging skill and I provide tutorials on how to use them. I am happy to meet and help you with these tools during office hours or after class. Be aware of the limits of ChatGPT, such as the following:

  • If you provide minimum-effort prompts, you will get low-quality results. You will need to refine your prompts in order to get good outcomes. This will take work.
  • Don’t trust anything it says. If it gives you a number or fact, assume it is wrong unless you either know the answer or can check with another source. You will be responsible for any errors or omissions provided by the tool. It works best for topics you understand.
  • AI is a tool, but one that you need to acknowledge using. Please include a paragraph at the end of any assignment that uses AI explaining what you used the AI for and what prompts you used to get the results. Failure to do so is in violation of academic honesty policies.
  • Be thoughtful about when this tool is useful. Don’t use it if it isn’t appropriate for the case or circumstance.”
Mollick & Mollick (2023): Why all our classes suddenly became AI classes. HBSP-Education

Ergänzend zu dieser Leitlinie bieten sie den Studierenden Hinweise und Anleitungen dazu, wofür und wie ChatGPT und ähnliche Werkzeuge in einer guten Weise genutzt werden können:

  • Sammeln von Ideen
  • Erstellen von Text
  • Erzeugen von Bildern
  • Erzeugen von Videos
  • Erzeugen von Computer-Code

Dabei verweisen Sie insbesondere auf die Bedeutung eines guten Prompt-Designs.

Mollick und Mollick schliessen Ihren Beitrag wie folgt:

The best path forward is experimentation. Some experiments will work; others won’t. It’s also important to remember that while the sudden advent of generative AI may be disruptive to educators, it is even more disruptive to the futures of the students we teach. We need to give them the skills to thrive in a world transformed by AI.

Mollick & Mollick (2023): Why all our classes suddenly became AI classes. HBSP-Education

Mollick, E., & Mollick, L. (2023, March 9). Why All Our Classes Suddenly Became AI Classes: Strategies for Teaching and Learning in a ChatGPT World. Harvard Business Publishing – Education.

Beitragsbild von Levart_Photographer: https://unsplash.com/de/fotos/drwpcjkvxuU

KI-Panik? Ein Orientierungsrahmen zur digitalen Transformation für Bildungsverantwortliche

by Leave a Comment

Aus der Verfügbarkeit von ChatGPT resultiert erneut ein starkes Veränderungsmoment für Bildungsorganisationen und Bildungsverantwortliche. Ein Orientierungsrahmen kann dabei helfen, die Herausforderungen anzugehen. Es braucht aber auch Freiräume für aktives Experimentieren.

Die aktuellen Entwicklungen im Bereich KI und der grossen Sprachmodelle bzw. Pre-Trained Transformer (ChatGPT etc.) sorgen in vielen Bildungsorganisationen für Aufregung:

“Artificial intelligence (AI) panic is spreading across the education sector.”

Mollick & Mollick (2023): Why all our classes suddenly became AI classes. HBSP-Education

Ähnlich wie zu Beginn der COVID-Pandemie vor drei Jahren ist wieder die Rede davon, dass sich “die Dinge” grundsätzlich ändern müssen – aktuell im Hinblick auf die Lern- und Prüfungskulturen. Die Fähigkeit von Bildungsorganisationen, Veränderungen in ihrer Umwelt zu verstehen und sich (schnell) anzupassen ist also unverändert wichtig.

Viele Bildungsorganisationen sind dabei, sich für die digitale Bildungswelt neu bzw. anders aufzustellen. Dabei hat sich der nachfolgend skizzierte Orientierungsrahmen als hilfreich erwiesen. Er beinhaltet drei zentrale Elemente und bettet diese in einen iterativen Prozess ein:

  • Veränderungen beobachten
  • Digitale Transformation verstehen
  • Transformationsprozess gestalten

Veränderungen beobachten

Zunächst einmal ist für Bildungsorganisationen wichtig, die Veränderungen in Ihrer Umwelt kontinuierlich und systematisch zu beobachten. Dies gilt unabhängig davon, ob sie als interne Dienstleister agieren, als Institutionen des Bildungssystems verankert sind oder als Anbieter auf dem Markt auftreten.

  • Wie verändert sich der Markt für Aus- & Weiterbildung?
  • Wie verändern sich die Anforderungen und Erwartungen der Kund:innen? (Und wer sind diese überhaupt?)
  • Wie verändern sich die nachgefragten bzw. die erforderlichen Kompetenzen und Skills?
  • Welche Möglichkeiten im Hinblick auf neue / angepasste Formate der Kompetenzentwicklung gibt es?

Darüber hinaus sind auch die Veränderungen im Innenfeld zu beachten. Gesellschaftliche Veränderungen machen nicht an der Eingangspforte halt, sondern wirken auch intern. “New Work” ist hier ein wichtiges Stichwort unter anderen.

Digitale Transformation verstehen

Für die Arbeit im Veränderungsprozess ist es hilfreich, zwischen ‘Digitalisierung’ einerseits und ‘digitaler Transformation’ andererseits zu unterscheiden. Digitalisierung bezeichnet einen eher oberflächlichen Veränderungsprozess. Im Kontext von Bildungsorganisationen heisst das beispielsweise, dass digitale Medien eingeführt und eingesetzt werden, aber die bestehenden Lehr-Lernprozesse (z.B. “Unterrichten” oder “zugewiesene Lernmedien bearbeiten”) nicht grundlegend verändert werden. Mit der Veränderung von Leistungsprozessen (z.B. Teilnehmenden-Administration oder Umsetzung von Video-basierten Flipped-Classroom-Designs) greift die Veränderung schon tiefer. Digitale Transformation bezeichnet dann umfassende und koordinierte Veränderungen – im Hinblick auf die Interaktion mit Kund:innen, Leistungsprozesse, die Organisation, und das Geschäftsmodell (Grajek et al. 2020; Verhoef et al. 2021). Ein Beispiel für eine solche Transformation ist die Veränderung eines Anbieters von Präsenzkursen hin zu einem Betreiber einer branchenspezifischen Online-Plattform für Lernmedien und Online-Kurse, auf der auch Dritte gegen Gebühr ihre Angebote und Leistungen anbieten können.

Veränderungsprozess gestalten

Das Antreiben und Gestalten eines solchen Veränderungs- bzw. Transformationsprozesses ist eine anspruchsvolle Aufgabe. Es braucht Veränderungen bei grundlegenden Perspektiven ebenso wie in der Organisationsgestaltung. Es braucht eine Vision und Ziele, einen Weg zu den Zielen (Strategie), Anpassungen beim Organisationsdesign und schliesslich auch Unterstützung bei der Umsetzung im Arbeitsalltag (Neumann / Kreiner 2021).

Abb. 1: Beobachten, verstehen, gestalten im Kontext der digitalen Transformation (Bildquelle: eigene Darstellung)

Iterationen im Veränderungsprozess

Im Prozess der Veränderung zeigt sich immer wieder, dass das bisherige Verständnis von Digitalisierung und digitaler Transformation unvollständig war und sich weiter vertieft hat. Das wird auch weiterhin so sein, weil mit dem Fortschreiten der technologischen, wirtschaftlichen und gesellschaftlichen Entwicklungen immer wieder neue Facetten der digitalen Transformation in den Blick kommen werden. Aus diesem sich nach und nach vertiefenden Verständnis ergeben sich dann unter Umständen veränderte Ziele, veränderte Strategien oder neue Gestaltungsideen für den übergreifenden Veränderungsprozess.

Abb. 2: Iterationen von Beobachten, Verstehen und Gestalten im Kontext der digitalen Transformation (Bildquelle: eigene Darstellung)

Freiräume für aktives Experimentieren und kontinuierliches Lernen

Bildungsorganisationen und Bildungsverantwortliche vertiefen also ihr Verständnis von Digitalisierung und digitaler Transformation im Verlauf des Veränderungs- und Transformationsprozesses. Damit liegt es nahe, diesen Prozess auch als aktives Experimentieren und kontinuierliches Lernen zu verstehen. Was dann wiederum dafür spricht, Freiräume für diese Experimentier- und Lernprozesse zu schaffen. Beispielsweise, indem für einen ausgewählten Produkt- oder Organisationsbereich die Rahmenbedingungen (Vorgaben, Regeln, etc.) gelockert und das Feld für das Experimentieren und Erproben von transformativen Veränderungen geöffnet wird. Dies ermöglicht eine steile Lernkurve – natürlich mit den unvermeidbaren Misserfolgen. Die daraus resultierenden Lernerfahrungen können dann aber zu geeigneter Zeit wieder in die anderen Produkt- oder Organisationsbereiche zurückgeführt werden.

Aus der Verfügbarkeit von ChatGPT resultiert aktuell ein starkes Irritations- und Veränderungsmoment für Bildungsorganisationen und Bildungsverantwortliche. Deshalb:

The best path forward is experimentation. Some experiments will work; others won’t. It’s also important to remember that while the sudden advent of generative AI may be disruptive to educators, it is even more disruptive to the futures of the students we teach. We need to give them the skills to thrive in a world transformed by AI.

Mollick & Mollick (2023): Why all our classes suddenly became AI classes. HBSP-Education

Verweise