Sprachmodelle wie GPT-3: Chancen, Risiken, Entwicklungslinien für die Bildung?

Entwicklung von KI – erst “sehen”, dann “sprechen”

KI-Anwendungen haben nach dem Bereich der Computer Vision auch im Bereich der natürlichen Sprache in Teilbereichen die Schwelle der durchschnittlichen menschlichen Kapazität überschritten. KI-Modelle können im Bereich der Image Recognition Objekte besser erkennen als das menschliche Auge und Gehirn dies im Durchschnitt kann. NLP (natural language processing) wird mitunter als die nächste bahnbrechende Technologie bezeichnet: Lese- oder Sprachverständnis ist eine schwierige Aufgabe. Man bittet einen KI-Algorithmus eine beliebige Passage zu lesen und dann eine Frage zur entsprechenden Passage zu beantworten. Etwas pointiert ausgedrückt, hat der Computer mittels KI zuerst sehen gelernt und nun das Sprechen – ähnlich wie bei Menschen, ein Kind lernt auch zuerst das Sehen und dann das Sprechen.

Foundation Models als neue Klasse von KI-Modellen

Die Entwicklungen von generativen Sprachmodellen wie zum Beispiel GPT-3 sind mittlerweile sehr fortgeschritten. Unter dem Begriff «Foundation Models» (teilweise auch ‘Pre-trained Models’ oder Transformer Architekturen) wird eine Klasse von KI-Modellen verstanden, die auf Basis einer riesigen Datenmenge vortrainiert sind (Wikipedia Daten, Daten aus Zeitungen / Zeitschriften, etc.) und für eine breite Auswahl an Aufgaben adaptiert (“fine-tuning”) werden können. Foundation Models wie beispielsweise das Sprachmodell GPT-3 basieren auf tiefen neuronalen Netzwerken. Dank der Möglichkeiten, diese Modelle auf Basis von immer mehr Daten und mit immer mehr Parametern zu trainieren, haben diese in den letzten Jahren enorme Fortschritte erfahren und neue Anwendungsbereiche erschlossen.

Eine kurze Demonstration

Stefan Sonderegger aus unserem Team hat in einer Testumgebung erprobt, was GPT-3 alles kann und dazu ein Demo Video erstellt:

Was bedeutet das nun für uns als Bildungsverantwortliche? Wir stehen bei diesen technischen Entwicklungen ja erst am Anfang. Aber man kann sich für die Zukunft in etwa vorstellen, wo die Reise hingehen könnte. Dies wird auch Grundsatzfragen zu “Human-AI-Collaboration” aufwerfen. Insbesondere die Frage, was neue und wünschenswerte Formen der Zusammenarbeit von Menschen uns smarten Maschinen sind und welche Kompetenzen es auf Seiten der Menschen dafür braucht…