Das Institute for Ethical AI in Education (IEAIED) in Grossbritannien hat einen ersten Zwischenbericht vorgelegt. Im Bericht wird ein Rahmenmodell für die ethische Nutzung von KI in der Bildung skizziert und es werden Mechanismen formuliert, die die ethische Nutzung sicherstellen sollen.
Ende 2018 wurde an der University of Buckingham (Grossbritannien) das Institute for Ethical AI in Education (IEAIED) gegründet. Der Auftrag des Insituts besteht darin, Modelle und Mechanismen zu entwickeln, die dazu beitragen, dass KI im Bildungsbereicht gemäss ethischen Grundsätzen entwickelt und eingesetzt wird. Im Februar 2020 hat das Institut einen ersten Zwischenbericht publiziert. Der Abschlussbericht ist für 2021 angekündigt.
Der Bericht gliedert sich in vier Kapitel:
- Eine Einführung in KI in der Bildung
- Risiken und Nutzen von KI in der Bildung
- Entwicklung eines Ethik-Rahmenmodells für KI in der Bildung
- Eine Vision für ethische Nutzung von AI in der Bildung
Definition KI
Im Bericht wird KI in der Bildung (“AI in education”) wie folgt eingegrenzt:
Artificial Intelligence in Education (AIEd) can be defined as the application of AI for learning, for the assessment of learning or for the achievement or facilitation of other core educational goals, such as safeguarding or educational administration.
Interim Report, S. 5
Einsatzbereiche von KI
Und es werden die folgenden Einsatzbereiche für KI im Kontext von Bildung herausgestellt – zusammen mit typischen Einsatzszenarien aber auch mit ethischen Herausforderungen:
- Adaptive Lernplattformem
- Individuell zugeschnittene Lernpfade für heterogene Lernergruppen
- Wird die Rolle von Lehrpersonen in Frage gestellt?
- Prädiktive Datenanalysen (Predictive Analytics)
- Identifikation von Mustern und von “students at risk”
- Potenzial für missbräuchliche Nutzung / Diskriminierung bestimmter Nutzergruppen
- Automatisierte Aufsatz-Bewertung
- Schnellere und flexiblere Feedbacks und Reduktion der Arbeitsbelastung von Lehrpersonen
- Erfassen solche Systeme die wirklich relevanten Qualitätsmerkmale? Führen sie ggf. zu unfairen Bewertungen?
- Intelligente Spielzeuge
- Unterstützung der Sprachentwicklung in frühen Entwicklungsphasen
- Hacking und Missbrauch von sensiblen Informationen, die von Kindern geäussert werden
- Software zur Gesichtserkennung
- Hinweise auf schwierige Lernsituationen oder Motivationsprobleme
- Missbräuchlich Nutzung und Diskriminierung von Nonkonformisten
Nutzenaspekte von KI
Die Nutzenaspekte des Einsatzes von KI in Bildungskontexten werden vor allem in drei Bereichen gesehen:
- Steigerung der Leistungsfähigkeit von Bildungssystemen
- In vielen Bildungssystemen sind Lehrpersonen mit nicht nachhaltigen Arbeitspensen überfordert.
- Global betrachtet fehlen Millionen von Lehrpersonen.
- Angesichts der (auch technisch induzierten) Veränderungen in Wirtschaft und Gesellschaft brauchte es mehr (Weiter-)Bildungsangebote.
- Einsichten in Bildungsprozesse
- Um Lernende individuell betreuen und fördern zu können, brauchen Lehrpersonen mehr Informationen zu individuellen Fortschritten und Herausforderungen.
- Bildungsinstitutionen benötigen Frühwarnsysteme, um “students at risk” identifizieren mit geeigneten Massnahmen im Bildungssystem halten zu können.
- Etablierte Prüfungssysteme (z.B. Jahresendprüfungen) sind oft mit hohem Stress für die Lernenden verbunden. KI-basierte Lösungen können neue, über längere Zeiträume laufende, kontinuierliche Beobachtungs- und Bewertungsprozesse ermöglichen.
- Ermöglichen von individualisiertem / personalisiertem Lernen
- Intelligente tutorielle Systeme und adaptive Lernumgebungen ermöglichen individualisiertes / personalisiertes Lernen bei Bedarf – für grosse und verteilte Zielgruppen.
Anforderungen und Risiken
Im Zwischenbericht werden auch eine ganze Reite von Risiken angeführt, die mit dem Einsatz von KI in Bildungsprozessen verbunden sind. Diese werden im Zusammenhang mit zentralen Anforderungen an vertrauenswürdige KI-Implementierungen in der Bildung aufgeführt:
- Entscheidungshoheit
- Menschen sollen die primären Entscheider in Bildungsprozessen bleiben (“human agency and oversight”)
- KI-basierte Lösungen können die Unabhängigkeit und Steuerungsfähigkeit der Betroffenen untergraben
- Verantwortlichkeiten
- Klare Verantwortlichkeiten für KI-basierte Systeme und mit ihnen erzielte Resultate müssen gegeben sein
- KI-basierte Lösungen können Verantwortungsstrukturen in (Hoch-)Schulen bzw. Bildungseinrichtungen aushöhlen
- Technische Robustheit und Sicherheit
- KI-basierte Systeme müssen robust und sicher sowie gegen Angriffe geschützt sein
- Systeme können angegriffen und Daten missbraucht werden
- Diversität und Fairness
- KI-basierte Lösungen sollen nicht bestimmte Nutzergruppen diskriminieren
- Algorithmen können (aufgrund mangelhafter Trainingsdaten) Voreingenommenheiten (Bias) beinhalten
- Datenschutz und Datensicherheit
- Datenschutz und Datensicherheit müssen gewährleistet sein
- Mangelhafte Regelungen zum Datenschutz können zu Verlust der Kontrolle über sensible Daten führen
- Transparenz
- Daten, Prozesse und Algorithmen, die Bestandteil von KI-basierten Lösungen sind, sollten dokumentiert und nachvollziehbar sein (‘explainable AI’)
- Algorithmen-basierte Bewertungen werden nicht verstanden und nicht akzeptiert, es gibt aber keine Einsprachmöglichkeit
Skizze zu einem Rahmenmodell für die ethische Nutzung von KI in der Bildung
Im nächsten Abschnitt wird ein Rahmenmodell für die ethische Nutzung von KI in der Bildung skizziert – vgl. das nachfolgende Zitat aus dem Bericht:
- AI should only be used for educational purposes where there are clear indications that it will genuinely benefit learners either at an individual or collective level.
- AI should not be used for educational purposes in cases where the risks posed to learners are at all significant.
- To support the achievement of an optimal balance between underuse, and overuse/misuse of AI in Education, AI may only be used in cases where there is any risk of harm to learners – at an individual or collective level – if the following conditions are met:
- A) Decisive steps have been taken – and openly communicated in an understandable way – to mitigate the risks involved;
- B) The benefits to learners outweigh these risks;
- C) The risks to learners are not significant;
- D) Monitoring of conditions (A)-(C) is in place;
- E) If monitoring in (D) shows that conditions (A)-(C) are not fulfilled, the use of AI is to be improved or terminated.
Eine Vision für die ethische Nutzung von KI in der Bildung
Im letzten Abschnitt wird dann eine Vision für die ethische Nutzung von KI in der Bildung formuliert. Dabei werden verschiedene Mechanismen vorgeschlagen, die als Grundlage für Umsetzungen dienen können. Beispiele für diese Mechanismen sind die folgenden:
- Anpassbare Regulierungen
- Orientierung an Verhaltensregeln (Code of Conduct)
- Zertifzierung von KI-basierten Lösungen
- Entwicklung von Standards (z.B. im Hinblick auf die Transparenz von KI-basierten Systemen)
- Weiterbildung für alle Beteiligten und Betroffenen, so dass diese die KI-basierten Lösungen und Systeme verstehen
The Institute for Ethical AI in Education (2020): Interim Report. Towards a shared vision of ethical AI in education. The University of Buckingham.