Fünf Gestaltungsprinzipien für Prüfungen, die durch den Einsatz von Technologien unterstützt werden können, stehen im Mittelpunkt dieses Berichts von JISC: Authentizität; Barrierefreiheit; Automatisierung; kontinuierliches statt punktuelles Prüfen; Sicherheit.
Der Bericht fokussiert die Praxis des Prüfens an (höheren) Bildungsinstitutionen. Die angesprochenen Themen sind aber gleichermassen relevant für das Prüfen im Kontext der beruflichen Bildung sowie für das Zertifizieren von Kompetenzen im betrieblichen Kontext.
JISC steht übrigens für Joint Information Systems Committee – JISC ist der Informatik-Dienstleister für britische Bildungsinstitutionen, Hochschulen und Forschungseinrichtungen. JISC bietet u.a. eine Sammlung von knapp 80 Leitfäden zu einer Reihe von Themen – angefangen bei Accessibility (8 Leitfäden) bis Standards & Policies (14 Leitfäden).
Ausgangspunkte
Ausgangspunkt für den Bericht ist die folgende Feststellung:
As UK learning and teaching move toward ‘Education 4.0’ to
JISC Report “The future of assessment”, 2020, S. 26
prepare students for a world shaped by the transformational
technologies of Industry 4.0, the assessment of learning
is still rooted in the practices of the 20th century and
earlier. Students learn, communicate and collaborate in a
digital environment; go on to work in a digital environment
and yet online assessment is some way behind the curve.
(…)
[there is] a fundamental and growing disconnect between the
way we assess education, the value that assessment currently provides
to students and the value they need and expect from it
“Assessment” wird dabei in einem umfassenden Sinn verwendet und hierfür wird zu Beginn ein Rahmenmodell präsentiert:
Prinzip 1: Authentische Prüfungen (authenticity)
Prüfungen sollten die gleichen Abläufe und die gleichen Endprodukte beinhalten wie sie in der beruflichen Praxis üblich sind. Die gilt für die Informatik-Ausbildung (z.B. App-Entwicklung) ebenso wie für betriebswirtschaftliche Ausbildung (z.B. Bilanzanalysen) oder für Fächer wie Tanz, Videoproduktion und Webdesign.
“When students are completing all their formative work digitally it’s rather bizarre to be expecting them to sit under examination conditions for three hours or more doing handwritten examinations.”
JISC Report “The future of assessment”, 2020, S. 9
Richard Walker, head of programme design and learning technology, University of York
In dem Bericht werden eine Reihe von Beispielen angeführt, wie authentische Prüfungen durch den Einsatz von Technologien unterstützt werden können. Dazu gehören AR / XR / VR-Technologien, Video und digitale Lösungen für Peer-Assessment.
Ausgewählte Links aus dem Bericht:
- Peer- & self-assessment
- Video-basiertes Assessment
Prinzip 2: Zugang zu Prüfungen für alle (accessibility)
“We have a guiding principle that if assessment isn’t inclusive it’s not good assessment. That’s one of our ground rules. We didn’t want to go down the road of having an assessment for 90% of students and then having a row of assessments on offer for those students who couldn’t do the main one. Instead we wanted to flip it round and, as far as is possible – and it’s not always going to be the case – try to make the assessment inclusive for everybody.”
JISC Report “The future of assessment”, 2020, S. 12
James Trueman, academic lead: assessment, Anglia Ruskin University
In Norwegen, so wird in dem Bericht angeführt, existieren nationale Leitlinien für den barrierefreien Zugang zu Prüfungen. Dabei können verschiedene Technologien unterstützen, angefangen von Screen Readern über sprachbasierte Benutzerschnittstellen bis hin zu automatisierten Übersetzungsdiensten.
Prinzip 3: (Angemessene) Automatisierung (appropriate automation)
Das Entwickeln, Korrigieren und Feedback-Geben zu Prüfungen beansprucht viel Zeit auf der Seite von Lehrpersonen. Insbesondere persönliches Feedback zu studentischen Leistungen wird sowohl von den Studierenden als auch von den Lehrpersonen sehr geschätzt. Allerdings wird es mit der zunehmenden Anzahl von Studierenden immer schwieriger, dies zur Zufriedenheit aller Beteiligten umzusetzen. Technologische Lösungen können hier unterstützten und ergänzen – auch jenseits von sofortigem Feedback bei Multiple-Choice-Tests. Gleichzeitig soll aber das direkte, persönliche Feedback nicht ersetzt werden.
Ein Bereich, für den es bereits verschiedene Lösungen gibt, sind Werkzeuge für das formative Feedback zu schriftlichen Ausarbeitungen. In der Regel werden diese in frühen Entwurfsphasen eingesetzt und helfen Studierenden, besser ausgearbeitete Versionen für das Feedback durch die Dozierenden einzureichen.
Ausgewählte Links aus dem Bericht:
Prinzip 4: Kontinuierliche Erfolgsüberprüfung (continuous assessment)
It may be more effective to assess learners continually throughout their course instead of through a final exam. However, while engagement may increase, there is also a danger that continual, low-level assessment may prove to be more stressful for students. And while it may, possibly, reduce staff workload, teachers may also be prepared to experience a small increase in workload in order to transition to a better continual assessment-focused approach that can provide a more authentic assessment experience and put less stress on students.
JISC Report “The future of assessment”, 2020, S. 18
Ausgewählte Links aus dem Bericht:
- Learning Analytics
- Micro-Credentialing
Prinzip 5: Sichere Assessments (secure assessments)
Eine Studie der Swansea University zeigte, dass der Anteil der Studierenden, die andere Personen dafür bezahlt haben, eigene Prüfungsleistungen zu erbringen, zwischen 2014 und 2018 um fast 16% gestiegen ist.
Bildungsinstitutionen müssen bei Prüfungen, die nicht physisch in überwachten Prüfungsräumen erbracht werden, neue Wege gehen, um die Integrität der Prüfungsleistungen sicherzustellen. Hierbei können verschiedene Technologien unterstützen.
Ausgewählte Links aus dem Bericht:
- Educational data forensics (z.B. Tippmuster-Analysen)
- Prüfung auf Beauftragung von bezahlten Dienstleistern für Prüfungsleistungen
- Online Prüfungsaufsicht
Empfehlungen
Abschliessend werden in dem Bericht Empfehlungen dazu formuliert, wie diese fünf Gestaltungsprinzipien künftig besser umgesetzt werden können. Diese Empfehlungen sind allerdings recht allgemein formuliert.
- Authentische Prüfungen
Bildungsinstitutionen müssen gut verstehen, was ihre zentralen Anspruchsgruppen (Studierende, Arbeitgeber, Berufsverbände, etc.) von Prüfungen bzw. von zertifizierten Leistungen erwarten. Diese Klärungen können durchaus dazu führen, dass noch einmal grundsätzlich darüber nachgedacht wird, was mit Prüfungen erreicht werden soll. - Barrierefreie Prüfungen
Bildungsinstitutionen brauchen allgemeine Design-Prinzipien als Arbeitsgrundlage, um darauf aufbauend den barrierefreien Zugang zu Prüfungen ermöglichen. - Automatisierung im Zusammenhang mit Prüfungen
Bildungsinstitutionen müssen klären, welche Aspekte von Prüfungen sie in welchem Umfang und mit welchem Ziel automatisieren wollen (vgl. den eingangs gezeigten Orientierungsrahmen). Angesichts eines sehr unübersichtlichen Markts an Lösungsanbietern ist es sinnvoll, Kooperationspartner zu suchen und Lösungen gemeinsam zu verfolgen. - Kontinuierliche Erfolgsüberprüfung
Bildungsinstitutionen sollten einen strukturierten, organisationsübergreifenden Prozess zur Weiterentwicklung von Prüfungsleistungen aufsetzen, in den spezifische Leitbilder ebenso einfliessen wie didaktische Prinzipien und angestrebte Bildungsziele. Dazu gehört auch, die eigenen Kompetenzen im Hinblick auf das Management von Prozessdaten und Learning Analytics zu erweitern. - Sichere Prüfungen
Bildungsinstitutionen sollten zwei Entwicklungsthemen gleichermassen verfolgen: einerseits die Stärkung einer Kultur der akademischen Integrität; andererseits das Wissen um relevante Werkzeuge und deren Einsatzmöglichkeiten beim Verhindern von Betrugsversuchen.
JISC Autorengruppe (2020): The future of assessment: five principles, five targets for 2025. Spring 2020. JISC. Bristol, UK. Online verfügbar unter https://repository.jisc.ac.uk/7733/1/the-future-of-assessment-report.pdf.
Mehr zum Thema Technologieunterstützung für Prüfungen und Assessments in unserem scil Weiterbildungsmodul “Kompetenzüberprüfung – E-Assessments, E-Portfolios und Co”.
Schreiben Sie einen Kommentar