Qualität von synchronem Online-Lehren/Lernen: Evaluationsinstrument & Ergebnisse

Formen von synchroner Online-Lehre (Webinare) sind im Vergleich zu asynchronen Formen (MOOCs) bisher weniger intensiv wissenschaftlich untersucht worden. Ein Forschungsbericht von Wissenschaftlern der Universität Warschau bietet ein einfaches Evaluationsinstrument für Webinare und zeigt erfolgsförderliche Gestaltungsaspekte auf.

---

Im letzten Jahr haben, bedingt durch die COVID-Pandemie, synchrone Formen des Online-Lehrens und Lernens stark an Bedeutung gewonnen. Bislang liegen deutlich weniger empirische Forschungsergebnisse zu den Erfolgsfaktoren für synchrones Online-Lehren bzw. Lernen vor als etwa zu asynchronen Lehr-Lernformen wie MOOCs. Die beiden Autoren der Kozminski-Universität in Warschau (vgl. Referenz unten) haben ein Online Training Festival im April 2020 dafür genutzt, die insgesamt 45 Online-Sessions (im Umfang zwischen 90 und 150 Minuten) zu analysieren, zu evaluieren und Erfolgsfaktoren herauszuarbeiten.

Typen von synchronen Online-Formaten

In ihrem Forschungsbereicht, der vor wenigen Tagen im International Journal of Training and Development publiziert wurde, schlagen die Autoren zunächst eine grobe Typologie für synchrone Formate des Online-Lehrens bzw. Lernens vor, die sie aus früheren Arbeiten ableiten und die in der folgenden Tabelle in leicht angepasster Form wiedergegeben wird:

Teilnehmenden-Zufriedenheit als sinnvoller Startpunkt für die Evaluation von Webinaren

Bei ihrer Annäherung an die Evaluation von synchronen Online-Trainings verweisen die Autoren zunächst darauf, dass Transfer-Erfolg zwar ein besserer Indikator für die Wirksamkeit von Trainings ist als die Zufriedenheit der Teilnehmenden. Allerdings ist der Transfererfolg schwierig zu ermitteln ist – insbesondere bei offenen Webinaren, an deren Personen aus verschiedensten Organisationen teilnehmen. Ausgehend von vorliegenden Forschungsergebnisse argumentieren Czahajda / Černko, dass auch die Teilnehmenden-Zufriedenheit ein sinnvoller Startpunkt für Evaluationen ist. Sie verweisen insbesondere darauf, dass die Zufriedenheit der Teilnehmenden mit einem Trainingsangebot (on site oder on line) ganz allgemein ein guter Indikator für die folgenden Aspekte ist:

• die Wertschätzung des Trainingsangebots;
• die Nachfrage nach diesen Angebot;
• den Erfolg bei der Vermarktung des Angebots;
• die Bereitschaft der Teilnehmenden, die Inhalte in die Praxis zu transferieren.

Net Promotor Score als sinnvolles übergreifendes Bewertungskriterium

Die Autoren wenden sich dann der Frage zu, ob denn der Net Promoter Score (NPS) ein sinnvolles, übergreifendes Bewertungskriterium für Bildungsdienstleistungen und Webinare ist. Hierzu gibt es unterschiedliche Auffassungen. Allerdings zeigen Studien, dass – wenn man sich auf ein einziges (in der Aussagekraft immer eingeschränktes) Kriterium beschränken möchte – der NPS ein nützliches Mass ist.

Ein einfaches aber valides Evaluationsinstrument für Webinare

Ausgehend von bereits vorliegenden Arbeiten entwickeln und validieren die Czahajda und Černko ein einfaches Evaluationsinstrument für Webinare. Sie schlagen dafür die folgenden 10 Bewertungsaspekte vor. Die nachfolgende Tabelle zeigt die von ihnen verwendeten Items und schlägt eine Übersetzung ins Deutsche vor:

Item / Dimension	Ursprüngliche Formulierung und Vorschlag für eine deutsche Fassung
Fun	This session was fun. Das Webinar hat Spass gemacht.
Comfort	I felt comfortable during the session. Ich habe mit während der Session wohlgefühlt.
Learning	I haved learned a lot. Ich habe viel gelernt.
Efficiency	The time was used efficiently. Die verfügbare Zeit wurde effizient genutzt.
Interaktivität	The session was interactive enough. Das Webinar war ausreichend interaktiv.
Depth	The session was advanced and deep enough. Das Webinar bot eine ausreichende inhaltliche Tiefe.
Questions	The session answered all my questions. Im Rahmen des Webinars wurden alle meine Fragen beantwortet.
Usefulness	The session will be very useful to me. Das Webinar wird für mich im Nachgang noch nützlich sein.
Expertise	The trainer was an expert in this field. Der / die Trainer:in ist ein(e) Expert:in im Fachgebiet.
NPS	How likely are you to recommend this session to a friend? Wie gross ist die Wahrscheinlichkeit, dass Sie diese Session weiterempfehlen?

Im Rahmen der Prüfung der Validität und Trennschärfe zu diesen Items haben die Autoren unter anderem eine Faktorenanalyse vorgenommen. Das Ergebnis zeigt folgendes:

• Der NPS weist von allen Items die stärkste Korrelation mit der subjektiv wahrgenommenen Qualität eines Webinars auf.
• Sehr hohe Korrelationen zeigen sich auch für die Aspekte „Nützlichkeit“ und „Lernen“.
• Das Qualitätskriterium „Interaktivität“, dass häufig als zentrales Kriterium herausgestellt wird, weist die niedrigste Korrelation von allen 10 überprüften Items für subjektiv wahrgenommenen Qualität auf (mehr dazu unten).

Qualitative Aspekte und Handlungsempfehlungen

Neben der quantitativen Untersuchung der oben genannten Aspekte haben die Autoren über offene Fragen weitere Aspekte der wahrgenommenen Qualität von Webinaren untersucht. Die Rückmeldungen haben sie in der folgenden Tabelle verdichtet. Dabei sind die Aspekte, die mit einer positiven Bewertung eines Webinars einhergehen, links aufgeführt („promoter feedback“), und die Aspekte, die mit einer negativen Bewertung einhergehen, rechts („distractor feedback“):

Die in dieser Tabelle angeführten Punkte überschneiden sich in Teilen mit den bereits oben angeführten Punkten und liefern ergänzende Hinweise darauf, welche Aspekte bei der Gestaltung von Webinaren beachtet bzw. berücksichtigt werden sollten.

In der abschliessenden Diskussion ihrer Ergebnisse stellen die Autoren unter anderem die beiden folgenden Punkte heraus:

• Das Erfassen der „Qualität eines Webinars“ würde durch die Berücksichtigung von weiteren Beurteilungsaspekten (über die 10 bisher verwendeten Aspekte hinaus) gestärkt.
• Ein so erweitertes Beurteilungsraster würde es ermöglichen, die Unterschiede (auch im Hinblick auf wahrgenommene Qualität) zwischen verschiedenen Typen von Webinaren (z.B. Fokus auf die Entwicklung von ‚hard skills‘ versus Fokus auf ’soft skills‘) deutlicher herauszuarbeiten. Dies betrifft insbesondere den Aspekt der „Interaktivität“, der insbesondere für Webinare, die auf die Entwicklung von ’soft skills‘ ausgerichtet sind, eine wichtige Rolle spielt.

---

Referenz

Czahajda, Radoslaw; Černko, Mitja (2021): Perceived Session Quality Scale: What contributes to the quality of synchronous online education? In: International Journal of Training and Development. DOI: 10.1111/ijtd.12216.