• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar
scil

scil

swiss competence center for innovations in learning

  • scil
    • Team
    • Institut für Bildungsmanagement und Bildungstechnologien (IBB-HSG)
    • Universität St.Gallen
    • scil Newsletter abonnieren
    • Anfahrt
    • Impressum
  • Weiterbildung
    • Weiterbildung
      • Blended Learning Design
      • Profilbildung
    • Module, Termine, Orte
    • Zertifikatsprogramm (CAS) „Digitale Transformation im Bildungsmanagement“
    • Zertifikatsprogramm (CAS) „Digitale Bildung“
    • Diplomprogramm (DAS) „Bildungsmanagement – Digitale Transformation gestalten“
    • scil Blended-Webinare
    • FAQ
    • Trend- & Community Day
    • Stimmen zu den Programmen
    • Lernbegleiter:innen & Fachexpert:innen
    • Allgemeine Geschäftsbedingungen (AGB) scil academy
  • Fachcoaching
  • Entwicklung / Projekte
    • Innovationskreise & Entwicklungspartnerschaften
    • Digitale Transformation von L&D
    • Lernkultur
    • Qualitätsentwicklung und Wertbeitrag
    • Referenzprojekte
  • Forschung
  • Publikationen
    • scil Blog
    • Publikationen, Arbeitsberichte & Trendstudien
  • Mein Konto
    • Search
    • Social Media, Newsletter
HomeFundstückeQualität von synchronem Online-Lehren/Lernen: Evaluationsinstrument & Ergebnisse

Qualität von synchronem Online-Lehren/Lernen: Evaluationsinstrument & Ergebnisse

5. Juni 2021

Formen von synchroner Online-Lehre (Webinare) sind im Vergleich zu asynchronen Formen (MOOCs) bisher weniger intensiv wissenschaftlich untersucht worden. Ein Forschungsbericht von Wissenschaftlern der Universität Warschau bietet ein einfaches Evaluationsinstrument für Webinare und zeigt erfolgsförderliche Gestaltungsaspekte auf.


Im letzten Jahr haben, bedingt durch die COVID-Pandemie, synchrone Formen des Online-Lehrens und Lernens stark an Bedeutung gewonnen. Bislang liegen deutlich weniger empirische Forschungsergebnisse zu den Erfolgsfaktoren für synchrones Online-Lehren bzw. Lernen vor als etwa zu asynchronen Lehr-Lernformen wie MOOCs. Die beiden Autoren der Kozminski-Universität in Warschau (vgl. Referenz unten) haben ein Online Training Festival im April 2020 dafür genutzt, die insgesamt 45 Online-Sessions (im Umfang zwischen 90 und 150 Minuten) zu analysieren, zu evaluieren und Erfolgsfaktoren herauszuarbeiten.

Typen von synchronen Online-Formaten

In ihrem Forschungsbereicht, der vor wenigen Tagen im International Journal of Training and Development publiziert wurde, schlagen die Autoren zunächst eine grobe Typologie für synchrone Formate des Online-Lehrens bzw. Lernens vor, die sie aus früheren Arbeiten ableiten und die in der folgenden Tabelle in leicht angepasster Form wiedergegeben wird:

Typen von Bildungsformaten und korrespondierende synchrone Online-Formate
(Bildquelle: scil, nach Czahajda / Cernko 2021)

Teilnehmenden-Zufriedenheit als sinnvoller Startpunkt für die Evaluation von Webinaren

Bei ihrer Annäherung an die Evaluation von synchronen Online-Trainings verweisen die Autoren zunächst darauf, dass Transfer-Erfolg zwar ein besserer Indikator für die Wirksamkeit von Trainings ist als die Zufriedenheit der Teilnehmenden. Allerdings ist der Transfererfolg schwierig zu ermitteln ist – insbesondere bei offenen Webinaren, an deren Personen aus verschiedensten Organisationen teilnehmen. Ausgehend von vorliegenden Forschungsergebnisse argumentieren Czahajda / Černko, dass auch die Teilnehmenden-Zufriedenheit ein sinnvoller Startpunkt für Evaluationen ist. Sie verweisen insbesondere darauf, dass die Zufriedenheit der Teilnehmenden mit einem Trainingsangebot (on site oder on line) ganz allgemein ein guter Indikator für die folgenden Aspekte ist:

  • die Wertschätzung des Trainingsangebots;
  • die Nachfrage nach diesen Angebot;
  • den Erfolg bei der Vermarktung des Angebots;
  • die Bereitschaft der Teilnehmenden, die Inhalte in die Praxis zu transferieren.

Net Promotor Score als sinnvolles übergreifendes Bewertungskriterium

Die Autoren wenden sich dann der Frage zu, ob denn der Net Promoter Score (NPS) ein sinnvolles, übergreifendes Bewertungskriterium für Bildungsdienstleistungen und Webinare ist. Hierzu gibt es unterschiedliche Auffassungen. Allerdings zeigen Studien, dass – wenn man sich auf ein einziges (in der Aussagekraft immer eingeschränktes) Kriterium beschränken möchte – der NPS ein nützliches Mass ist.

Ein einfaches aber valides Evaluationsinstrument für Webinare

Ausgehend von bereits vorliegenden Arbeiten entwickeln und validieren die Czahajda und Černko ein einfaches Evaluationsinstrument für Webinare. Sie schlagen dafür die folgenden 10 Bewertungsaspekte vor. Die nachfolgende Tabelle zeigt die von ihnen verwendeten Items und schlägt eine Übersetzung ins Deutsche vor:

Item / DimensionUrsprüngliche Formulierung
und Vorschlag für eine deutsche Fassung
FunThis session was fun.
Das Webinar hat Spass gemacht.
ComfortI felt comfortable during the session.
Ich habe mit während der Session wohlgefühlt.
LearningI haved learned a lot.
Ich habe viel gelernt.
EfficiencyThe time was used efficiently.
Die verfügbare Zeit wurde effizient genutzt.
InteraktivitätThe session was interactive enough.
Das Webinar war ausreichend interaktiv.
DepthThe session was advanced and deep enough.
Das Webinar bot eine ausreichende inhaltliche Tiefe.
QuestionsThe session answered all my questions.
Im Rahmen des Webinars wurden alle meine Fragen beantwortet.
UsefulnessThe session will be very useful to me.
Das Webinar wird für mich im Nachgang noch nützlich sein.
ExpertiseThe trainer was an expert in this field.
Der / die Trainer:in ist ein(e) Expert:in im Fachgebiet.
NPSHow likely are you to recommend this session to a friend?
Wie gross ist die Wahrscheinlichkeit, dass Sie diese Session weiterempfehlen?
Frage-Items des vorgeschlagenen, einfachen Evaluationsinstruments für Webinare
(Quelle: Czahajda / Cernko 2021, ergänzt von scil)

Im Rahmen der Prüfung der Validität und Trennschärfe zu diesen Items haben die Autoren unter anderem eine Faktorenanalyse vorgenommen. Das Ergebnis zeigt folgendes:

  • Der NPS weist von allen Items die stärkste Korrelation mit der subjektiv wahrgenommenen Qualität eines Webinars auf.
  • Sehr hohe Korrelationen zeigen sich auch für die Aspekte „Nützlichkeit“ und „Lernen“.
  • Das Qualitätskriterium „Interaktivität“, dass häufig als zentrales Kriterium herausgestellt wird, weist die niedrigste Korrelation von allen 10 überprüften Items für subjektiv wahrgenommenen Qualität auf (mehr dazu unten).
Faktoren-Modell für das Evaluationsinstrument „Wahrgenommene Webinar-Qualität“ (Quelle: Czahajda / Černko 2021)

Qualitative Aspekte und Handlungsempfehlungen

Neben der quantitativen Untersuchung der oben genannten Aspekte haben die Autoren über offene Fragen weitere Aspekte der wahrgenommenen Qualität von Webinaren untersucht. Die Rückmeldungen haben sie in der folgenden Tabelle verdichtet. Dabei sind die Aspekte, die mit einer positiven Bewertung eines Webinars einhergehen, links aufgeführt („promoter feedback“), und die Aspekte, die mit einer negativen Bewertung einhergehen, rechts („distractor feedback“):

Gestaltungsaspekte von Webinaren, die mit positiver (links) und negativer Bewertung (rechts) einhergehen (Quelle: Czahajda / Černko 2021)

Die in dieser Tabelle angeführten Punkte überschneiden sich in Teilen mit den bereits oben angeführten Punkten und liefern ergänzende Hinweise darauf, welche Aspekte bei der Gestaltung von Webinaren beachtet bzw. berücksichtigt werden sollten.

In der abschliessenden Diskussion ihrer Ergebnisse stellen die Autoren unter anderem die beiden folgenden Punkte heraus:

  • Das Erfassen der „Qualität eines Webinars“ würde durch die Berücksichtigung von weiteren Beurteilungsaspekten (über die 10 bisher verwendeten Aspekte hinaus) gestärkt.
  • Ein so erweitertes Beurteilungsraster würde es ermöglichen, die Unterschiede (auch im Hinblick auf wahrgenommene Qualität) zwischen verschiedenen Typen von Webinaren (z.B. Fokus auf die Entwicklung von ‚hard skills‘ versus Fokus auf ’soft skills‘) deutlicher herauszuarbeiten. Dies betrifft insbesondere den Aspekt der „Interaktivität“, der insbesondere für Webinare, die auf die Entwicklung von ’soft skills‘ ausgerichtet sind, eine wichtige Rolle spielt.

Referenz

Czahajda, Radoslaw; Černko, Mitja (2021): Perceived Session Quality Scale: What contributes to the quality of synchronous online education? In: International Journal of Training and Development. DOI: 10.1111/ijtd.12216.

christoph-meier

Geschrieben von
Christoph Meier

Veröffentlicht in
Fundstücke

Verschlagwortet
E-Learning / TEL, Learning Professionals

Reader Interactions

Schreiben Sie einen Kommentar Antworten abbrechen

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert


Primary Sidebar

Lizenz Blogbeiträge

Creative Commons Lizenzvertrag
Unsere Blogbeiträge sind lizenziert unter einer Creative Commons Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International Lizenz.

Tag Cloud

70:20:10 adaptive Lernumgebungen AI / KI Analytics (Teaching~ / Learning~) Augmentation Bildungsmanagement Bildungsmarketing Blended Learning Change Management Coaching Digitale Arbeitswelt Digitale Bildung Digitale Kompetenzen Digitale Transformation Digitalisierung E-Learning / TEL Entwicklungsförderliche Führung Evaluation Führungskräfteentwicklung Hochschullehre Informelle Lernformen Kompetenzmodell Kuratieren Learning Design Learning Professionals Lern- / Trainingsmethoden Lernende Organisation Lernen in / mit VR, AR, XR Lernförderliche Führungsarbeit Lernkultur Lernmedien Lernplattform Lernräume mobile learning MOOC Professionelle Kompetenzentwicklung Ro/Bots for learning Social Media Strategieentwicklung und Portfolio-Management Tagungen & Konferenzen Trends Trendstudie Video-basiertes Lernen Wertbeitrag / Learning Value Management Zukunftsorientierte Kompetenzentwicklung

Neueste Beiträge

  • Datenbasiertes Bildungsmanagement und Daten aus dem Lernökosystem
  • Bewertungsraster für Active Learning Technologies
  • Learning Space Rating System (Educause)
  • Blended Learning – Kontext, Orientierungsrahmen, Folgerungen
  • Von Arbeitsmarktdaten zu Anpassungen im Programm-Portfolio einer Hochschule

Neueste Kommentare

  • Martin Rytz bei Blended Learning – Kontext, Orientierungsrahmen, Folgerungen
  • 2022 Workplace Learning Report | Weiterbildungsblog bei Linkedin Workplace Learning Report 2022
  • Dr. Christoph Meier | IFBB - Institut für Betriebliche Bildung bei Organisation betrieblicher Bildung – ein Orientierungsrahmen
  • Rückblick zur LEARNTEC 2022​: XR trifft Realität – Blog bei Digitale Lernkultur – eine Standortbestimmung im Rahmen des Learntec-Kongresses
  • Digitale Lernkultur – eine Standortbestimmung im Rahmen des Learntec-Kongresses | Weiterbildungsblog bei Digitale Lernkultur – eine Standortbestimmung im Rahmen des Learntec-Kongresses

Archives

  • 2022
    • Juli 2022
    • Juni 2022
    • Mai 2022
    • März 2022
    • April 2022
    • Februar 2022
    • Januar 2022
  • 2021
    • Dezember 2021
    • November 2021
    • Oktober 2021
    • September 2021
    • August 2021
    • Juli 2021
    • Juni 2021
    • Mai 2021
    • März 2021
    • April 2021
    • Februar 2021
    • Januar 2021
  • 2020
    • Dezember 2020
    • November 2020
    • Oktober 2020
    • September 2020
    • August 2020
    • Juli 2020
    • Juni 2020
    • Mai 2020
    • März 2020
    • April 2020
    • Februar 2020
    • Januar 2020
  • 2019
    • Dezember 2019
    • November 2019
    • Oktober 2019
    • September 2019
    • August 2019
    • Juli 2019
    • Juni 2019
    • Mai 2019
    • März 2019
    • April 2019
    • Februar 2019
    • Januar 2019
  • 2018
    • Dezember 2018
    • November 2018
    • Oktober 2018
    • September 2018
    • August 2018
    • Juli 2018
    • Juni 2018
    • Mai 2018
    • März 2018
    • April 2018
    • Februar 2018
    • Januar 2018
  • 2017
    • Dezember 2017
    • November 2017
    • Oktober 2017
    • September 2017
    • August 2017
    • Juli 2017
    • Juni 2017
    • Mai 2017
    • März 2017
    • April 2017
    • Februar 2017
    • Januar 2017
  • 2016
    • Dezember 2016
    • November 2016
    • Oktober 2016
    • September 2016
    • August 2016
    • Juli 2016
    • Juni 2016
    • Mai 2016
    • März 2016
    • April 2016
    • Februar 2016
    • Januar 2016
  • 2015
    • Dezember 2015
    • November 2015
    • Oktober 2015
    • September 2015
    • August 2015
    • Juli 2015
    • Juni 2015
    • Mai 2015
    • März 2015
    • April 2015
    • Februar 2015
    • Januar 2015
  • 2014
    • Dezember 2014
    • November 2014
    • Oktober 2014
    • September 2014
    • August 2014
    • Juli 2014
    • Juni 2014
    • Mai 2014
    • März 2014
    • April 2014
    • Februar 2014
    • Januar 2014
  • 2013
    • Dezember 2013
    • November 2013
    • Oktober 2013
    • September 2013
    • August 2013
    • Juli 2013
    • Juni 2013
    • Mai 2013
    • März 2013
    • April 2013
    • Februar 2013
    • Januar 2013
  • 2012
    • Dezember 2012
    • November 2012
    • Oktober 2012
    • September 2012
    • August 2012
    • Juli 2012
    • Juni 2012
    • Mai 2012
    • März 2012
    • April 2012

Kategorien

  • Allgemein
  • Aufträge, Projekte & Studien
  • Beiträge
  • Fundstücke
  • Publications
  • Stichworte
  • Vertiefung
  • Vorträge & Workshops

Meta

  • Anmelden
  • Feed der Einträge
  • Kommentare-Feed
  • WordPress.org
Accreditations

Member of



© Copyright 2022 University
of St.Gallen Switzerland · General
legal information ·Data privacy
statement
· GTM

Dufourstrasse 50
CH-9000 St.Gallen
Tel +41 71 224 21 11
Fax +41 71 224 28 16

University of St.Gallen – School
of Management, Economics,
Law, Social Sciences and
International Affairs (HSG)

Wenn Sie auf dieser Seite bleiben, stimmen Sie der Nutzung von Cookies zu. Mehr..

Ok Abmelden