Die Qualität von freien Bildungsressourcen umfasst eine Vielzahl von Aspekten. Generell lassen sich dabei technische, pädagogisch-didaktische sowie inhaltliche Aspekte unterscheiden. Prof. Olaf Zawacki-Richter von der Universität Oldenburg und Prof. Kerstin Mayrberger von der Universität Hamburg unternahmen 2017 den Versuch, ein umfassendes Modell der Qualität von OER zu entwickeln. Hierzu betrachteten sie acht internationale Ansätze zur Qualitätssicherung von Lernmaterialien und integrierten diese zu einem übergreifenden Modell.

Ein Beitrag von Wolfgang Müskens und Olaf Zawacki-Richter

Am Beispiel der Hamburg Open Online University wurde dann 2018 ein erster Vorschlag erarbeitet, wie sich dieses Modell in ein Instrument zur Erfassung der Qualität von OER (IQOer) umsetzen ließe. Dieses Instrument wurde seither kontinuierlich weiterentwickelt und kann in der aktuellen Entwicklungsversion unter ResearchGate frei heruntergeladen werden.

Die Skalen des IQOer

Der IQOer besteht aus sieben Kernskalen, die sich auf nahezu alle OER anwenden lassen:

• Fachwissenschaftliche Fundierung,
• Inhaltliche Wiederverwendbarkeit,
• Anwendung und Transfer,
• Hilfestellung und Support,
• Motivation,
• Struktur, Navigation und Orientierung sowie
• Design und Lesbarkeit.

Darüber hinaus gibt es fünf spezifische Skalen, die sich nur auf OER anwenden lassen, die besondere Gestaltungsmerkmale besitzen:

• Zielgruppenorientierung,
• Alignment,
• Assessment und
• Interaktivität.

Schließlich umfasst das Instrument auch noch vier Skalen zur Zugänglichkeit, deren Erfassung jedoch technische Expertise erfordert:

• CC-Lizenz,
• Zugänglichkeit für Menschen mit Beeinträchtigungen,
• Zuverlässigkeit und Kompatibilität,
• Technische Wiederverwertbarkeit.

Die Kernskalen und die spezifischen Skalen des IQOer liegen jeweils in einer Lang- und einer Kurzversion vor. Je nach Einsatzszenario kann die Anwender*in entscheiden, welche dieser Versionen verwendet werden soll. Die Kurzskalen bestehen aus jeweils fünf Abstufungen, wobei die mittlere (hellgrüne) Stufe den Mindeststandard beschreibt und die oberste Stufe einen Premiumstandard.

Die Validierung des IQOer

Von 2018 bis 2022 wurde das Instrument im Rahmen einer Validierungsuntersuchung weiterentwickelt. Die Validierung eines pädagogischen oder psychologischen Messinstrumentes ist ein aufwändiger und komplexer Prozess. Man kann sich daher die Frage stellen, ob der Aufwand für eine Überprüfung der Qualität eines Messinstrumentes überhaupt gerechtfertigt ist. Warum sollte ein Instrument zur Erfassung der Qualität von OER überhaupt validiert werden?

Bei einem medizinischen Messinstrument (z.B. einem Blutdruckmessgerät oder einem Pulsoximeter, das die Sauerstoffsättigung des Blutes misst), ist es unmittelbar einsichtig, wie wichtig die Güte der Messung ist. Eine fehlerhafte Messung kann zu falschen Diagnosen und damit zu einer gefährlichen Fehlbehandlung der Patient*in führen.

Auch bei mangelhafter Güte eines Messinstrumentes zur Erfassung der Qualität von OER können die Folgen erheblich sein: So können bei einem Peer-Review Instrumente mit hoher Qualität fälschlicherweise abgelehnt werden oder umgekehrt kann einer Ressource mit erheblichen Qualitätsmängeln zu Unrecht eine hohe Qualität bescheinigt werden. Auch hier kann ein Instrument mit mangelnder Güte somit zu fehlerhaften Messungen und damit zu falschen Entscheidungen führen.

Um die Qualität eines medizinischen Messinstrumentes zu erfassen, kann man beispielsweise überprüfen, ob wiederholte Messungen zum gleichen Ergebnis führen (Retest-Reliabilität), ob die Messungen zweier ähnlicher Messgeräte übereinstimmen (Paralleltest-Reliabilität) und ob zwei unterschiedliche Ärzt*innen bei der gleichen Patient*in zum gleichen Ergebnis kommen (Objektivität). In ähnlicher Weise wurde auch die Qualität des IQOER im Rahmen der Validierung überprüft.

An der Validierungsuntersuchung, die im Rahmen des vom BMBF geförderten Projekts „Digitale Bildungsarchitekturen – Offene Lernressourcen in verteilten Infrastrukturen – EduArc“ stattfand, nahmen insgesamt 95 Personen teil. Es handelte sich um Studierende und Mitarbeiter*innen unterschiedlicher Disziplinen an der Universität Oldenburg. Diese hatten jeweils die Aufgabe zwei verschiedene OER mittels des IQoer zu bewerten. Dazu mussten sie die entsprechenden Ressourcen durcharbeiten und anschließend anhand der Kriterien des Instruments bewerten. Insgesamt kamen dabei 101 unterschiedliche Ressourcen aus verschiedenen deutschen Online-Repositorien (u.a. Twillo, HOOU) zum Einsatz. Anhand der Analysen der so gewonnen Daten wurden die Formulierungen der Kriterien des IQoer überarbeitet. Durch diese sogenannte „Testoptimierung“ konnten die Gütekriterien des Messinstrumentes erheblich verbessert werden.

Die Skalen des IQOer in der aktuellen Version 17 verfügen nunmehr über eine hinreichende Reliabilität und Konstruktvalidität.

Einsatzmöglichkeiten des IQOer

Das Instrument kann in verschiedenen Szenarien eingesetzt werden. Die naheliegendste Anwendung liegt in der Nutzung durch die Autor*innen bzw. Entwickler*innen selbst, während der Erstellung einer OER. Hier kann der IQOer als eine Art Leitfaden für die umfassende Berücksichtigung der verschiedenen Aspekte von Qualität dienen.

Darüber hinaus ist aber auch bei der Auswahl bzw. Optimierung von Ressourcen der Einsatz des Instrumentes denkbar. So könnten Skalen des Instruments z. B. bei einem Peer-Review von OER zum Einsatz kommen.

Man sollte jedoch nicht vergessen, dass mittels eines Messinstruments wie dem IQOer stets nur die Momentaufnahme einer OER erfasst werden kann. Die Veränderung und Anpassung von Lernressourcen durch Reuse und Remix sind integraler Bestandteil der Idee von offenen Bildungsmaterialien. Hier muss zusätzlich zu geeigneten Messinstrumenten auch der Prozess der Entstehung, Nutzung und Überarbeitung in den Fokus der Qualitätssicherung rücken.

Dieser Text steht unter der CC BY 4.0-Lizenz. Die Namen der Urheber sollen bei einer Weiterverwendung wie folgt genannt werden: Wolfgang Müskens, Olaf Zawacki-RichterUniversität Oldenburg, für OERinfo – Informationsstelle OER.