Der IQOer – Ein Instrument zur Erfassung der Qualität von OER

Die Qualität von freien Bildungsressourcen umfasst eine Vielzahl von Aspekten. Generell lassen sich dabei technische, pädagogisch-didaktische sowie inhaltliche Aspekte unterscheiden. Prof. Olaf Zawacki-Richter von der Universität Oldenburg und Prof. Kerstin Mayrberger von der Universität Hamburg unternahmen 2017 den Versuch, ein umfassendes Modell der Qualität von OER zu entwickeln. Hierzu betrachteten sie acht internationale Ansätze zur Qualitätssicherung von Lernmaterialien und integrierten diese zu einem übergreifenden Modell.

Skala „Fachwissenschaftliche Orientierung“ (IQOer), Grafik: , CC BY 4.0

Ein Beitrag von Wolfgang Müskens und Olaf Zawacki-Richter

Am Beispiel der Hamburg Open Online University wurde dann 2018 ein erster Vorschlag erarbeitet, wie sich dieses Modell in ein Instrument zur Erfassung der Qualität von OER (IQOer) umsetzen ließe. Dieses Instrument wurde seither kontinuierlich weiterentwickelt und kann in der aktuellen Entwicklungsversion unter ResearchGate frei heruntergeladen werden.

Die Skalen des IQOer

Der IQOer besteht aus sieben Kernskalen, die sich auf nahezu alle OER anwenden lassen:

  • Fachwissenschaftliche Fundierung,
  • Inhaltliche Wiederverwendbarkeit,
  • Anwendung und Transfer,
  • Hilfestellung und Support,
  • Motivation,
  • Struktur, Navigation und Orientierung sowie
  • Design und Lesbarkeit.

Darüber hinaus gibt es fünf spezifische Skalen, die sich nur auf OER anwenden lassen, die besondere Gestaltungsmerkmale besitzen:

  • Zielgruppenorientierung,
  • Alignment,
  • Assessment und
  • Interaktivität.

Schließlich umfasst das Instrument auch noch vier Skalen zur Zugänglichkeit, deren Erfassung jedoch technische Expertise erfordert:

  • CC-Lizenz,
  • Zugänglichkeit für Menschen mit Beeinträchtigungen,
  • Zuverlässigkeit und Kompatibilität,
  • Technische Wiederverwertbarkeit.

Die Kernskalen und die spezifischen Skalen des IQOer liegen jeweils in einer Lang- und einer Kurzversion vor. Je nach Einsatzszenario kann die Anwender*in entscheiden, welche dieser Versionen verwendet werden soll. Die Kurzskalen bestehen aus jeweils fünf Abstufungen, wobei die mittlere (hellgrüne) Stufe den Mindeststandard beschreibt und die oberste Stufe einen Premiumstandard.

Die Validierung des IQOer

Von 2018 bis 2022 wurde das Instrument im Rahmen einer Validierungsuntersuchung weiterentwickelt. Die Validierung eines pädagogischen oder psychologischen Messinstrumentes ist ein aufwändiger und komplexer Prozess. Man kann sich daher die Frage stellen, ob der Aufwand für eine Überprüfung der Qualität eines Messinstrumentes überhaupt gerechtfertigt ist. Warum sollte ein Instrument zur Erfassung der Qualität von OER überhaupt validiert werden?

Bei einem medizinischen Messinstrument (z.B. einem Blutdruckmessgerät oder einem Pulsoximeter, das die Sauerstoffsättigung des Blutes misst), ist es unmittelbar einsichtig, wie wichtig die Güte der Messung ist. Eine fehlerhafte Messung kann zu falschen Diagnosen und damit zu einer gefährlichen Fehlbehandlung der Patient*in führen.

Auch bei mangelhafter Güte eines Messinstrumentes zur Erfassung der Qualität von OER können die Folgen erheblich sein: So können bei einem Peer-Review Instrumente mit hoher Qualität fälschlicherweise abgelehnt werden oder umgekehrt kann einer Ressource mit erheblichen Qualitätsmängeln zu Unrecht eine hohe Qualität bescheinigt werden. Auch hier kann ein Instrument mit mangelnder Güte somit zu fehlerhaften Messungen und damit zu falschen Entscheidungen führen.

Um die Qualität eines medizinischen Messinstrumentes zu erfassen, kann man beispielsweise überprüfen, ob wiederholte Messungen zum gleichen Ergebnis führen (Retest-Reliabilität), ob die Messungen zweier ähnlicher Messgeräte übereinstimmen (Paralleltest-Reliabilität) und ob zwei unterschiedliche Ärzt*innen bei der gleichen Patient*in zum gleichen Ergebnis kommen (Objektivität). In ähnlicher Weise wurde auch die Qualität des IQOER im Rahmen der Validierung überprüft.

An der Validierungsuntersuchung, die im Rahmen des vom BMBF geförderten Projekts „Digitale Bildungsarchitekturen – Offene Lernressourcen in verteilten Infrastrukturen – EduArc“ stattfand, nahmen insgesamt 95 Personen teil. Es handelte sich um Studierende und Mitarbeiter*innen unterschiedlicher Disziplinen an der Universität Oldenburg. Diese hatten jeweils die Aufgabe zwei verschiedene OER mittels des IQoer zu bewerten. Dazu mussten sie die entsprechenden Ressourcen durcharbeiten und anschließend anhand der Kriterien des Instruments bewerten. Insgesamt kamen dabei 101 unterschiedliche Ressourcen aus verschiedenen deutschen Online-Repositorien (u.a. Twillo, HOOU) zum Einsatz. Anhand der Analysen der so gewonnen Daten wurden die Formulierungen der Kriterien des IQoer überarbeitet. Durch diese sogenannte „Testoptimierung“ konnten die Gütekriterien des Messinstrumentes erheblich verbessert werden.

Die Skalen des IQOer in der aktuellen Version 17 verfügen nunmehr über eine hinreichende Reliabilität und Konstruktvalidität.

Einsatzmöglichkeiten des IQOer

Das Instrument kann in verschiedenen Szenarien eingesetzt werden. Die naheliegendste Anwendung liegt in der Nutzung durch die Autor*innen bzw. Entwickler*innen selbst, während der Erstellung einer OER. Hier kann der IQOer als eine Art Leitfaden für die umfassende Berücksichtigung der verschiedenen Aspekte von Qualität dienen.

Darüber hinaus ist aber auch bei der Auswahl bzw. Optimierung von Ressourcen der Einsatz des Instrumentes denkbar. So könnten Skalen des Instruments z. B. bei einem Peer-Review von OER zum Einsatz kommen.

Man sollte jedoch nicht vergessen, dass mittels eines Messinstruments wie dem IQOer stets nur die Momentaufnahme einer OER erfasst werden kann. Die Veränderung und Anpassung von Lernressourcen durch Reuse und Remix sind integraler Bestandteil der Idee von offenen Bildungsmaterialien. Hier muss zusätzlich zu geeigneten Messinstrumenten auch der Prozess der Entstehung, Nutzung und Überarbeitung in den Fokus der Qualitätssicherung rücken.

 

Creative Commons LizenzvertragDieser Text steht unter der CC BY 4.0-Lizenz. Die Namen der Urheber sollen bei einer Weiterverwendung wie folgt genannt werden: Wolfgang Müskens, Olaf Zawacki-RichterUniversität Oldenburg, für OERinfo – Informationsstelle OER.

OER-Mythen aufgeklärt

Grafik: Videoplasty.com, Research Scene Vector, CC BY-SA 4.0

Freie Bildungsmaterialien und insbesondere Open Educational Resources sind mit allerlei Mythen und Annahmen umgeben, von denen einige schlicht falsch, andere fast richtig sind. OERinfo klärt über drei dieser Mythen auf und zeigt, wo weitere Informationen zu finden sind.

Weiterlesen >

OER und das „Geheimnis“ der Metadaten – Ergebnisse des OERinfo-Workshops

Library Bookshelf, Open Grid Scheduler/Grid Engine , Quelle, CC0 1.0.

Metadaten, Encoding, Repositorien, LOM, LMRI, strukturiertes Vokabular – das sind alles Begriffe, denen Multiplikatoren*innen von Open Educational Resources begegnen. Wer OER eher aus pädagogischer oder redaktioneller Perspektive betrachtet, ist damit meistens nicht vertraut. Licht ins Dunkle bringt die Wikiversity-Seite, die im Rahmen des OERinfo-Metadaten-Workshops entstanden ist.

Weiterlesen >

Aktuelle „OER-Wissen“-Inhalte bei OERinfo

Ort der Information, Foto: murdelta, CC BY 2.0.

Wo finde ich Informationen zu bestimmten Themen rund um OER? Etwa zu den Bildungsbereichen und OER? Oder zu den vielfältigen anderen Aspekten, wie zum Beispiel Didaktik, Geschäftsmodelle oder Inklusion und OER? Hier bieten die Seiten der Informationsstelle OER – OERinfo Orientierung. Welche Themen und Informationen wo zu finden sind, zeigen wir in der Übersicht.

Weiterlesen >

Broschüre „OER in der Schule 2.0” erschienen!

Broschüre „OER in der Schule 2.0”, Grafik: Elke Hotter, (bearbeitet, Logo OERinfo entfernt von Gabi Fahrenkrog) CC BY 4.0.

Die Broschüre „OER in der Schule 2.0” enthält in kompakter Form alle wichtigen Informationen für Lehrer*innen zum Thema OER (Open Educational Resources). Sie steht unter der Lizenz CC BY-SA 4.0 und liegt als PDF vor.

Weiterlesen >

Was kann Künstliche Intelligenz (K.I.) im Zusammenhang mit OER leisten?

Roboter OER
Roboter OER, Grafik: Annett Zobel, CC0.

Über Künstliche Intelligenz (K.I.) wird gerade viel geredet. Auch in der Bildung und auch im Zusammenhang mit OER. Was aber geschieht gerade eigentlich im Hinblick auf K.I. und OER? Wir stellen zwei Projekte und ihre unterschiedlichen Ansätze vor.

Weiterlesen >

Qualität ist nicht alles. Wann hohe Anforderungen an OER kontraproduktiv werden

Ein Meinungsbeitrag von jOERan Muuß-Merholz

OER soll möglichst hohe Qualität haben – das klingt erst einmal plausibel. Diese Forderung hat jedoch fatale Nebenwirkungen, argumentiert Jöran Muuß-Merholz in seinem Meinungsbeitrag.

Samenwaage, Foto: Andreas Praefcke via Wikimedia Commons , Public Domain

Weiterlesen >

OERinfo-Webinar zu Qualität von OER

Quality von Jason Taellious, CC0.

Dass es keine Qualitätssiegel für OER-Materialien gibt, verunsichert manche Nutzerinnen und Nutzer. Wie aber lässt sich die Qualität von OER überprüfen? Unabhängig vom Bildungsbereich und vom Fach? Gibt es Kriterien dafür? Ein Webinar mit den Expert*innen von OERinfo liefert dazu Antworten.

Weiterlesen >

„Das ‘O’ in ‘OER’ steht nicht für ‘Qualität’!“ 10 Dinge, die OER untergeschoben werden

Ein Meinungsbeitrag von jOERan Muuß-Merholz

Das „O“ in OER, Foto: Chris Dies, CC BY 4.0

Die Diskussion um Open Educational Resources wird erschwert, weil der Buchstaben ‘O’ in „OER“ mit falschen Bedeutungen auf- und überladen wird. Mit OER werden viele Themen verbunden, die gar keine OER-spezifischen Fragen sind, argumentiert Jöran Muuß-Merholz in seinem Meinungsbeitrag.

Weiterlesen >

Mat^3 – OERinfo – Lessons Learned in 5×5 Zeilen

Screenshot Deutsches Zentrum für Lehrerbildung Mathematik, nicht unter freier Lizenz

Im Projekt Mat^3 wurden konkrete Qualifizierungsmaßnahmen zu OER für Lehrende der Mathematik und für Multiplikator*innen angeboten. Der Schwerpunkt dabei lag auf der Frage, wie das Material von den Multiplikator*innen verändert und angepasst werden kann. Susanne Prediger und Ulrich Kortenkamp von der TU Dortmund berichten von der Erarbeitung von OER-Qualitätsstufen, den „4 ER“, und davon, dass die entwickelten Qualitätskriterien im Deutschen Zentrum für Lehrerbildung Mathematik nun fest in die Arbeitsprozesse etabliert sind.

Weiterlesen >