Der IQOer – Ein Instrument zur Erfassung der Qualität von OER

Die Qualität von freien Bildungsressourcen umfasst eine Vielzahl von Aspekten. Generell lassen sich dabei technische, pädagogisch-didaktische sowie inhaltliche Aspekte unterscheiden. Prof. Olaf Zawacki-Richter von der Universität Oldenburg und Prof. Kerstin Mayrberger von der Universität Hamburg unternahmen 2017 den Versuch, ein umfassendes Modell der Qualität von OER zu entwickeln. Hierzu betrachteten sie acht internationale Ansätze zur Qualitätssicherung von Lernmaterialien und integrierten diese zu einem übergreifenden Modell.

Skala „Fachwissenschaftliche Orientierung“ (IQOer), Grafik: , CC BY 4.0

Ein Beitrag von Wolfgang Müskens und Olaf Zawacki-Richter

Am Beispiel der Hamburg Open Online University wurde dann 2018 ein erster Vorschlag erarbeitet, wie sich dieses Modell in ein Instrument zur Erfassung der Qualität von OER (IQOer) umsetzen ließe. Dieses Instrument wurde seither kontinuierlich weiterentwickelt und kann in der aktuellen Entwicklungsversion unter ResearchGate frei heruntergeladen werden.

Die Skalen des IQOer

Der IQOer besteht aus sieben Kernskalen, die sich auf nahezu alle OER anwenden lassen:

  • Fachwissenschaftliche Fundierung,
  • Inhaltliche Wiederverwendbarkeit,
  • Anwendung und Transfer,
  • Hilfestellung und Support,
  • Motivation,
  • Struktur, Navigation und Orientierung sowie
  • Design und Lesbarkeit.

Darüber hinaus gibt es fünf spezifische Skalen, die sich nur auf OER anwenden lassen, die besondere Gestaltungsmerkmale besitzen:

  • Zielgruppenorientierung,
  • Alignment,
  • Assessment und
  • Interaktivität.

Schließlich umfasst das Instrument auch noch vier Skalen zur Zugänglichkeit, deren Erfassung jedoch technische Expertise erfordert:

  • CC-Lizenz,
  • Zugänglichkeit für Menschen mit Beeinträchtigungen,
  • Zuverlässigkeit und Kompatibilität,
  • Technische Wiederverwertbarkeit.

Die Kernskalen und die spezifischen Skalen des IQOer liegen jeweils in einer Lang- und einer Kurzversion vor. Je nach Einsatzszenario kann die Anwender*in entscheiden, welche dieser Versionen verwendet werden soll. Die Kurzskalen bestehen aus jeweils fünf Abstufungen, wobei die mittlere (hellgrüne) Stufe den Mindeststandard beschreibt und die oberste Stufe einen Premiumstandard.

Die Validierung des IQOer

Von 2018 bis 2022 wurde das Instrument im Rahmen einer Validierungsuntersuchung weiterentwickelt. Die Validierung eines pädagogischen oder psychologischen Messinstrumentes ist ein aufwändiger und komplexer Prozess. Man kann sich daher die Frage stellen, ob der Aufwand für eine Überprüfung der Qualität eines Messinstrumentes überhaupt gerechtfertigt ist. Warum sollte ein Instrument zur Erfassung der Qualität von OER überhaupt validiert werden?

Bei einem medizinischen Messinstrument (z.B. einem Blutdruckmessgerät oder einem Pulsoximeter, das die Sauerstoffsättigung des Blutes misst), ist es unmittelbar einsichtig, wie wichtig die Güte der Messung ist. Eine fehlerhafte Messung kann zu falschen Diagnosen und damit zu einer gefährlichen Fehlbehandlung der Patient*in führen.

Auch bei mangelhafter Güte eines Messinstrumentes zur Erfassung der Qualität von OER können die Folgen erheblich sein: So können bei einem Peer-Review Instrumente mit hoher Qualität fälschlicherweise abgelehnt werden oder umgekehrt kann einer Ressource mit erheblichen Qualitätsmängeln zu Unrecht eine hohe Qualität bescheinigt werden. Auch hier kann ein Instrument mit mangelnder Güte somit zu fehlerhaften Messungen und damit zu falschen Entscheidungen führen.

Um die Qualität eines medizinischen Messinstrumentes zu erfassen, kann man beispielsweise überprüfen, ob wiederholte Messungen zum gleichen Ergebnis führen (Retest-Reliabilität), ob die Messungen zweier ähnlicher Messgeräte übereinstimmen (Paralleltest-Reliabilität) und ob zwei unterschiedliche Ärzt*innen bei der gleichen Patient*in zum gleichen Ergebnis kommen (Objektivität). In ähnlicher Weise wurde auch die Qualität des IQOER im Rahmen der Validierung überprüft.

An der Validierungsuntersuchung, die im Rahmen des vom BMBF geförderten Projekts „Digitale Bildungsarchitekturen – Offene Lernressourcen in verteilten Infrastrukturen – EduArc“ stattfand, nahmen insgesamt 95 Personen teil. Es handelte sich um Studierende und Mitarbeiter*innen unterschiedlicher Disziplinen an der Universität Oldenburg. Diese hatten jeweils die Aufgabe zwei verschiedene OER mittels des IQoer zu bewerten. Dazu mussten sie die entsprechenden Ressourcen durcharbeiten und anschließend anhand der Kriterien des Instruments bewerten. Insgesamt kamen dabei 101 unterschiedliche Ressourcen aus verschiedenen deutschen Online-Repositorien (u.a. Twillo, HOOU) zum Einsatz. Anhand der Analysen der so gewonnen Daten wurden die Formulierungen der Kriterien des IQoer überarbeitet. Durch diese sogenannte „Testoptimierung“ konnten die Gütekriterien des Messinstrumentes erheblich verbessert werden.

Die Skalen des IQOer in der aktuellen Version 17 verfügen nunmehr über eine hinreichende Reliabilität und Konstruktvalidität.

Einsatzmöglichkeiten des IQOer

Das Instrument kann in verschiedenen Szenarien eingesetzt werden. Die naheliegendste Anwendung liegt in der Nutzung durch die Autor*innen bzw. Entwickler*innen selbst, während der Erstellung einer OER. Hier kann der IQOer als eine Art Leitfaden für die umfassende Berücksichtigung der verschiedenen Aspekte von Qualität dienen.

Darüber hinaus ist aber auch bei der Auswahl bzw. Optimierung von Ressourcen der Einsatz des Instrumentes denkbar. So könnten Skalen des Instruments z. B. bei einem Peer-Review von OER zum Einsatz kommen.

Man sollte jedoch nicht vergessen, dass mittels eines Messinstruments wie dem IQOer stets nur die Momentaufnahme einer OER erfasst werden kann. Die Veränderung und Anpassung von Lernressourcen durch Reuse und Remix sind integraler Bestandteil der Idee von offenen Bildungsmaterialien. Hier muss zusätzlich zu geeigneten Messinstrumenten auch der Prozess der Entstehung, Nutzung und Überarbeitung in den Fokus der Qualitätssicherung rücken.

 

Creative Commons LizenzvertragDieser Text steht unter der CC BY 4.0-Lizenz. Die Namen der Urheber sollen bei einer Weiterverwendung wie folgt genannt werden: Wolfgang Müskens, Olaf Zawacki-RichterUniversität Oldenburg, für OERinfo – Informationsstelle OER.

Save the Date! – 3. OERinfo-Webinar: Was bedeutet die OER Recommendation für Open Education und OER in nordeuropäischen Ländern?

Pop filter installed, Foto: Jeff Keyzer, CC BY-SA 2.0

Das dritte Webinar aus der Reihe von Talks zu Open Education und OER in nordeuropäischen Ländern findet am 2. Dezember 2019 statt. Thema des Meetings wird die OER Recommendation sein, die von den UNESCO-Mitgliedsstaaten bei der UNESCO Generalkonferenz in Paris angenommen wurde. Was steht im Text der OER Recommendation und welche Konsequenzen ergeben sich voraussichtlich daraus für die einzelnen Mitgliedsstaaten? Diese und weitere Fragen sollen gemeinsam mit dem Publikum diskutiert werden.

Weiterlesen >

OER-Initiativen und -Projekte in nordeuropäischen Ländern – Die Aufzeichnung des Webinars ist da

Recording, Foto: Eelke, CC BY 2.0, via Flickr.

Im zweiten von insgesamt drei Webinaren zu Open Education und Open Educational Resources in Nordeuropa stellten die Expert*innen OER- Initiativen und -Projekte aus ihren jeweiligen Ländern vor. Die Aufzeichnung des Webinars und die Präsentationen der Expert*innen stehen nun bereit.

Weiterlesen >

Save the Date! – OERinfo-Webinar: OER-Projekte- und Initiativen in anderen Ländern

Webinar, Foto: CC0.

Was können wir über Open Education und OER von unseren Nachbarn im Norden lernen? Am Montag, den 11.11.2019 in der Zeit von 13:00 bis 14:00 Uhr präsentieren dazu Vertreter*innen aus Finnland, Schweden und Deutschland, welche Projekte und Initiativen zu OER es bei ihnen derzeit gibt und diskutieren mit dem Publikum Fragen dazu. Wir zeigen, wie man dabei sein kann.

Weiterlesen >

Dabei sein! – Auftakt der OERinfo Webinar-Reihe zu Open Education und OER in nordeuropäischen Ländern

Webinar- und Podcast-Setting, Foto: Stephan Ridgway, CC BY 2.0.

Um Stand und Perspektiven von Open Education und OER im eigenen Land einordnen zu können, hilft ein Blick hinüber zu den Nachbarn. Was machen andere? Am Dienstag, den 8. Oktober 2019 findet dazu das erste von insgesamt drei OERinfo-Webinaren mit Vertreter*innen aus Finnland, Schweden und Deutschland statt. Wir zeigen, wie man dabei sein und mit den Expert*innen in den Austausch treten kann.

Weiterlesen >

OERinfo-Webinare – Wie steht es um Open Education und OER in nordeuropäischen Ländern?

Webinar, Grafik: Anders Abrahamsson, CC BY 2.0.

Was passiert eigentlich im Bereich Open Education und OER in anderen europäischen Ländern? Welche Schwerpunkte werden woanders in diesen Bereichen gesetzt und was können wir voneinander lernen? In mehreren Webinaren rund um Open Education und OER tauschen sich Expert*innen aus drei Ländern untereinander und gemeinsam mit den Teilnehmenden über ihre Erfahrungen aus.

Weiterlesen >

Programm und Anmeldung zu OpERA-Tagung ist da

Wissenschaftliche Weiterbildung an Hochschulen in Bewegung

Programm der Tagung, Foto von Sonja Borski, CC BY 4.0
Programm der Tagung, Foto von Sonja Borski, CC BY 4.0

„Open Education und Qualität – Zur Praxis im Umgang mit OER“, so lautet der Titel der Keynote von Prof. Dr. Kerstin Mayrberger und Prof. Dr. Olaf-Zawacki-Richter. Die beiden Professor*innen halten den Eröffnungsvortrag der Informations- und Netzwerkveranstaltung zu OER in der wissenschaftlichen Weiterbildung an Hochschulen am 14. und 15. Dezember 2017 in Oldenburg. Das Programm der Tagung ist nun online. Veranstalter ist das Verbundprojekt OpERA – Open Educational Resources in der Akademischen Weiterbildung der Universitäten Ulm, Oldenburg und Weimar. Zum Austausch eingeladen sind Interessierte und OER-Praktizierende aus dem Bereich der wissenschaftlichen Weiterbildung, aber auch darüber hinaus.

Weiterlesen >