Nationale Ergänzungsstudie zu Moduseffekten in PISA 2018

Projektleitung
DIPF

Kooperationspartner
IPN, TUM

Worum ging es in dem Projekt?

Für PISA wurde in der Hauptstudie 2015 von einem papierbasierten auf ein computerbasiertes Assessment umgestellt. Aufgrund dieser Umstellung bildete sich eine Diskussion über die psychometrische Vergleichbarkeit der PISA-Tests sowie mögliche Konsequenzen auf die Trendfortsetzung. Psychometrische Unterschiede zwischen Testaufgaben und Tests, die auf den Modus einer Testdurchführung zurückzuführen sind, werden als Moduseffekte bezeichnet.

In jeder Erhebungsrunde der PISA-Studie werden mit einem Feldtest die Neuerungen im PISA-Test psychometrisch untersucht. Der technische Bericht der OECD von 2015 zeigte, dass Moduseffekte auf die Itemschwierigkeit vorhanden waren, wobei einige Items in der computerbasierten Version schwieriger waren als in der papierbasierten Version. In diesem Zusammenhang wurden weder potentielle Moduseffekte auf die Itemdiskrimination geprüft noch umfassend die Frage nach der Konstruktäquivalenz geklärt. 

In einer Vorarbeit zu diesem Projekt untersuchten Robitzsch, Luedtke, Koeller, Kroehne, Goldhammer und Heine (2016) anhand der deutschen PISA-Stichprobe, wie sich die nationale Trendschätzung ändert, wenn der Moduseffekt in der Trendmodellierung berücksichtigt wird. Die Ergebnisse legten nahe, dass die in Deutschland von 2012 bis 2015 berichteten Leistungseinbußen (insbesondere in den Naturwissenschaften) teilweise auf Moduseffekte bzw. die Art der Korrektur zurückzuführen sein könnten.

Das vorliegende Projekt hatte das Ziel, Moduseffekte und deren Auswirkungen auf die Trendfortsetzung in PISA zu untersuchen. Die Forschenden nutzten Daten aus dem PISA 2015 Feldtest und einer zusätzlichen Begleitstudie, die der nationalen PISA 2018 Haupterhebung angegliedert war.

Die folgenden Forschungsfragen wurden untersucht: 

1. Erfasst die computerbasierte Version des PISA-Tests das gleiche Konstrukt wie die vorherige papierbasierte Version? (Moduseffekt auf Konstruktinterpretation)
2. Können die computerbasierten Aufgaben zwischen mehr oder weniger kompetenten Schüler*innen genauso unterscheiden wie die papierbasierten Aufgaben? (Moduseffekt auf Itemdiskrimination)
3. Treten Moduseffekte bei allen Personen oder Gruppen gleichermaßen auf? Falls nicht, wie lassen sich mögliche Unterschiede erklären? (Interaktionseffekt des Modus)
4. Unterscheiden sich Moduseffekte zwischen den Schulen? Wie können mögliche Unterschiede durch Schulmerkmale wie Computerausstattung und Einsatz von Computern im Unterricht erklärt werden?
5. Wie ändert sich der nationale Trend, wenn Moduseffekte berücksichtigt werden? 

Was waren die Ergebnisse? 

Während der Projektlaufzeit konnte die nationale PISA 2018 Moduseffekt-Begleitstudie vorbereitet, durchgeführt und (aufgrund einer verspäteten Datenbereitstellung) in Teilen ausgewertet werden. 

Es zeigten sich für jede Domäne empirische Belege, dass sich mit dem Wechsel von papierbasiertem Assessment zu computerbasiertem Assessment das erfasste Konstrukt nicht geändert hat (Konstruktäquivalenz). Dies veranschaulichen die sehr hohen Korrelationen zwischen den beiden Testversionen (Forschungsfrage 1). Somit ist eine wichtige Voraussetzung für die Vergleichbarkeit von computer- und papierbasierten Tests erfüllt. 

Aus den Ergebnissen geht außerdem hervor, dass die Itemdiskriminationen zwischen den beiden Testformen etwas schwanken, sich größtenteils aber nicht signifikant unterscheiden (Forschungsfrage 2). Dagegen fallen die Unterschiede bei der Itemschwierigkeit deutlicher aus, mit der Tendenz, dass computerbasierte Items im Vergleich zu den papierbasierten Items schwieriger sind. Hinsichtlich der Veränderungen zwischen 2015 und 2018 zeigt sich eine hohe Übereinstimmung von international berichtetem und nationalem Trend. Die Veränderungen zwischen 2009 und 2018 fallen für den nationalen Trend, der allein auf papierbasierten Messungen beruht, insgesamt etwas günstiger aus als für den internationalen Trend (Forschungsfrage 5). 

Aufgrund der späten Verfügbarkeit von Daten aus der PISA 2018 Hauptstudie wurden die Forschungsfragen 3) und 4) zurückgestellt und in das Fortsetzungsprojekt PISA 2018: Moduseffekt Studie II (2020-2022) verschoben. 

Publikationen zu dem Projekt

Buerger, S., Kroehne, U., Köhler, C., & Goldhammer, F. (2019). What makes the difference? The impact of item properties on mode effects in reading assessments. Studies in Educational Evaluation, 62, 1-9. https://doi.org/10.1016/j.stueduc.2019.04.005

Goldhammer, F., Harrison, G., Bürger, S., Kroehne, U., Lüdtke, O., Robitzsch, A., Köller, O., Heine, J.-H., & Mang, J. (2019). Vertiefende Analysen zur Umstellung des Modus von Papier auf Computer. In K. Reiss, M. Weis, E. Klieme, & O. Köller (Hrsg.), PISA 2018: Grundbildung im internationalen Vergleich (S. 163-186). Waxmann.

Kroehne, U., Buerger, S., Hahnel, C., & Goldhammer, F. (2019). Construct equivalence of PISA reading comprehension measured with paper‐based and computer‐based assessments. Educational Measurement: Issues and Practice, 38(3), 97–111. https://doi.org/10.1111/emip.12280

Kroehne, Ulf; Hahnel, Carolin; Goldhammer, Frank: Invariance of the response processes between gender and modes in an assessment of reading - In: Frontiers in applied mathematics and statistics 5 (2019) 2, S. 1-16. https://doi.org/10.3389/fams.2019.00002

Zehner, F., Goldhammer, F., Lubaway, E., & Sälzer, C. (2019). Unattended consequences: How text responses alter alongside PISA's mode change from 2012 to 2015. Education Inquiry, 10(1), 34-55. https://doi.org/10.1080/20004508.2018.1518080

Zehner, F., Kroehne, U., Hahnel, C., & Goldhammer, F. (2020). PISA reading: Mode effects unveiled in short text responses. Psychological Test and Assessment Modeling, 62(1), 85-105. https://doi.org/10.25656/01:20354