Wie robust sind latente Zusammenhangsschätzungen in der längsschnittlich angelegten large-scale assessment Studie NEPS gegen unterspezifizierte Hintergrundmodelle?

Abstract

Das nationale Bildungspanel (NEPS) ist eine großangelegte Längsschnittstudie mit einem Multikohorten-Sequenz-Design (Blossfeld, von Maurice, & Schneider, 2011). Ein wesentliches Ziel des NEPS besteht darin, zusammenhangsanalytische Untersuchungen zwischen Kompetenzen und erklärenden Variablen zu ermöglichen. Auf Individualebene werden hierfür Punktschätzer der individuellen Fähigkeit zur Verfügung gestellt (Pohl & Carstensen, 2012). Bei der Untersuchung von Zusammenhängen auf der Populationsebene bieten jedoch sogenannte „plausible values“ (Mislevy, 1984; Mislevy, 1991) zahlreiche methodologische Vorteile (Beaton, 1987) – ganz zentral die Analyse auf latenter Ebene. Das übliche Vorgehen bei einer Schätzung dieser plausible values besteht darin, möglichst alle erhobenen Kontextvariablen mit in das Modell aufzunehmen. Aufgrund der komplexen Datenlage im NEPS, ist dies jedoch kaum möglich. Die Bereitstellung von plausible values stellt daher für das nationale Bildungspanel eine besondere Herausforderung dar.Im Vortrag wird der Frage nachgegangen, inwieweit reduzierte (d.h. unterspezifizierte) Hintergrundmodelle bei der Schätzung der plausible values ausreichen, um die untersuchten latenten Zusammenhänge annähernd adäquat abzubilden.Hierfür wird exemplarisch untersucht, welcher Zusammenhang zwischen den im NEPS erhobenen schülerbezogenen motivationalen und persönlichkeitsbezogenen Konstrukten (hierzu zählen beispielsweise Leistungsmotivation, persönliche Ziele, Interessensorientierungen sowie allgemeines und domänenspezifisches Selbstkonzept) und der Lese- und Mathematikfähigkeit besteht. Um plausible values zu schätzen, werden zwei verschiedene Hintergrundmodelle entwickelt:Modell 1 stellt ein vollständiges Modell dar, in dem alle erhobenen relevanten schülerbezogenen Variablen mit Hilfe latenter Regressionen in das Hintergrundmodell aufgenommen werden; Modell 2 hingegen stellt ein sparsameres Modell dar, welches mit ausgewählten Kontextvariablen auskommt. In beiden Modellen dient ein Item-Response-Modell dazu, die latente Fähigkeit der Schüler im Bereich Mathematik und Lesen zu schätzen.In einem zweiten Schritt werden die aus der marginalen posterioren Verteilung geschätzten plausible values als Populationsschätzer (Beaton, 1987) der Mathematik- bzw. Lesekompetenz herangezogen, um mit diesen den latenten Zusammenhang zwischen Kompetenzen und motivationalen und persönlichkeitsbezogenen Variablen zu untersuchen. Im Vortrag wird dargestellt, in welchem Ausmaß die Verwendung des sparsameren Modells 2 zu verzerrten Populationsschätzern und damit auch zu verzerrten Zusammenhangsschätzungen der Kompetenzen mit den erklärenden Variablen führen kann.Beide Modelle werden mit Daten aus der Startkohorte 3 des NEPS (Fünftklässler an Regel- und Förderschulen sowie Eltern, Lehrer/innen und Schulleiter/innen als Kontextpersonen) (Pohl, Haberkorn, Hardt & Wiegand, 2012) und anhand einer Simulationsstudie getestet. Im Rahmen des Vortrags werden erste Ergebnisse vorgestellt und diskutiert.