Statistische Aussagekraft
Voraussetzungen für aussagekräftige Ergebnisse sind zunächst geeignete Messverfahren und eine genaue, zuverlässige, objektive Durchführung der Messung. Die Ergebnisse kann man dann besonders gut verallgemeinern, wenn sie auf der Messung vieler Menschen oder Aufgaben beruhen. Eine Messung mit sehr vielen Aufgaben ist genauer als eine mit wenigen Aufgaben, d. h., sie hat eine größere statistische Aussagekraft.
Messungen ohne Messunsicherheit sind in der Realität nicht möglich, u. a., da die Länge der Hefte durch die zumutbare Dauer des Tests begrenzt ist. Das führt zu einer gewissen Unschärfe in den Messungen. Die individuelle Leistungsfähigkeit am Tag der Kompetenzmessung hängt zudem von vielerlei Faktoren ab (z. B. von der Tagesverfassung, Schwierigkeiten mit der Prüfungssituation oder anderen Umständen wie Umgebungslärm), die dazu führen, dass die Ergebnisse von der tatsächlichen Kompetenz der Schülerin/des Schülers nach oben oder unten abweichen.
Die Ergebnisse der iKMPLUS sind somit Momentaufnahmen, die Schätzer der Kompetenzen eines Kindes darstellen und in einem bestimmten Schwankungsbereich liegen. In den Informationen zu den Rückmeldungen für Schüler/innen und Erziehungsberechtigte ("Lese- und Interpretationshinweise für Schüler/innen, Eltern und Erziehungsberechtigte", verfügbar unter www.iqs.gv.at/downloads/nationale-kompetenzerhebung/ikm-plus-volksschule/schueler-innen-und-erziehungsberechtigte) wird darauf hingewiesen, dass es sich um eine Momentaufnahme handelt.
Tendenziell nimmt die Zuverlässigkeit von statistischen Kennwerten auch mit steigender Schüleranzahl zu. Die größte Aussagekraft haben Auswertungen auf Österreichebene. Auch die Rückmeldungen für Lehrpersonen liefern verlässliche Werte, die allerdings mit einer gewissen statistischen Unsicherheit einhergehen. Je kleiner eine Schule oder Klasse ist, desto größer wird die Unschärfe. Die einzelne Leistung einer Schülerin/eines Schülers kann mit höherer Wahrscheinlichkeit von den tatsächlichen Kompetenzen abweichen als die mittlere Leistung einer Schule oder Klasse.
In der Information an Schüler/innen und Erziehungsberechtigte wird auch darauf hingewiesen, dass die Rückmeldung der iKMPLUS von den Rückmeldungen durch die unterrichtende Lehrkraft abweichen kann. Dies ist jedoch nicht nur auf die statistische Genauigkeit zurückzuführen. Während Lehrpersonen für die Klasse, in der sie unterrichten, passendes Lehr- und Überprüfungsmaterial auswählen, werden bei der iKMPLUS für alle Kinder gleiche Beispiele aus der gesamten Bandbreite des möglichen Leistungsspektrums ausgewählt. Daher können Kinder in Schularbeiten möglicherweise ein anderes Leistungserlebnis haben, weil diese an ihren Unterricht und ihre Fähigkeiten besser angepasst sind. Andererseits kann so sichergestellt werden, dass der Weg zur Erreichung der Bildungsstandards objektiv gemessen wird. Angesichts dessen ist es besonders wichtig, dass die Ergebnisse von den Lehrpersonen kontextualisiert und vor dem Hintergrund ihrer Expertise über die Kompetenz des Kindes interpretiert werden.