Punktwerte in der iKMPLUS
In der Rückmeldung der iKMPLUS werden zwei verschiedene Punktwerte benutzt: "Kompetenzpunkte" und "Aufgabenpunkte" (vgl. ⟶ Abb. 18 unten). Vereinfacht gesagt dienen sie verschiedenen Zwecken, werden deshalb verschieden berechnet und auf verschiedenen Skalen rückgemeldet.
- Kompetenzpunkte werden für die Gesamtwerte benutzt, z. B. für das Mathematik-Gesamtergebnis. Die Kompetenzpunkte sind innerhalb eines Fachs über alle Aufgabenpakete hinweg vergleichbar, das heißt, die Ergebnisse von verschiedenen Klassen/Unterrichtsgruppen (= Schüler/innen mit verschiedenen Aufgabenpaketen) können verglichen werden.
- Aufgabenpunkte beziehen sich nur auf die Aufgaben, die in dem in einer Klasse/Unterrichtsgruppe eingesetzten Aufgabenpaket vorhanden sind. Sie sind daher nicht über alle Pakete hinweg vergleichbar. Sie werden für die verschiedenen Teilbereiche in den Fächern angegeben und dienen dazu, innerhalb einer Klasse/Unterrichtsgruppe genauer differenzieren zu können.
Kompetenzpunkte
Die Kompetenzpunkte liegen auf einer Skala (vgl. ⟶ Abb. 18), die von 80 bis 220 reicht und auf der 7. Schulstufe einen Mittelwert von 150 hat. Die Mittelwerte der 8. Schulstufe sind fach- und jahrgangsspezifisch. Die Skala wird immer gleich dargestellt, unabhängig von den zu erreichenden Maximalwerten. Diese können nach Modulen unterschiedlich sein.
Kompetenzpunkte werden folgendermaßen gewonnen: Die Rohwerte aller Aufgabenpakete (= die Punkte, die die Schüler/innen in den jeweiligen Aufgabenpaketen erreichen konnten und tatsächlich erreicht haben) werden durch ein mathematisches Verfahren (ein Item-Response-Theorie-Modell) gemeinsam verrechnet. Dadurch wird dafür gesorgt, dass kleinere Unterschiede in den Schwierigkeiten der Aufgabenpakete ausgeglichen werden. Der Mittelwert in jedem Paket ist über alle Paketformen hinweg gleich interpretierbar. Das heißt, es gibt nur einen Österreich-Mittelwert (anders als bei den ⟶ Aufgabenpunkten).
Wie werden Kompetenzpunkte berechnet?
Die Kompetenzpunkte werden mit einem mathematischen Verfahren berechnet, dem sogenannten Rasch-Modell. Eine der Voraussetzungen dafür ist, dass die Merkmale (z. B. die gemessenen Kompetenzen) in einer bestimmten Weise verteilt sind – normalverteilt. Wie viele andere Merkmale (Körpergröße, Intelligenz usw.) folgt auch Kompetenz einer sogenannten "Normalverteilung".
Im Rasch-Modell wird angenommen, dass eine Person mit einer bestimmten Fähigkeit eine Aufgabe einer bestimmten Schwierigkeit mit einer bestimmten Wahrscheinlichkeit lösen kann. Diese Wahrscheinlichkeit kann berechnet werden.
Wie werden Kompetenzpunkte auf der 8. Schulstufe berechnet?
Die Ergebnisse der 8. Schulstufe werden in Bezug gesetzt zu den Ergebnissen der 7. Schulstufe des Vorjahrs. Das geschieht durch ein sog. "Linking". Einfach gesagt werden Aufgaben in beiden Schulstufen eingesetzt und es wird gemessen, wie sich die Schwierigkeiten der Aufgaben verändern. Diese Veränderung kann dann auf der Skala der Kompetenzpunkte dargestellt werden. Anhand der Veränderung des Mittelwerts von 150 auf der 7. Schulstufe zum Mittelwert der 8. Schulstufe zeigt sich dann, wie sehr sich die Schüler/innen in Österreich in einem bestimmten Bereich gegenüber dem Vorjahr verändert haben.
Diese 9 Punkte Differenz stellen den mittleren Lernzuwachs dieser Schülerkohorte von der 3. auf die 4. Schulstufe in Deutsch (Lesen) in Österreich 2022–2023 dar. Diese Differenz kann jährlich anders ausfallen, da sie auf den Schülerergebnissen des Vorjahres in der 3. Schulstufe und den Ergebnissen des laufenden Schuljahres in der 4. Schulstufe basiert.
Weiterführende Literatur
Um diesen Text kurz zu halten, wird hier nicht näher auf die Technik hinter dem sog. Linking eingegangen. Literatur zum Linking generell bietet z. B. folgendes Handbuch:
- Lee, W. C. & Lee, G. (2018). IRT linking and equating. In P. Irwing, T. Booth & D. J. Hughes (Hrsg.), The Wiley Handbook of Psychometric Testing: A Multidisciplinary Reference on Survey, Scale and Test (S. 639–673). Wiley: New York, NY, USA.
Konkret auf die Verfahren der Bildungsstandardüberprüfung Bezug nehmend stehen derzeit folgende Publikationen zur Verfügung:
- Trendtel, M., Pham, G. & Yanagida, T. (2016). Skalierung und Linking. In S. Breit & C. Schreiner (Hrsg.), Large-Scale Assessment mit R. Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung (S. 185–224). Wien: facultas.
- Trendtel, M. (2015). Skalierung der Leistungsdaten und Linking zur Baseline-Erhebung. Technische Dokumentation – BIST-Ü Mathematik, 4. Schulstufe, 2013. Salzburg: BIFIE.