Punktwerte in der iKMPLUS 

In der Rückmeldung der iKMPLUS werden zwei verschiedene Punktwerte benutzt: "Kompetenzpunkte" und "Aufgabenpunkte" (vgl. ⟶ Abb. 24 unten). Vereinfacht gesagt dienen sie verschiedenen Zwecken, werden deshalb verschieden berechnet und auf verschiedenen Skalen rückgemeldet.

  • Kompetenzpunkte werden für die Gesamtwerte benutzt, z. B. für das Mathematik-Gesamtergebnis. Die Kompetenzpunkte sind innerhalb eines Fachs über alle Aufgabenpakete hinweg vergleichbar, das heißt, die Ergebnisse von verschiedenen Klassen/Unterrichtsgruppen (= Schülerinnen und Schüler mit verschiedenen Aufgabenpaketen) können verglichen werden.
     
  • Aufgabenpunkte beziehen sich nur auf die Aufgaben, die in dem in einer Klasse/Unterrichtsgruppe eingesetzten Aufgabenpaket vorhanden sind. Sie sind daher nicht über alle Pakete hinweg vergleichbar. Sie werden für die verschiedenen Teilbereiche in den Fächern angegeben und dienen dazu, innerhalb einer Klasse/Unterrichtsgruppe genauer differenzieren zu können.
Die Grafik zeigt alle Ergebnisse einer einzelnen Schülerin/eines einzelnen Schülers.

Kompetenzpunkte

7. Schulstufe

Die Kompetenzpunkte liegen auf einer Skala (vgl. ⟶ Abb. 24), die von 80 bis 220 reicht und auf der 7. Schulstufe einen Mittelwert von 150 hat.

8. Schulstufe

Die Mittelwerte der 8. Schulstufe sind fach- und jahrgangsspezifisch. Das heißt, eine sehr leistungsstarke Kohorte kann einen wesentlich höheren Mittelwert erzielen, eine schwächere Kohorte auch einen niedrigeren. Die Mittelwerte der 8. Schulstufe werden jedes Jahr mit den aktuellen Daten neu berechnet.

Wie werden Kompetenzpunkte berechnet?

Kompetenzpunkte werden folgendermaßen gewonnen: Die Rohwerte aller Aufgabenpakete (= die Punkte, die die Schülerinnen und Schüler in den jeweiligen Aufgabenpaketen erreichen konnten und tatsächlich erreicht haben) werden durch ein mathematisches Verfahren (ein Item-Response-Theorie-Modell) gemeinsam verrechnet. Dadurch wird dafür gesorgt, dass kleinere Unterschiede in den Schwierigkeiten der Aufgabenpakete ausgeglichen werden. Der Mittelwert in jedem Paket ist über alle Paketformen hinweg gleich interpretierbar. Das heißt, es gibt nur einen Österreich-Mittelwert (anders als bei den  ⟶ Aufgabenpunkten).

Die Kompetenzpunkte werden mit einem mathematischen Verfahren berechnet, dem sogenannten Rasch-Modell. Eine der Voraussetzungen dafür ist, dass die Merkmale (z. B. die gemessenen Kompetenzen) in einer bestimmten Weise verteilt sind (normalverteilt). Wie viele andere Merkmale (Körpergröße, Intelligenz usw.) folgt auch Kompetenz einer sogenannten "Normalverteilung". Diese Verteilung wird in ⟶ Abb. 25 dargestellt.

Im Rasch-Modell wird angenommen, dass eine Person mit einer bestimmten Fähigkeit eine Aufgabe einer bestimmten Schwierigkeit mit einer bestimmten Wahrscheinlichkeit lösen kann. Diese Wahrscheinlichkeit kann berechnet werden.

Nach der Berechnung liegen die Kompetenzpunkte auf einem Kontinuum mit null als Mittelwert. Der Großteil der Punkte liegt zwischen –3 und +3 (im Beispiel Abb. 25 sind die Werte bereits transformiert. 90 Punkte in dieser Transformation entsprechen –3, 210 Punkte +3, was insgesamt 99,7 % der Werte abdeckt). Da diese Skala in der Praxis unhandlich ist und die Hälfte der Werte negativ ist, wird sie – vergleichbar der Transformation von Grad Celsius in Fahrenheit – in die Skala der Kompetenzpunkte umgewandelt. Bei dieser Umwandlung bleibt die Verteilung gleich, nur die Skala ändert sich, und es werden keine negativen Werte mehr angezeigt. Der Mittelwert der gewählten Skala liegt auf der 7. Schulstufe bei 150 in jedem Kompetenzbereich. Die Mittelwerte der 8. Schulstufe beziehen sich jedes Jahr auf die vorhergegangene 7. Schulstufe und werden jedes Jahr neu berechnet.

Die Standardabweichung beträgt 20 Punkte. Angezeigt werden i. d. R. alle Werte zwischen 80 und 220 Punkten, darüber und darunter wird abgeschnitten und die Werte 80 bzw. 220 angezeigt. Für Englisch werden Werte zwischen 80 und 190 Punkten dargestellt (⟶ Kompetenzpunkte in Englisch).

Wie werden Kompetenzpunkte auf der 8. Schulstufe berechnet?

Die Ergebnisse der 8. Schulstufe werden in Bezug gesetzt zu den Ergebnissen der 7. Schulstufe des Vorjahrs. Das geschieht durch ein sog. "Linking". Einfach gesagt werden Aufgaben in beiden Schulstufen eingesetzt und es wird gemessen, wie sich die Schwierigkeiten der Aufgaben verändern. Diese Veränderung kann dann auf der Skala der Kompetenzpunkte dargestellt werden. Anhand der Veränderung des Mittelwerts von 150 auf der 7. Schulstufe zum Mittelwert der 8. Schulstufe zeigt sich dann, wie sehr sich die Schülerinnen und Schüler in Österreich in einem bestimmten Bereich gegenüber dem Vorjahr verändert haben.

Die Grafik zeigt ein Beispiel der Veränderung in Deutsch (Lesen) von der 3. auf die 4. Schulstufe, im Schuljahr2022/23.3

Diese 9 Punkte Differenz stellen den mittleren Lernzuwachs dieser Schülerkohorte von der 3. auf die 4. Schulstufe in Deutsch (Lesen) in Österreich 2022–2023 dar. Diese Differenz kann jährlich anders ausfallen, da sie auf den Ergebnissen des Vorjahrs auf der 3. Schulstufe und den Ergebnissen des laufenden Schuljahrs auf der 4. Schulstufe basiert.

Weiterführende Literatur

Um diesen Text kurz zu halten, wird hier nicht näher auf die Technik hinter dem sog. Linking eingegangen. Literatur zum Linking generell bietet z. B. folgendes Handbuch:

  • Lee, W. C. & Lee, G. (2018). IRT linking and equating. In P. Irwing, T. Booth & D. J. Hughes (Hrsg.), The Wiley Handbook of Psychometric Testing: A Multidisciplinary Reference on Survey, Scale and Test (S. 639–673). Wiley: New York, NY, USA.

Konkret auf die Verfahren der Bildungsstandardüberprüfung Bezug nehmend stehen derzeit folgende Publikationen zur Verfügung:

  • Trendtel, M., Pham, G. & Yanagida, T. (2016). Skalierung und Linking. In S. Breit & C. Schreiner (Hrsg.), Large-Scale Assessment mit R. Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung (S. 185–224). Wien: facultas.
  • Trendtel, M. (2015). Skalierung der Leistungsdaten und Linking zur Baseline-Erhebung. Technische Dokumentation – BIST-Ü Mathematik, 4. Schulstufe, 2013. Salzburg: BIFIE.
BCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-Icons_datei_bildBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-IconsBCMS-Icons
Ihr Browser ist veraltet!

Bitte aktualisieren Sie Ihren Browser, um diese Website korrekt darzustellen. Den Browser jetzt aktualisieren

×