Punktwerte in der iKM^PLUS 

Kompetenzpunkte

3. Schulstufe

Die Kompetenzpunkte liegen auf einer Skala, die von 80 bis 220 reicht und einen Mittelwert von 150 hat (vgl. Abb. 27).

4. Schulstufe

Die Kompetenzpunkte liegen auf einer Skala, die von 80 bis 220 reicht und einen veränderlichen Mittelwert hat. Das heißt, eine sehr leistungsstarke Kohorte kann einen wesentlich höheren Mittelwert erzielen, eine schwächere Kohorte auch einen niedrigeren. Die Mittelwerte der 4. Schulstufe werden jedes Jahr mit den aktuellen Daten neu berechnet.

In den Basismodulen Deutsch (Lesen) und Mathematik können zwischen 80 und 220 Punkte erreicht werden. Im Zyklusmodul Deutsch (Zuhören) können 2024 maximal 200 Punkte erreicht werden. Das heißt, dass eine Schülerin/ein Schüler mit 200 Punkten in Deutsch (Zuhören) das bestmögliche Ergebnis erreicht hat. (Hinweis: In den Grafiken wird die Skala trotzdem von 80 bis 220 eingezeichnet).

Im mittleren Leistungsbereich misst die iKM^PLUS Deutsch (Zuhören) am genauesten. Im obersten Leistungsbereich, bei Deutsch (Zuhören) ab dem Wert von 200 Punkten (betrifft ca. 0,5 % der Schüler/innen) kann nicht mehr so trennscharf gemessen werden. Vergleiche auf der Ebene Schüler/in und Klasse/Unterrichtsgruppe sind auf Basis der Kompetenzpunkte jedoch gesichert möglich. 

Wie werden Kompetenzpunkte berechnet?

Kompetenzpunkte werden folgendermaßen gewonnen: Die Rohwerte aller Aufgaben­hefte (= die Punkte, die die Schüler/innen in den jeweiligen Heften erreichen konnten und tatsächlich erreicht haben), werden durch ein mathematisches Verfahren (ein Item-Response-Theorie-Modell, sog. Rasch-Modell) gemeinsam verrechnet. Dadurch wird dafür gesorgt, dass kleinere Unterschiede in den Schwierigkeiten der Aufgabenhefte ausgeglichen werden. Der Mittelwert in jedem Heft ist über alle Heftformen hinweg gleich interpretierbar. Das heißt, es gibt nur einen Österreich-Mittelwert (anders als bei den Aufgabenpunkten).

Die Kompetenzpunkte werden mit einem mathematischen Verfahren berechnet, dem sogenannten Rasch-Modell. Eine der Voraussetzungen dafür ist, dass die Merkmale (z. B. die gemessenen Kompetenzen) in einer bestimmten Weise verteilt sind (normalverteilt). Wie viele andere Merkmale (Körpergröße, Intelligenz usw.) folgt auch Kompetenz einer sogenannten "Normalverteilung".

Im Rasch-Modell wird angenommen, dass eine Person mit einer bestimmten Fähigkeit eine Aufgabe einer bestimmten Schwierigkeit mit einer bestimmten Wahrscheinlichkeit lösen kann. Diese Wahrscheinlichkeit kann berechnet werden.

Nach der Berechnung liegen die Kompetenzpunkte auf einem Kontinuum mit null als Mittelwert. Der Großteil der Punkte liegt zwischen –3 und +3. Da diese Skala in der Praxis unhandlich ist und die Hälfte der Werte negativ ist, wird sie – vergleichbar mit der Transformation von Grad Celsius in Fahrenheit – in die Skala der Kompetenzpunkte umgewandelt. Bei dieser Umwandlung bleibt die Verteilung gleich, nur die Skala ändert sich, und es werden keine negativen Werte mehr angezeigt. Der Mittelwert der gewählten Skala liegt bei 150 (3. Schulstufe). Die Standardabweichung beträgt 20 Punkte. An­gezeigt werden alle Werte zwischen 80 und 220 Punkten, darüber und darunter wird abgeschnitten und die Werte 80 bzw. 220 angezeigt.

Aufgabenpunkte

Da alle Schüler/innen einer Klasse/Unterrichtsgruppe dasselbe Heft bearbeiten, ist es ausreichend, die erreichten Punkte der gelösten Aufgaben rückzumelden. Außerdem stehen für jeden Teilbereich pro Schüler/in verhältnismäßig wenige Informationen zur Verfügung, weswegen es nicht immer sinnvoll ist, durch die Aufgabenbearbeitung auf eine dahinterliegende Kompetenz zu schließen. Der niedrigste Punktwert ist null, der höchste ist durch die im jeweiligen Testheft erreichbare Anzahl an Rohpunktwerten festgelegt (vgl. Abb. 27). Um dieses Vorgehen den Schülerinnen und Schülern ver­ständlich darstellen zu können, wurden diese Punkte "Aufgabenpunkte" genannt, denn für jede Aufgabe kann man einen Punkt bekommen. Alle Aufgabenpunkte zusammen ergeben somit nicht den Kompetenzpunktwert. Da nicht mit allen Heften die gleiche Anzahl an Rohpunktwerten erreicht werden kann – vor allem nicht in den Teilbereichen (vgl. Kompetenzmodelle) –, können diese Ergebnisse nur innerhalb der Klasse ver­glichen werden beziehungsweise mit den Ergebnissen anderer Klassen, die dasselbe Heft bearbeitet haben. Der in den Rückmeldungen angegebene Österreich-Wert der Aufgabenpunkte bezieht sich nur auf die jeweilige Heftform, d. h., es gibt bei den Auf­gabenpunkten so viele Österreich-Werte wie Heftformen.

Sowohl in den Kompetenzbereichen Deutsch (Lesen) als auch in Mathematik kann man zwischen verschiedenen Teilbereichen unterscheiden, die in den jeweiligen Kompetenz­modellen festgelegt sind. So kann man zum Beispiel in Deutsch (Lesen) zwischen der Textebene und der Prozessebene unterscheiden. Die Rückmeldung der Teilbereiche dient primär dazu, innerhalb der Klasse genauer differenzieren zu können bzw. Hinweise für Individualförderungen zu erhalten.

Weiterführende Literatur

Um diesen Text kurz zu halten, wird hier nicht näher auf die Mathematik hinter dem Rasch-Modell eingegangen. Formeln und weiterführende Literatur zum Rasch-Modell generell können z. B. in Wikipedia nachgeschlagen werden, Stichwort: Rasch-Modell. Konkret auf die Verfahren der Bildungsstandardüberprüfung Bezug nehmend stehen derzeit folgende Publikationen zur Verfügung:

• Trendtel, M. (2015). Skalierung der Leistungsdaten und Linking zur Baseline-Erhebung. Technische Dokumentation – BIST-Ü Mathematik, 4. Schulstufe, 2013. Salzburg: BIFIE. Link
• Trendtel, M., Pham, G. & Yanagida, T. (2016). Skalierung und Linking. In S. Breit & C. Schreiner (Hrsg.), Large-Scale Assessment mit R. Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung (S. 185–224). Wien: facultas. Link

Zur Übersicht des Glossars