Punktwerte in der iKMPLUS
In der Rückmeldung der iKMPLUS werden zwei verschiedene Punktwerte benutzt: "Kompetenzpunkte" und "Aufgabenpunkte" (vgl. Abb. 27 unten). Vereinfacht gesagt dienen sie verschiedenen Zwecken, werden deshalb verschieden berechnet und auf verschiedenen Skalen rückgemeldet.
- Kompetenzpunkte werden für die Gesamtwerte benutzt, z. B. für das Mathematik-Gesamtergebnis. Die Kompetenzpunkte sind innerhalb eines Fachs über alle Heftformen hinweg vergleichbar, das heißt, die Klassenergebnisse von verschiedenen Klassen (= Schüler/innen mit verschiedenen Aufgabenheften) können verglichen werden.
- Aufgabenpunkte beziehen sich nur auf die Aufgaben, die in dem in einer Klasse eingesetzten Heft vorhanden sind. Sie sind daher nicht über alle Heftformen hinweg vergleichbar. Sie werden für die verschiedenen Teilbereiche in den Fächern angegeben und dienen dazu, innerhalb einer Klasse genauer differenzieren zu können.
Kompetenzpunkte
3. Schulstufe
Die Kompetenzpunkte liegen auf einer Skala, die von 80 bis 220 reicht und einen Mittelwert von 150 hat (vgl. Abb. 27).
4. Schulstufe
Die Kompetenzpunkte liegen auf einer Skala, die von 80 bis 220 reicht und einen veränderlichen Mittelwert hat. Das heißt, eine sehr leistungsstarke Kohorte kann einen wesentlich höheren Mittelwert erzielen, eine schwächere Kohorte auch einen niedrigeren. Die Mittelwerte der 4. Schulstufe werden jedes Jahr mit den aktuellen Daten neu berechnet.
In den Basismodulen Deutsch (Lesen) und Mathematik können zwischen 80 und 220 Punkte erreicht werden. Im Zyklusmodul Deutsch (Zuhören) können 2024 maximal 200 Punkte erreicht werden. Das heißt, dass eine Schülerin/ein Schüler mit 200 Punkten in Deutsch (Zuhören) das bestmögliche Ergebnis erreicht hat. (Hinweis: In den Grafiken wird die Skala trotzdem von 80 bis 220 eingezeichnet).
Im mittleren Leistungsbereich misst die iKMPLUS Deutsch (Zuhören) am genauesten. Im obersten Leistungsbereich, bei Deutsch (Zuhören) ab dem Wert von 200 Punkten (betrifft ca. 0,5 % der Schüler/innen) kann nicht mehr so trennscharf gemessen werden. Vergleiche auf der Ebene Schüler/in und Klasse/Unterrichtsgruppe sind auf Basis der Kompetenzpunkte jedoch gesichert möglich.
Wie werden Kompetenzpunkte berechnet?
Kompetenzpunkte werden folgendermaßen gewonnen: Die Rohwerte aller Aufgabenhefte (= die Punkte, die die Schüler/innen in den jeweiligen Heften erreichen konnten und tatsächlich erreicht haben), werden durch ein mathematisches Verfahren (ein Item-Response-Theorie-Modell, sog. Rasch-Modell) gemeinsam verrechnet. Dadurch wird dafür gesorgt, dass kleinere Unterschiede in den Schwierigkeiten der Aufgabenhefte ausgeglichen werden. Der Mittelwert in jedem Heft ist über alle Heftformen hinweg gleich interpretierbar. Das heißt, es gibt nur einen Österreich-Mittelwert (anders als bei den Aufgabenpunkten).
Die Kompetenzpunkte werden mit einem mathematischen Verfahren berechnet, dem sogenannten Rasch-Modell. Eine der Voraussetzungen dafür ist, dass die Merkmale (z. B. die gemessenen Kompetenzen) in einer bestimmten Weise verteilt sind (normalverteilt). Wie viele andere Merkmale (Körpergröße, Intelligenz usw.) folgt auch Kompetenz einer sogenannten "Normalverteilung".
Im Rasch-Modell wird angenommen, dass eine Person mit einer bestimmten Fähigkeit eine Aufgabe einer bestimmten Schwierigkeit mit einer bestimmten Wahrscheinlichkeit lösen kann. Diese Wahrscheinlichkeit kann berechnet werden.
Nach der Berechnung liegen die Kompetenzpunkte auf einem Kontinuum mit null als Mittelwert. Der Großteil der Punkte liegt zwischen –3 und +3. Da diese Skala in der Praxis unhandlich ist und die Hälfte der Werte negativ ist, wird sie – vergleichbar mit der Transformation von Grad Celsius in Fahrenheit – in die Skala der Kompetenzpunkte umgewandelt. Bei dieser Umwandlung bleibt die Verteilung gleich, nur die Skala ändert sich, und es werden keine negativen Werte mehr angezeigt. Der Mittelwert der gewählten Skala liegt bei 150 (3. Schulstufe). Die Standardabweichung beträgt 20 Punkte. Angezeigt werden alle Werte zwischen 80 und 220 Punkten, darüber und darunter wird abgeschnitten und die Werte 80 bzw. 220 angezeigt.
Aufgabenpunkte
Da alle Schüler/innen einer Klasse/Unterrichtsgruppe dasselbe Heft bearbeiten, ist es ausreichend, die erreichten Punkte der gelösten Aufgaben rückzumelden. Außerdem stehen für jeden Teilbereich pro Schüler/in verhältnismäßig wenige Informationen zur Verfügung, weswegen es nicht immer sinnvoll ist, durch die Aufgabenbearbeitung auf eine dahinterliegende Kompetenz zu schließen. Der niedrigste Punktwert ist null, der höchste ist durch die im jeweiligen Testheft erreichbare Anzahl an Rohpunktwerten festgelegt (vgl. Abb. 27). Um dieses Vorgehen den Schülerinnen und Schülern verständlich darstellen zu können, wurden diese Punkte "Aufgabenpunkte" genannt, denn für jede Aufgabe kann man einen Punkt bekommen. Alle Aufgabenpunkte zusammen ergeben somit nicht den Kompetenzpunktwert. Da nicht mit allen Heften die gleiche Anzahl an Rohpunktwerten erreicht werden kann – vor allem nicht in den Teilbereichen (vgl. Kompetenzmodelle) –, können diese Ergebnisse nur innerhalb der Klasse verglichen werden beziehungsweise mit den Ergebnissen anderer Klassen, die dasselbe Heft bearbeitet haben. Der in den Rückmeldungen angegebene Österreich-Wert der Aufgabenpunkte bezieht sich nur auf die jeweilige Heftform, d. h., es gibt bei den Aufgabenpunkten so viele Österreich-Werte wie Heftformen.
Sowohl in den Kompetenzbereichen Deutsch (Lesen) als auch in Mathematik kann man zwischen verschiedenen Teilbereichen unterscheiden, die in den jeweiligen Kompetenzmodellen festgelegt sind. So kann man zum Beispiel in Deutsch (Lesen) zwischen der Textebene und der Prozessebene unterscheiden. Die Rückmeldung der Teilbereiche dient primär dazu, innerhalb der Klasse genauer differenzieren zu können bzw. Hinweise für Individualförderungen zu erhalten.
Weiterführende Literatur
Um diesen Text kurz zu halten, wird hier nicht näher auf die Mathematik hinter dem Rasch-Modell eingegangen. Formeln und weiterführende Literatur zum Rasch-Modell generell können z. B. in Wikipedia nachgeschlagen werden, Stichwort: Rasch-Modell. Konkret auf die Verfahren der Bildungsstandardüberprüfung Bezug nehmend stehen derzeit folgende Publikationen zur Verfügung:
- Trendtel, M. (2015). Skalierung der Leistungsdaten und Linking zur Baseline-Erhebung. Technische Dokumentation – BIST-Ü Mathematik, 4. Schulstufe, 2013. Salzburg: BIFIE. Link
- Trendtel, M., Pham, G. & Yanagida, T. (2016). Skalierung und Linking. In S. Breit & C. Schreiner (Hrsg.), Large-Scale Assessment mit R. Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung (S. 185–224). Wien: facultas. Link