Lernfortschritt: Von der 3. auf die 4. Schulstufe
Mit dem Schuljahr 2023/24 steht ein neues Feature für die Basismodule zur Verfügung. Der Lernfortschritt zeigt Ihnen, wie sich die Leistungen einer Schülerin/eines Schülers von der 3. auf die 4. Schulstufe verändert haben.
Dazu wird der Lernfortschritt am IQS anhand der Ergebnisse beider Erhebungen berechnet.
Voraussetzung dafür ist eine korrekte Verlinkung der Schüler/innen-ID und der dazugehörigen Ergebnisse zwischen der Überprüfung auf der 3. Schulstufe und der auf der 4. Schulstufe. Für Schüler/innen, bei denen sich die ID ändert oder die die Schule wechseln, kann keine automatische Berechnung stattfinden. Für einen manuellen Vergleich siehe Abb. 26.
Errechneter Lernfortschritt
Beschreibung
Die Berechnung des Lernfortschritts der einzelnen Schüler/innen bezieht folgende Informationen mit ein:
- Den individuellen Kompetenzstand der Schüler/innen in der 3. Klasse
- Den individuellen Kompetenzstand der Schüler/innen in der 4. Klasse
- Die österreichweite Entwicklung der Kompetenzen der Schüler/innen von der 3. auf die 4. Klasse (jährlich neu berechnet)
Berechnung des Lernfortschritts
In der Regel können Schüler/innen, die auf der 3. Schulstufe schwach abgeschnitten haben, größere Punktzuwächse erzielen als Schüler/innen, die bereits auf der 3. Schulstufe viele oder alle Aufgaben lösen konnten. Zudem sind die Aufgaben der 4. Schulstufe im Durchschnitt schwieriger als jene der 3. Schulstufe. Aus diesen Gründen können für die Berechnung des Lernfortschritts die Punkte nicht so einfach miteinander verglichen und eine simple Punktedifferenz berechnet werden. Eine solche Rückmeldung des Lernfortschritts an jene, die bereits auf der 3. Schulstufe gute oder sehr gute Ergebnisse erzielt haben, wäre nicht "fair", da sie (besonders) gute Schüler/innen benachteiligen würde. Zum Vergleich: Wer mit einem Lauftraining startet, macht anfangs schnell große Fortschritte. Je weiter man im Training fortschreitet, desto schwieriger wird es, die Zeit zu verbessern.
Die Lösung
Um auch für leistungsstarke Schüler/innen einen großen Lernfortschritt darstellen zu können, wird eine Methode angewandt, die die jeweiligen Kompetenzen der Schüler/innen mitsamt ihrer Lage im Leistungsspektrum in jedem Jahr berücksichtigt (siehe Abb. 21).
Methode
Die vom IQS verwendete Methode heißt "Residual-Gain-Modell" oder auch "Percentile Ranks of Residuals" (vgl. von Eichhorn & Freunberger, 2024. Vergleich und Validierung unterschiedlicher Lernfortschrittsmodelle). Dabei wird ein bestimmtes mathematisches Modell (eine lineare Regression) angewandt, um den erwartbaren individuellen Punktwert aufgrund der Vorjahresleistung vorherzusagen. Die Abweichung des tatsächlichen Werts der 4. Schulstufe vom errechneten Erwartungswert wird schließlich verwendet, um den Lernfortschritt festzustellen (sie kann positiv oder negativ sein, im Mittel ist sie null. Das ist in der Praxis unhandlich und schwer zu interpretieren. Daher werden diese Abweichungen, "residual gain scores", anschließend nach der Größe sortiert und in drei Kategorien eingeteilt): klein, mittel und groß. Eine große positive Abweichung von der Regressionsgeraden (über der Regressionsgeraden) bedeutet einen großen Lernfortschritt, eine große negative Abweichung (unter der Regressionsgeraden) einen kleinen. Liegt man sehr nahe am erwarteten Wert (nahe an der Regressionsgeraden), spricht man von einem mittelgroßen Lernfortschritt. Die nachfolgende Grafik soll dies verdeutlichen.
Fazit
- Einen kleineren, mittleren oder großen Lernfortschritt auf der 4. Schulstufe zu erzielen ist für jedes Ergebnis auf der 3. Schulstufe möglich. Somit ist der berechnete Lernfortschritt "fair" für jeden Kompetenzstand.
- Allerdings lässt sich so keine allgemeingültige Aussage darüber treffen, wie viele Punkte Differenz einen kleinen, mittleren oder großen Lernfortschritt ausmachen.
- Eine Aussage darüber, auf welche Teilkompetenzen sich der Lernfortschritt verteilt, ist zudem für die Interpretation sehr schwierig. Daher wird davon Abstand genommen, einen solchen Fortschritt rückzumelden.
Bitte beachten Sie außerdem, dass ein Kind, das in der 4. Schulstufe weniger Punkte erreicht als in der 3. Schulstufe, nichts "verlernt" hat. Im Mittel sind die Aufgabenhefte der 4. Schulstufe schwieriger als die der 3. Schulstufe. In Mathematik kommen auch ganz neue Inhalte dazu. Daher wird in der Realität nicht davon ausgegangen, dass ein "negativer Lernfortschritt" vorliegt, sondern dass zumindest ein kleiner Fortschritt gemacht wurde.
Setzen Sie das Ergebnis in Beziehung zu anderen Beobachtungen des Kindes: Bestätigt sich Ihr generelles Bild durch die Ergebnisse der iKMPLUS? Können Sie gegebenenfalls eines der Fokusmodule für weitere Diagnostik nutzen? Weitere Hinweise zur Reflexion der Ergebnisse finden Sie unter www.iqs.gv.at/ikmplus-prim-ergebnisreflexion.
Lernfortschritt in der Rückmeldung für Lehrpersonen
Lehrpersonen erhalten eine Rückmeldung über die Lernzuwächse in ihrer Klasse gesamt sowie für die einzelnen Schüler/innen.
"n. v." bedeutet nicht verfügbar. Wenn mehr als null Schüler/innen unter n. v. gelistet sind, erscheint ein Hinweis:
Für <Anzahl> Schüler/innen konnte der Lernfortschritt nicht berechnet werden. Von diesen Schülerinnen/Schülern liegen keine Daten der 3. Schulstufe vor oder es gab Änderungen bei der Schüler/innen-ID.
In den Übersichten zu den Ergebnissen der Einzelschüler/innen wird der Lernfortschritt auf Schüler/innen-Ebene dargestellt, vgl. Abb. 23 bzw. Abb. 24.
Lernfortschritt in der Rückmeldung für Schüler/innen
In der Rückmeldung für Schüler/innen und Erziehungsberechtigte wird der Lernfortschritt mithilfe einer einfachen Grafik dargestellt. Auf eine detaillierte Erklärung der Berechnung wird verzichtet:
Wenn man die iKMPLUS auf der 3. und auf der 4. Schulstufe macht, kann man die Ergebnisse vergleichen. Manchmal macht man sehr große Fortschritte, manchmal kleinere. Wir nehmen deine Punkte aus der 3. Klasse und deine Punkte aus der 4. Klasse und berechnen dann den Lernfortschritt. Das Bild zeigt dir, wie dein Fortschritt aussieht.
Interessierte Erziehungsberechtigte können gerne auf diese Erklärung zum Lernfortschritt hingewiesen werden.
Manueller Vergleich des Lernfortschritts
Die Ergebnisse des manuell erstellten Lernfortschritts und des errechneten Lernfortschritts sind nicht vergleichbar!
Die Ergebnisse der Schüler/innen können auch manuell zwischen den Erhebungsjahren verglichen werden, indem die Kompetenzpunkte verglichen werden. Diese Art des Vergleichs ist einfacher, aber auch weniger aussagekräftig bzw. kann zu einer anderen Einschätzung führen als der vom IQS berechnete Lernfortschritt. Sie sollte nur angewandt werden, wenn kein solch errechneter Lernfortschritt vorliegt.
Achten Sie dabei auf eine korrekte Zuordnung der Ergebnisse zu den Schülerinnen und Schülern (Abb. 26). Ziehen Sie ggf. die Schülerliste mit Namen für die eindeutige Identifikation heran.
Informationen zu dieser Liste mit Namen finden Sie hier: iKMPLUS Basismodule: Vorbereitung, Durchführung und Nachbereitung. Handbuch für Lehrpersonen 2024 (Verfügbar unter: www.iqs.gv.at/downloads/nationale-kompetenzerhebung/ikm-plus-volksschule/lehrpersonen/vorbereitung).
Dieser manuelle Vergleich berücksichtigt nicht, dass Kinder von unterschiedlichen Ausgangspositionen aus unterschiedliche Entwicklungschancen haben bzw. die Entwicklung unterschiedlich gut gemessen werden kann. Er soll nur angestellt werden, wenn es aus technischen Gründen nicht möglich ist, eine Rückmeldung mit dem vom IQS errechneten Lernfortschritt zu erstellen (etwa weil die Schüler/innen auf der 3. Schulstufe in einer anderen Schule waren).
Die Ergebnisse des manuell erstellten Lernfortschritts und des errechneten Lernfortschritts sind daher nicht vergleichbar!
Beachten Sie beim manuell erstellten Lernfortschritt:
Unterschiede über +- 10 Punkten können hinsichtlich der individuellen Lernentwicklung bedeutsam sein. Kleinere Veränderungen sollten auf individueller Ebene nicht als Veränderung interpretiert werden, diese fallen in einen Unschärfebereich. Schwankungen können auch durch nicht-überprüfungsbedingte Faktoren ausgelöst werden, wie z. B. Umgebungslärm an einem Tag der Durchführung, besondere Aufregung an der Schule/in der Klasse an einem der Tage, die individuelle Tagesverfassung der Kinder am jeweiligen Tag der Durchführung, Ihre Strenge/Milde beim Bewerten am jeweiligen Tag.
Negative Veränderung: Sollte ein Kind im laufenden Schuljahr deutlich weniger Punkte erreichen als im Vorjahr, so bedeutet das nicht, dass das Kind etwas "verlernt" hat. Die Anforderungen der Aufgaben auf der 4. Schulstufe unterscheiden sich von jenen der 3. Schulstufe, z. B. kommen in Mathematik ganz neue Inhalte hinzu. Setzen Sie in diesem Fall das Ergebnis in Beziehung zu anderen Beobachtungen des Kindes: Bestätigt sich das Bild? Können Sie gegebenenfalls eines der Fokusmodule für weitere Diagnostik nutzen?
Weitere Hinweise zur Reflexion der Ergebnisse finden Sie unter www.iqs.gv.at/ikmplus-prim-ergebnisreflexion.
Positive Veränderung: Sollte ein Kind im laufenden Schuljahr deutlich mehr Punkte erreichen als im Vorjahr, so hat das Kind einen Lernfortschritt erzielt. Auch in diesem Fall ist es sinnvoll, andere Beobachtungen des Kindes in die Interpration miteinzubeziehen.
Weitere Fragen zur Reflexion der Ergebnisse finden Sie unter www.iqs.gv.at/ikmplus-prim-ergebnisreflexion.