IQS-Report

Abstract

Es gibt viele verschiedene Faktoren, die sich auf die Kompetenzen von Schülerinnen und Schülern auswirken (wie z. B. Bildungshintergrund der Eltern) und einige davon können i. d. R. weder von der Schule noch von Lehrpersonen beeinflusst werden. Um die Ergebnisse von Kompetenzerhebungen zwischen verschiedenen Schulen demnach fair miteinander vergleichen zu können, müssen auch diese Faktoren berücksichtigt bzw. kontrolliert werden. Ein fairer Vergleich wird genau dann ermöglicht, wenn ein Erwartungswert geschätzt wird, welcher allgemein die durchschnittlichen Kompetenzen repräsentiert, die vergleichbare Schulen in Bezug auf Schulstandort und Hintergrundmerkmalen der Schülerschaft erzielt haben. Durch das zueinander in Beziehung Setzen von Schulergebnis und Erwartungswert können in Folge fairere Aussagen darüber getroffen werden, wie gut eine Schule – gegeben ihrer Rahmenbedingungen und Schülerschaft – arbeitet.

Abstract

Beim Vergleich von Bildungssystemen, Bundesländern, Regionen oder Schulen zu schulischen Ergebnissen und Wirkungen, insbesondere zu den erworbenen Kompetenzen, stellt sich unmittelbar die Frage nach der Vergleichbarkeit außerschulischer Rahmenbedingungen für die Erbringung der erhobenen Ergebnisse und Wirkungen. Diesbezüglich hat sich für den Vergleich von Schulen die Berechnung sogenannter fairer Vergleiche etabliert, die es erlaubt für Schulen die erreichten Ergebnisse und Wirkungen mit solchen zu vergleichen, die unter den gegebenen äußeren Rahmenbedingungen erwartbar wären.

Auch für den Vergleich von Regionen, Bundesländern, Bildungssystemen stellt sich die Frage, inwieweit Unterschiede zwischen den einzelnen Analyseeinheiten auch dann Bestand haben, wenn Unterschiede in der Zusammensetzung der Schülerschaft beachtet werden. Analog dazu kann diese Frage beim Vergleich verschiedener Erhebungsjahre von Interesse sein. So stand etwa bei der Veröffentlichung der Ergebnisse zu PISA 2018 in der Öffentlichkeit die Frage im Raum, ob die sich ändernden demographischen Rahmenbedindungen für das nur mittelmäßige Abschneiden Österreichs verantwortlich zeichnen, was nicht bestätigt werden konnte. Daraus resultiert die Frage, wie der Einfluss demographischer Unterschiede zwischen Analyseeinheiten bzw. zwischen Erhebungszeitpunkten berücksichtigt werden kann, um Unterschiede in der Erbringung von schulischen Ergebnissen und Wirkungen vergleichbarer beurteilen zu können. Die hier vorliegende Darstellung zielt auf den Vergleich von Bundesländern untereinander und mit Gesamtösterreich ab. Diese Überlegungen lassen sich analog für den Vergleich ganzer Systeme (z. B. PISA-Teilnehmerländer im Vergleich zum OECD-Durchschnitt) und Regionen (z. B. Bildungsregionen im Vergleich zum jeweiligen Bundesland oder zum ganzen Bildungssystem) anwenden. In Österreich wurden populationsadjustierte Vergleiche im Rahmen der Überprüfung der Bildungsstandards in den nationalen Ergebnisberichten, unter der Bezeichnung bevölkerungsadjustierte Vergleiche, erstmals etabliert; die Berichterstattung zur individuellen Kompetenzmessung PLUS (iKM^PLUS) schließt an diese Tradition an. Auch in Deutschland wird ein ähnliches Konzept verfolgt, welche sich allerdings in der Art der Interpretation deutlich unterscheidet. Vor diesem Hintergrund beginnt der vorliegende Report mit einer Einführung in das Konzept populationsadjustierter Vergleiche unter Berücksichtigung der Gegenüberstellung der Herangehensweisen in Österreich und in Deutschland.

Der Report dokumentiert in der Folge die Umsetzung des populationsadjustierten Vergleichs von Bundesländern für den ersten Bundesbericht der iKM^PLUS zur Primarstufe des 1. Zyklus 2023-2025 und des populationsadjustierten Vergleichs von verschiedenen Erhebungsjahren bzw. -zyklen. Populationsadjustierte Vergleiche sind zusätzlich Teil der 136 Berichte an die Bildungsregionen.

Die detaillierte Darstellung des Konzeptes zielt zudem darauf ab, die Grundlagen der populationsadjustierten Vergleiche für spätere Berichte zur iKM^PLUS, insbesondere auch des Berichts zur Sekundarstufe, zu dokumentieren.

Abstract

Das Instrument individuelle Kompetenzmessung PLUS (kurz: iKM^PLUS) soll in Österreich das Erreichen der Bildungsstandards (BIST) für die 4. und 8. Schulstufe in den Unterrichtsgegenständen Deutsch und Mathematik (Primar- und Sekundarstufe) und Englisch (ausschließlich Sekundarstufe) feststellen und zur Individualförderung, zur Unterrichts- und Schulentwicklung sowie zum Systemmonitoring beitragen. Es führt die Ansätze der früheren Bildungsstandardüberprüfung (BIST-Ü) und der Informellen Kompetenzmessung (IKM) zusammen. Im vorliegenden Beitrag sollen inhaltliche Grundlagen der Kompetenz(struktur)modelle für in der iKM^PLUS berücksichtigte Kompetenzbereiche aus den Unterrichtsgegenständen Deutsch und Englisch in Form eines kurzen Überblicks vorgestellt werden, da es in diesen Fächern zu Weiterentwicklungen im Vergleich zu BIST-Ü und/oder IKM gekommen ist. Diese Adaptionen greifen aktuelle fachdidaktische Erkenntnisse sowie Erfahrungen aus bisherigen nationalen Kompetenzerhebungen auf. Die Modellierungen in Mathematik und den Naturwissenschaften folgen in der iKM^PLUS der bisherigen Vorgangsweise; sie werden daher in diesem Beitrag nicht thematisiert. Ebenso wenig behandelt werden all jene Kompetenzbereiche, die bis dato in der iKM^PLUS nicht berücksichtigt werden (etwa mündliche Sprachproduktion), Fragen rund um Kompetenzstufenmodelle, die methodische Umsetzung, eine vertiefte Darstellung der Zielsetzung der iKM^PLUS bzw. das Rückmelde- und Förderkonzept.

Abstract

Die Pädagogischen Hochschulen bieten Aus-, Fort- und Weiterbildungen von Pädagoginnen und Pädagogen an. Der Indikator B3.2 des Nationalen Bildungsberichts (NBB) untersucht Angebot an und Nachfrage von Fortbildungen von Lehrpersonen. Diese sind von großer Bedeutung für die Professionalisierung von Lehrpersonen. Um einen Überblick über die Anzahl an Lehrpersonen-Fortbildungen nach Themenfeldern zu bekommen, erfolgt im NBB 2024 eine inhaltliche Kodierung der in Österreich im Schuljahr 2022/23 auf PH-Online hinterlegten Lehrpersonen-Fortbildungen. Im vorliegenden Bericht werden die Planung und Umsetzung dieser Kodierung beschrieben. Dabei wird erörtert, wie das Vorgehen ausgehend von den Umsetzungen für den NBB 2018 und den NBB 2021 für den NBB 2024 weiterentwickelt bzw. angepasst wurde. Zudem wird ein Vergleich zu anderen Kategoriensystemen von Lehrpersonen-Fortbildungen bereitgestellt. Darüber hinaus wird die Aufbereitung der Kodiervorgaben und Unterlagen zur Kodiererinnen- und Kodierer-Schulung beschrieben und auf Maßnahmen zur Qualitätssicherung eingegangen. Die Ergebnisse der Kodierung zeigen, dass die meisten Fortbildungen für Lehrpersonen im Schuljahr 2022/23 zu den Kategorien "Unterricht gestalten", "Fachliche Bildung" und "Unterrichtsprinzipien/überfachliche Kompetenzen" angeboten wurden. Neben einer Darstellung des Angebotes von Lehrpersonen-Fortbildungen werden Informationen zu deren Nutzung bereitgestellt, die unter anderem zeigen, dass rund ein Drittel der Anmeldungen zu Fortbildungen von Lehrkräften der Volksschule stammen.

Abstract

Die Interpretation von Analyseergebnissen im Hinblick auf ihre praktische Bedeutsamkeit anhand von Effektstärkenmaßen wird in aktuellen Publikationsstandards für notwendig erachtet (American Psychological Association, 2020; Peng, Chen, Chiang & Chiang, 2013). In Ergebnisberichten zu internationalen Studien erfolgte eine solche Interpretation nach praktischer Bedeutsamkeit nicht immer bzw. uneinheitlich. Cumming (2014) nennt ein stärkeres Bemühen, die Interpretation von Effektstärken im jeweiligen Forschungszusammenhang auf Fachexpertise zu beziehen und transparent zu machen, als eine von 25 Richtlinien zur Verbesserung psychologischer Forschung. Er hofft auch, dass dieses Bemühen langfristig zu besseren informellen oder gar formellen Konventionen beiträgt, die Interpretation von Effektstärken zu leiten. Auch der vorliegende Beitrag will dazu beisteuern: Es soll eine Regel abgeleitet werden, die in zukünftigen IQS-Ergebnisberichten zu internationalen Studien angewendet werden kann, um eine einheitliche Ergebnisinterpretation zu ermöglichen. In diesem Dokument diskutieren wir anhand von Geschlechterunterschieden zuerst die Problematik von existierenden Ansätzen zur Bewertung von Ergebnissen und zeigen dann in einem empirischen Teil, wie sich Geschlechterunterschiede über viele internationale Studien hinweg verteilt haben. Wir schließen mit einem Vorschlag, wie für das Bildungsmonitoring in Österreich Mittelwertunterschiede auf Basis von Effektstärken interpretiert werden können und legen einen Schwellenwert als Orientierung für die Autorinnen und Autoren von IQS-Berichten fest. Da jede inhaltliche Bewertung – inklusiver etablierter Richtwerte – einer gewissen Subjektivität unterliegt, machen wir unser Vorgehen transparent, um den Leserinnen und Lesern der IQS-Publikationen die Möglichkeit zu geben, sich kritisch damit auseinanderzusetzen. Der vorliegende Vorschlag zielt auf die Bewertung von Gruppenunterschieden in Mittelwerten ab. Entsprechende Vorschläge für die Bewertung von anderen Maßzahlen, z. B. Prozentverteilungen, Veränderungen über die Zeit und Vergleiche von Gruppenunterschieden zwischen Ländern, stehen als Desiderat für weitere Entwicklungsarbeit aus.

Abstract

SGPs (Student Growth Percentiles) und PRRs (Percentile Rank of Residuals, Residual Gain) funktionieren mit den vorhandenen Daten von PISA relativ gleich und korrelieren stark miteinander (Abbildung 9). Auf Ebene der Schüler/innen lassen sich kaum Unterschiede feststellen. Aussagen über die Validität sind mit den Daten generell schwierig, Hinweise darauf können aber im vorliegenden Fall Subgruppenvergleiche (Abbildung 6 und Abbildung 7) und der Vergleich mit Schulnoten (Abbildung 8) erbringen. PRRs bilden hier die Schultypeneffekte etwas klarer ab und bilden die Notenskala in adäquater Weise nach. Eine leichte Tendenz spricht daher für PRRs. Dass PRRs im Vergleich zu SGPs über ein etwas weniger komplexes Verfahren berechnet werden, ermöglicht eine klarere Kommunizierbarkeit an Stakeholder. Aufgrund dieser Daten schlagen wir die Verwendung von PRRs zur Rückmeldung des Lernfortschritts in der iKM^PLUS vor.