"Noch ein falscher Verdacht"

Artikel von Heino von Meyer, Leiter des OECD Berlin Centre
ZEIT Online,  2. Juli 2008

Die empirische Bildungsforschung ist aus der Bildungspolitik nicht mehr wegzudenken. Ihre Ergebnisse sind als Orientierung und Steuerungswissen gefragt und es waren internationale Vergleichsstudien wie PISA, die in Deutschland Bildung wieder in den Fokus der Öffentlichkeit und der politisch Handelnden gerückt haben. Daraus leitet sich die Verantwortung ab, die Ergebnisse dieser Studien kohärent und verständlich zu präsentieren und Rechenschaft über die eigenen Methoden abzulegen. Es gehört zu den Stärken der PISA-Studie, dass sie diese Anforderungen immer sehr gut erfüllt hat. Die Abbildung der Schülerleistungen in international vergleichbare Punktwerte lässt eine einfach verständliche Analyse zu. Die Kompetenzstufen, denen die Punktwerte zugeordnet werden, erlauben die Rückbindung der Ergebnisse an die realen Fähigkeiten der Schülerinnen und Schüler. Schließlich werden bei PISA wie bei kaum einer anderen Vergleichsstudie Methodik und Datengrundlage ausführlich dokumentiert und veröffentlicht.

Niemand wird behaupten, dass die Ergebnisse von PISA 2006 optimal kommuniziert wurden. Vorabveröffentlichung in Spanien und Deutschland brachten Bruchstücke der Studie in die Öffentlichkeit. Über Tage kursierten in den Medien unterschiedliche Interpretationen, ohne dass es der OECD möglich war, ein umfassendes Bild der Ergebnisse zu liefern. Die unterschiedlichen Standpunkte wurden zu einem Schlagabtausch der Beteiligten dramatisiert. Politik und Öffentlichkeit waren angesichts der divergierenden Aussagen verwirrt. Manfred Prenzel, Jürgen Baumert und Eckhard Klieme haben in dieser Zeitung zur Klärung einiger Fragen beigetragen. Sie haben aber auch das OECD-Sekretariat kritisiert, dass es undiszipliniert gewesen sei oder auf politischen Druck gehandelt habe. Das ist so nicht nachzuvollziehen. Auf die drei wesentlichen Kritikpunkte, die Anpassung des sozioökonomischen Index, die Reaktion der OECD auf die Vorabveröffentlichungen und die Trendanalyse in den Naturwissenschaften möchte ich hier eingehen.

Die Autoren monieren, dass die OECD den Index, auf dessen Grundlage die soziale Herkunft abgebildet wird, über den Studienzyklus verändert hat und so die Vergleichbarkeit über die Zeit erschwert. Der von der OECD verwendete Index setzt sich aus drei Teilindizes zusammen, in denen der berufliche Status der Eltern, deren Bildungsabschluss und kulturelle Besitztümer zu etwa gleichen Teilen eingehen. In der Tat wurden Teile dieses Index über die drei PISA-Studien hinweg angepasst, um mit ihnen die veränderte Lebenswirklichkeit abzubilden. Der Besitz eines DVD-Player, beispielsweise, der vor einigen Jahren noch 10 bis 20 Prozent eines Durchschnittseinkommens kostete, heute aber für weniger als 50 Euro zu haben ist, muss als Indikator für sozialen Status anders gewertet werden. Das Gleiche gilt, wenn man in einer sich schnell wandelnden Arbeitswelt aus der beruflichen Tätigkeit auf den sozialen Status schließen will. Eine Analyse, die solche Veränderungen nicht berücksichtigt, behält für ihre Berechnungen eine feste Referenz, entfernt sich aber Zug um Zug von der sozialen Realität.

Der zweite Vorwurf kreist um die Reaktion auf Vorabveröffentlichungen und den Umgang mit der Frage, inwieweit die Ergebnisse der Naturwissenschaften aus PISA 2006 mit den Vorgängerstudien vergleichbar sind. Die OECD hat frühzeitig darauf hingewiesen, dass in den Naturwissenschaften anders als in den Bereichen Lesen und Mathematik mehr oder weniger Punkte nicht als Leistungsverbesserung oder -verschlechterung gedeutet werden dürfen. Diese Einschränkung war den Teilnehmerländern und den beteiligten Wissenschaftlern bekannt. Das Berliner OECD-Büro hat auch den Medien im Rahmen eines Seminars diese Einschränkung vermittelt. Und natürlich waren wir verpflichtet, darauf hinzuweisen, als eine spanische Zeitung die Ergebnisse vorab verbreitete. Nicht mehr und nicht weniger stand in der OECD-Pressemitteilung vom 29. November, die wir nach dem vom PISA-Verwaltungsrat festgelegten Verfahren verschickt haben, und nicht mehr und nicht weniger hat der OECD-PISA-Koordinator Andreas Schleicher den deutschen Medien mitgeteilt, die ihn dazu befragt haben.

Wir hätten uns gewünscht, die gesamten Ergebnisse aus PISA 2006 gleich im Zusammenhang darstellen zu können. Weder konnten noch wollten wir uns unseren Zeitplan von Vorabberichten diktieren lassen. Dass diese unverzichtbare Klarstellung zum Verständnis der Ergebnisse einen solchen Aufruhr auslösen sollte, bleibt uns ein Rätsel. Wer sich innerlich darauf vorbereitet hatte, in der höheren und gegenüber den anderen OECD-Ländern überdurchschnittlichen Leistung eine Verbesserung zu sehen, der sah möglicherweise seine Kommunikationsstrategie durchkreuzt. Die Zahlen ohne die entsprechenden Hinweise zu lassen, wäre aus unserer Sicht aber schlicht unverantwortlich gewesen. Heute stellen auch die deutschen Projektverantwortlichen nicht mehr infrage, dass die Punktdifferenz in den Naturwissenschaften zwischen PISA 2003 und 2006 nicht als Leistungszuwachs interpretiert werden kann. Es hätte sicher zur Klarheit beigetragen, wenn dies auch im Dezember 2007 so kommuniziert worden wäre.

Schließlich bleiben noch die Trendberechnungen in Naturwissenschaften. Für die OECD standen diese Berechnungen nie im Zentrum, vor allem weil die Datenbasis hierfür nur eingeschränkt vorhanden ist. Deshalb wurden die Berechnungen anders als in den Bereichen Lesen und Mathematik im Anhang und nicht im Hauptteil der Studie veröffentlicht. Allerdings wurden sie so wie die anderen Teile des internationalen Berichts auch den Teilnehmerländern zur Begutachtung vorgelegt. Es kann also keine Rede davon sein, dass diese Zahlen in letzter Minute oder auf politischen Druck hin aufgenommen wurden. Auch die Methodik ist transparent. Sie ist, wie für die übrigen Analysen auch, im technischen Bericht zu PISA 2006 nachzulesen.

Wir haben zu dieser Trendanalyse immer deutlich gemacht, dass sie mit Vorsicht zu interpretieren ist. Es wurden nur 22 Fragen aus PISA 2003 in der Untersuchung 2006 wiederholt, was einem Anteil von 20 Prozent entspricht. Im Gegensatz zu den Berechnungen des deutschen Projektteams bleibt die Auswertung im Rahmen der internationalen Studie. Die Berechnungen des IPN sind eine eigene Analyse auf Basis der PISA-Rohdaten. Diese orientiert sich an deutlich anderen Standards. Wie sehr sich die Analyse von PISA entfernt, zeigt auch der Umstand, dass sich die in den Naturwissenschaften in PISA 2003 berichtete signifikante Verbesserung gegenüber PISA 2000 in der Trendanalyse des IPN nicht widerspiegelt. All das mag gängigen wissenschaftlichen Standards genügen. Wer eine solche rein nationale Analyse im Rahmen einer internationalen Studie veröffentlicht, soll sich nicht wundern, wenn er damit Verwirrung stiftet. Wenn die Autoren Transparenz einfordern, dann können wir das nur begrüßen. Nationale Zusatzauswertungen zu PISA können durchaus sinnvoll sein, doch sollten die Autoren klarer kennzeichnen, in welcher Beziehung diese Arbeiten zur internationalen Vergleichsstudie stehen.

Zum Thema:

DIE ZEIT 23/2008: Falscher Verdacht

DIE ZEIT 21/2008: Schulforscher, aufgepasst!