MBA-Rankings: Methodisch unsolide, irreführende Ergebnisse

pexels-ds-stories

Ein Forschungsinstitut an der University of Chicago stellt den MBA-Rankings schlechte Noten aus. MBA-Interessenten sollten daher nicht daraufsetzen.

Ein Bericht von NORC, einem objektiven und unparteiischen Forschungsinstitut an der University of Chicago, wirft ein kritisches Licht auf die Ersteller von College- und Business-School-Rankings.

Der von der Vanderbilt University in Auftrag gegebene Bericht College Ranking Systems: A Methodological Review bewertet die Integrität von fünf großen Rankings: U.S. News & World Report, Wall Street Journal/College Pulse, Forbes, Times Higher Education (THE) und QS. Die Schlussfolgerungen sind eindeutig: Zu viele Rankings sind methodisch unsolide, in ihrem Zweck undurchsichtig und oft irreführend.

Das ist seit langem bekannt und nun auch wissenschaftlich belegt. MBA-Rankings sind Marketinginstrumente, die den Medien zur Generierung von Anzeigen und Klicks verhelfen und keine auch nur annähernd objektive Bewertung der Schulen und ihrer Programme.

Im Mittelpunkt der Kritik steht eine grundlegende Frage: Was genau wird in diesen Rankings gemessen? Der Bericht der Forschungsorganisation stellt fest, dass viele Ranking-Ersteller nicht definieren, ob sie die Bildungsqualität, die Kapitalrendite oder den Ruf der Institution bewerten. Diese Unklarheit macht es auch für MBA-Kandidaten schwierig, Rankings sinnvoll zu interpretieren.

Unterstützen Sie MBA Journal mit einem Betrag Ihrer Wahl, wenn Sie weiter fundiert recherchierte News lesen wollen.

Die meisten der fünf Anbieter geben in ihren methodischen Berichten eine Antwort auf diese Frage, indem sie die entsprechenden konzeptionellen Dimensionen der Konstrukte beschreiben:

– Das dem US-News-Ranking 2024 zugrundeliegende Konstrukt lässt sich am besten als „[Fähigkeit, die] wichtigsten Gründe zu bieten, aus denen Studierende … ein College oder eine Universität besuchen“ interpretieren, zu denen „akademischer Ruf, Studienkosten und Kapitalrendite“ gehören.

– Das 2024 THE-Rankingsystem beschreibt das zugrunde liegende Konstrukt als eine Bewertung der „universitären Leistung auf der globalen Bühne“ und schränkt ein, dass ihre „Rankings die drei wichtigsten Bereiche der universitären Tätigkeit abdecken: Forschung, Wirkung und Lehre“.

– Das dem Forbes-Ranking 2024 zugrundeliegende Konstrukt lässt sich am besten als „[Fähigkeit,] das Versprechen einer qualitativ hochwertigen Ausbildung einzulösen“ interpretieren, wozu „Daten über den Erfolg der Studierenden, die Kapitalrendite und den Einfluss der Alumni“ gehören.

– Das WSJ-Ranking 2024 basiert auf den Ergebnissen der Studierenden, dem Lernumfeld, und der Vielfalt.

– Das QS-Ranking 2024 beschreibt sein zugrunde liegendes Konstrukt nicht explizit, stellt aber fest, dass es den „Fokus verschiedener Interessengruppen“ widerspiegelt.

Uneinheitliche und nicht begründete Gewichtungen verschlimmern das Ganze noch. Die MBA-Rankings von U.S. News stützen sich zum Beispiel stark auf die Bewertungen von Kollegen und Personalverantwortlichen, die eher die Wahrnehmung als die Leistung einer Business School widerspiegeln. Das kann neuere oder innovativere Programme benachteiligen, die noch keinen großen Bekanntheitsgrad erlangt haben.

Von den fünf analysierten Rankings werden die von THE und QS besonders scharf kritisiert. THE verwende undurchsichtige Gewichtungsschemata und bewerte Forschungszitate und globale Reputationsumfragen über – Messgrößen, die wenig mit der Erfahrung der Studierenden in einem MBA-Programm zu tun haben.

Für MBA-Interessenten ist das ein ernstes Problem. Es kann sein, dass eine Schule in den THE-Rankings aufgrund von Veröffentlichungen der Fakultät und der Stärke der institutionellen Forschung gut abschneidet, aber eine schwache Unterstützung bei der Karriereplanung, veraltete Lehrpläne oder schlechte Vermittlungsergebnisse nach dem Abschluss bietet.

Ein weiterer Grund ist die fehlende Messinvarianz bei globalen MBA-Rankings wie dem von THE und QS. Das bedeutet, sie berücksichtigen nicht die Unterschiede im nationalen Kontext oder im institutionellen Auftrag. Schulen, die sich an Berufstätige, internationale Studierende oder unterrepräsentierte Gruppen wenden, können daher bestraft werden, weil sie nicht der engen Definition von „Exzellenz“ entsprechen.

Der NORC-Bericht nimmt auch die Qualität der Daten, die den Rankings zugrunde liegen, genau unter die Lupe. Die meisten beruhen auf Selbstauskünften der Schulen oder auf amerikanischen Bundesdatenbanken wie IPEDS (Integrated Postsecondary Education Data System), einem System miteinander verbundener Erhebungen, die jährlich vom National Center for Education Statistics (einem Teil des US-Bildungsministeriums) durchgeführt werden. Solche Erhebungen sind anfällig für Fehler, Auslassungen und Unstimmigkeiten: Einige Schulen können die Ergebnisse überbewerten, andere können unvollständige Daten einreichen oder über unterschiedliche Zeiträume berichten, was Vergleiche unzuverlässig macht.

Noch beunruhigender ist die Verwendung von Ersatzkennzahlen – indirekte Indikatoren wie Zeugnisse von Lehrkräften oder Spendenquoten von Ehemaligen -, die möglicherweise wenig mit der tatsächlichen Qualität der Lehre oder den Auswirkungen auf die Karriere zu tun haben. Rankings, die diese Ersatzindikatoren belohnen, können ein verzerrtes Bild zeichnen, insbesondere für MBA-Kandidaten, die Programme auf der Grundlage der Kapitalrendite bewerten.

Die Schlussfolgerung: Ohne bessere Daten und eine transparentere Berichterstattung besteht die Gefahr, dass Rankings „die Stärken der Institutionen eher verschleiern als beleuchten“.

Für Studierende, die eine kluge Entscheidung zu treffen, bietet der NORC-Bericht einige Leitplanken:

– Machen Sie sich klar, was für Sie wichtig ist. Gehaltserhöhungen, geografische Reichweite, Förderung des Unternehmertums, Platzierung in der Industrie – all dies entspricht möglicherweise nicht den Kriterien der Rangliste.

– Verwechseln Sie Prestige nicht mit Leistung. Ein hoher Rang kann die Forschungsleistung oder den historischen Ruf widerspiegeln, nicht aber die Ergebnisse, die für MBA-Studenten wichtig sind.

– Prüfen Sie die Methodik. Wenn eine Rangliste nicht klar erklärt, wie die verschiedenen Faktoren gewichtet werden, ist sie möglicherweise eher ein Marketinginstrument als eine Bewertungshilfe.

– Nutzen Sie Rankings als Starthilfe, nicht als Entscheidungshilfe. Ergänzen Sie sie mit Beschäftigungsberichten, Zeugnissen von Absolventen und Karriereergebnissen.

Der NORC-Bericht skizziert mehrere konkrete Schritte, die Ranking-Herausgeber unternehmen sollten, um die Integrität und den Nutzen ihrer Rankings zu verbessern. Dazu gehören: „Ranking-Organisationen sollten klar definieren, was sie messen und warum, und sicherstellen, dass ihre Methoden mit diesen Zielen übereinstimmen.“

NORC unterstreicht auch die Notwendigkeit von Transparenz: „Die Verwendung von Kriterien und ihre relative Gewichtung sollte offengelegt und begründet werden, damit die Nutzer die Rankings angemessen interpretieren können.“ Eine bessere Datenerfassung und -validierung ist ein zentrales Element der Empfehlungen von NORC: Organisationen, die Rankings erstellen, sollten sicherstellen, dass die Datenquellen genau, konsistent und institutionsübergreifend vergleichbar sind.