Aktuelles

Von 21. bis 23. August fand am University College Cork das 46. EAIR – The European Higher Education Society Annual Forum statt. Den Auftakt und zugleich auch einen Höhepunkt stellte die Keynote der ehemaligen EAIR Executive Committee Vorsitzenden Ellen Hazelkorn dar. Unter der Überschrift “Linking research, policy and practice: how well are we fulfilling EAIR's mission in our own work?” setzte sie sich durchaus kritisch mit den Herausforderungen des Transfers von Forschungsergebnissen auseinander.

Damit war der Ton gesetzt für das Forum - wir hätten uns keine bessere Einstimmung für unseren Vortrag wünschen können. Unter dem Titel „From evidence to impact? Practices of evidence use for quality management at German Higher Education Institutions“ stellten Antje Wegner und René Krempkow das Vorgehen und erste Zwischenergebnisse unseres NuDHe-Verbundprojektes vor. Unser Slot war trotz der Freitagmittag-Terminierung gut besucht und es gab eine sehr konstruktive Diskussion sowie weitere angeregte Pausengespräche. Wir danken für den produktiven Austausch mit Hochschulforschenden, Politiker:innen und Praktiker:innen. Wir würden uns freuen, auf dem nächsten EAIR-Forum die Ergebnisse der Fallstudien und Praxisimplikationen vorzutellen und zu diskutieren.

Am 6. und 7. Juni 2024 fand die Frühjahrstagung 2024 des AK Methoden in der Evaluation in Saarbrücken statt, in der es gleich mehrere Beiträge mit Bezügen zum Thema unseres Projektes gab: So wurden bereits in der Keynote von Gaarder u.a. die „obstacles to using evidence“, aber auch „resources to improve quality and usefulness“ in ihrem „balloon squeezing approach“ vorgestellt. (Es soll evtl. noch der Mitschnitt online gestellt werden, der anzuschauen lohnenswert wäre, weil sie einiges Weitere über die verfügbaren Folien hinaus erzählte.) Auch der Beitrag von Silvestrini zu Erfolgsfaktoren von Evaluation war für NuDHe interessant, da er – wenngleich er sich auf Evaluationsergebnisse fokussierte – ähnlich wie wir in unserem Scoping Review vorging. Dieser Beitrag könnte daher ebenfalls für alle diejenigen von Interesse sein, die sich für das Thema unseres Projektes erwärmen können. Ähnlich gilt dies für den Beitrag von Kaps zu Möglichkeiten und Grenzen qualitativ vergleichender Analysen (QCA) in Evaluationen, da auch wir diese Analysemethode zu verwenden planen.

Zwischenzeitlich wurden auch die Folien zur Veranstaltung online gestellt und sind hier abrufbar. Eine ausführliche Tagungsdokumentation ist in Vorbereitung.

Am 12. Juni 2024 fand der erste Transferworkshop des Teilprojekts QiL – Qualität in der Lehre statt. Eingeladen waren Teilnehmer der Fallstudien sowie alle Newsletter-Abonnenten des Projekts zu einer 1,5h stündigen Onlineveranstaltung, um erste Ergebnisse und die nächsten Auswertungsschritte mit Praktiker:innen zu diskutieren.
Der Workshop gliederte sich in drei Abschnitte: Nach einer Präsentation des Scoping Reviews wurden gemeinsam mit der kleinen Runde an Teilnehmer:innen Einflussfaktoren auf die Nutzung von Daten an Hochschulen diskutiert. Im zweiten Abschnitt ging es dann um die ersten Eindrücke aus den Fallstudien sowie um die Darstellung von konkreten Nutzungsfällen. Schließlich wurde noch über die Transferwünsche der Teilnehmenden gesprochen. So wurde z.B. vorgeschlagen statt eines Newsletters per Email auf die Newsmeldungen der Webseite hinzuweisen.
Weitere Transferworkshops und andere Aktivitäten sind geplant. Bei Interesse gerne den Newsletter abonnieren: hier geht´s zur Anmeldung!

Das jährliche Meeting des EUA Council für Doctoral Education (EUA-CDE) findet vom 26. bis 28. Juni 2024 an der Polytechnic University of Catalonia in Barcelona statt und fokussiert - ganz passend zu unserem Projektthema - auf die Frage, welche Daten rund um das Thema Promotion zur Verfügung stehen und wie diese das Management und strategische Entwicklungen beeinflussen. Das verspricht nicht zuletzt aufgrund der internationalen Perspektive spannend zu werden. Weitere Details zur Veranstaltung und zur Einreichung von Beiträgen finden Sie auf offiziellen EUA-Webseite!

Beiträge können übrigens noch bis zum 8. April eingereicht werden!

Sie sind am Donnerstag, dem 15. Februar 2024, noch nicht zum Mittagessen verabredet? Dann schauen Sie doch von 12:00 bis 13:30 Uhr beim 4. Wissenstransfer-Talk der BMBF-Förderlinie "Forschung zum Wissenstransfer“ vorbei. Dieser findet wie auch die vorherigen Veranstaltungen online statt. Im Fokus steht dieses Mal der Wissenstransfer in der Wissenschafts- und Hochschulforschung. Wir – das NuDHe-Team – präsentieren erste Lessons learnt aus der systematischen Sichtung von mehr als 70 Studien zur Evidenznutzung. Schauen Sie gerne vorbei und diskutieren Sie mit uns! Anmeldungen sind noch bis zum 14. Februar 2024 möglich.

Veranstaltungshinweis und Link zur Anmeldung

PS: Aufzeichnungen der vorangegangenen Veranstaltungen sind übrigens hier abrufbar.

Wie erfolgreich evidenzinformiertes Handeln in der Bildungspolitik sein kann, zeigt das Beispiel Hamburg und der Aufstieg des Stadtstaates in bundesweiten und nationalen schulischen Vergleichsstudien. Im aktuellen Blog von Jan-Martin Wiarda blickt der scheidende Bildungssenator Ties Rabe auf seine über zehnjährige Amtszeit zurück, in der er intensiv erhobene Daten und Statistiken nutzte, um die schulischen Leistungen der Hamburger Schüler*innen zu verbessern.
So gelang es in den vergangenen zehn Jahren den Schüler*innen in mehreren Leistungsvergleichen zur Spitzengruppe aufzuschließen bzw. sich teilweise sogar ganz vorn zu platzieren – und das bei hierfür schwieriger Sozialstruktur. Entscheidend ist dabei nicht der Vergleich, sondern vor allem die Rückmeldung an die Schulen wie Ties Rabe betont: Entscheidend (…) seien nicht nur die Daten, sondern das, was man damit mache: kein medientaugliches Schulranking, sondern eine Rückmeldung für jede Schule und jeden Lehrer. "Wir schauen genau hin, stellen die Schulen nicht an den Pranger, aber lassen sie auch nicht allein", sagte Rabe, der sein System "freundliche Belagerung" nannte.

Die Feldphase ist wie berichtet nach den Sommerferien erfolgreich gestartet und inzwischen konnten die ersten Expert*inneninterviews geführt werden.
An dieser Stelle schon einmal vielen Dank an alle Hochschulen, die das Projekt mit ihrer Zeit unterstützen. Wir freuen uns auf die weiteren Interviews und spannende Gespräche!

Von 2015 bis 2023 hat die UniWiND-Koordinierungsstelle Nachwuchsinformationen (UniKoN) die Erfassung von Daten zum wissenschaftlichen Nachwuchs unterstützt und ganz wesentlich zur Vernetzung in diesem Feld beigetragen. Nach dem Auslaufen der Förderung soll der Austausch im Rahmen eines selbstorganisierten Netzwerkes weiterleben. Alle Interessierten treffen sich zu einem Kick-Off-Treffen des bisher noch namenlosen Nachfolge-Netzwerks am 28. September 2023 von 14:30 bis 16:30 im Rahmen der diesjährigen UniWiND-Jahrestagung an der technischen Universität Berlin. Da das NuDHe-Projektteam den Austausch und Transfer zur Datennutzung an den Hochschulen vorantreiben und bereichern möchte, sind wir dabei und unterstützen das Kick-Off-Treffen tatkräftig in der Moderatorenrolle. Ich freue mich auf den Austausch!

(AW)

Das NuDHe-Projektteam stellte kürzlich Ergebnisse des Scoping Reviews auf den Jahrestagungen der Deutschen Gesellschaft für Evaluation (DeGEval) und der Gesellschaft für Hochschulforschung (GfHf) vor. Einige Erkenntnisse aus der Sichtung von über 60 internationalen empirischen Studien aus dem Hochschul- und Forschungssektor sowie weiteren einschlägigen Überblicksarbeiten aus verwandten Anwendungsfeldern:

• Die Credibility von Evidenz spielt für die Verwendung an Hochschulen und Forschungseinrichtungen eine größere Rolle als beispielsweise im Kontext der Hochschul- und Wissenschaftspolitik.
• Relevanz und Credibility der Evidenz sind wichtig, aber nicht unbedingt hinreichend für die Nutzung von Evidenz und können auf unterschiedlichen Wegen erzeugt werden.
• Passive Dissemination allein führt selten zur Nutzung von Evidenz (Langer et al. 2016).
• Studien zur Datennutzung an Hochschulen zeigen, dass insbesondere Leadership und das Commitment von Leitungspersonen dazu beitragen, dass Erkenntnisse in konkretes Gestaltungshandeln einfließen.

Die Zwischenbilanz: Über welche kausalen Mechanismen genau aus der Nutzung von Evidenz auch ein tatsächlicher Impact entsteht, ist trotz elaborierter Konzepte bislang wenig empirisch untersucht. Mit unseren Fallstudien können wir hoffentlich einen Beitrag dazu leisten.

PS: Über die Veröffentlichung der Review-Ergebnisse informieren wir auf unserer Webseite.

(AW)

Vom 29.8. bis 1.9. fand in Wien die 35. Internationale Konferenz des „Consortium of Higher Education Researchers – CHER“ statt. In ihrer Eröffnungs-Keynote verwies Ada Pellert, Rektorin der Fernuniversität Hagen, u.a. darauf, dass Beziehungen zwischen der Hochschulforschung und -praxis nach wie vor nur schwach institutionalisiert seien, ein wachsender Bedarf an datenbasierter „institutional research“ bestehen würde und auch in politischen Diskussionen Forschungsergebnisse nur bedingt eingehen würden. Diese Beobachtungen bestärken die NuDHE-Projektziele. Für die Beantwortung naheliegender Fragen, welche Ursachen dem zugrunde liegen und welche Ansatzpunkte zur Veränderung es gäbe, will NuDHe mit seinen Ergebnissen beitragen. In mehreren Gesprächen auf der Tagung fand die Projektidee entsprechend großes Interesse. Für die diesjährige Konferenz lagen zwar noch nicht genug Ergebnisse für einen Konferenzbeitrag vor, unser Teammitglied René Krempkow war aber mit Beiträgen aus einem Vorgängerprojekt KaWuM und als Track Chair vertreten und konnte daher immerhin schon Ideentransfer betreiben. Auf einer der nächsten internationalen Konferenzen sind wir sicher mit Beiträgen aus dem NuDHe-Projekt vertreten!

Nach den obligatorischen Terminfindungsschwierigkeiten traf sich Anfang Juni erstmalig der wissenschaftliche Beirat. Wer uns unterstützt ist übrigens hier zu sehen und vielen Dank an unsere Beiratsmitglieder für dieses Engagement. Nach einer Einführung zum Projektaufbau und einem kurzen Einblick in die Methodik, stellten wir die ersten Ergebnisse des Scoping Reviews vor und diskutierten, welche Implikationen sich daraus für unsere Fallstudien ergeben. Der Diskussionsschwerpunkt lag auf der Auswahl der Hochschulen für die Fallstudien. Die Kriterien der Fallauswahl u.a. die Governance-Modelle der jeweiligen Bundesländer und die Beteiligung an kooperativen Befragungen wurden vorgestellt sowie eine erste Vorauswahl nach Teilprojekt und die Beiratsmitglieder um Stellungnahme gebeten. Angeregt diskutiert wurde u.a., ob Aktivitäten der Hochschul- und Wissenschaftsforschung an den jeweiligen Hochschulen den Umgang mit Forschungsergebnissen und Befragungsdaten positiv beeinflussen und dies systematisch in der Fallauswahl berücksichtigt werden sollte.

Um unser Projekt auch in der Evaluations- und Qualitätssicherungs-Community der Hochschulen bekannt zu machen, stellte René Krempkow das Konzept sowie erste Ergebnisse unserer Literaturanalyse auf der Frühjahrstagung des Arbeitskreises Hochschulen der DeGEval am 15./16. Mai in Frankfurt/Main vor. Unser Beitrag „Was beeinflusst die Nutzung von Daten für die Qualitätsentwicklung der Lehre?“ stieß auf erfreulich große Resonanz, so dass in der Diskussion mehrere Hochschul-Vertreter*innen spontan Ihre Bereitschaft zur Mitwirkung in den geplanten Erhebungen unseres Projektes erklärten. Dies lag allerdings möglicherweise auch am passend zum Fokus unseres Projektes festgelegtem Oberthema der Tagung: „Evaluation an Hochschulen im Spannungsfeld zwischen Wissenschaftlichkeit und Pragmatismus.“ Das Programm finden sich auf der Webseite, eine Dokumentation mit ausgewählten Präsentationen auf der Webseite soll folgen. Außerdem ist eine Buchpublikation mit ausgewählten Beiträgen zur Frühjahrstagung geplant.

Das Besondere an der QCA – sie ist nicht nur einfach nur ein weiteres Auswertungsverfahren mit methodischen Standards, sondern verlangt den Wissenschaftler*innen auch einiges an Selbstreflexion zum analytischen Ansatz ab. Über die „reine Lehre“ besteht dabei nicht immer in allen Details Einigkeit, doch zumindest ein grundlegender Konsens. Empfohlen wird erstens ein fall-orientiertes Vorgehen, das auch in der Interpretation vom Wissen über einzelne Fälle profitiert und zweitens ein eher theorie-evaluierender, denn explorativer Ansatz auf der Basis konkret ausformulierter set-theoretischer Annahmen. Kein einfaches Unterfangen. Was eine gute QCA ausmacht, untersuchen Thomann et al. 2022 anhand eines systematischen Reviews von 86 QCA-Studien, nachzulesen hier:

• Thomann, E., Ege, J., & Paustyan, E. (2022).
  Approaches to Qualitative Comparative Analysis and good practices: A systematic review. Swiss Political Science Review, 28(3), 557–580. https://doi.org/10.1111/spsr.12503

In einem einwöchigen Intensivkurs hat sich unser Projektmitarbeiter Christoph Thiedig mit der Qualitative Comparative Analyses (QCA) beschäftigt. Carsten Schneider und Ioana-Elena Oana vermittelten den Kursteilnehmenden die theoretischen Grundlagen und die praktische Anwendung der Methode mit R. Insbesondere die fuzzy set-Variante der QCA wurden umfassend thematisiert - sie wird auch in NuDHe die wichtige Variante der Methode sein. Von der Kalibrierung der Daten über die Herausarbeitung von notwendigen und hinreichenden Bedingungskonstellationen und die Beurteilung zentraler parameters of fit bis zum Umgang mit begrenzter empirischer Vielfalt wurden alle Schritte der Vorbereitung, Durchführung und kritischen Prüfung einer QCA behandelt. Als praktische Abschlussarbeit des Kurses haben die Teilnehmenden die QCA-Analysen eines veröffentlichten Beitrags repliziert und erweitert. Dem NuDHe-Team stehen damit neben dem neuem methodischen Wissen auch praktische Vorlagen für die Auswertung der im Projekt anstehenden Fallstudien zur Verfügung.

Hier zwei Literaturempfehlungen zum Nachlesen für Interessierte:

• Oana, I.-E., Schneider, C. Q., & Thomann, E. (2021).
  Qualitative Comparative Analysis (QCA) Using R: A Beginner's Guide. Cambridge University Press.
• Schneider, C. Q., & Wagemann, C. (2012).
  Set-Theoretic Methods for the Social Sciences: A Guide to Qualitative Comparative Analysis. Cambridge University Press.

In unserem Projekt verwenden wir die Qualitative Comparative Analysis (QCA), die als Methode in der Hochschul- und Wissenschaftsforschung bisher noch vergleichsweise selten eingesetzt wird. Woran das liegt, können wir nur mutmaßen. Als Einführung in die QCA aus dem deutschsprachigen Raum sei an dieser Stelle jedenfalls der schon etwas ältere, aber sehr gut lesbare Beitrag von Jonas Buche und Markus Siewert empfohlen. Die Autoren führen in die Logik der QCA-Methodenfamilie ein, geben eine Rundschau über Beiträge, die mithilfe der QCA sozialwissenschaftliche Fragestellungen bearbeitet haben und veranschaulichen anschließend anhand von Beispielstudien die Analyseschritte und potenziellen Fallstricke der Methode. Zudem stellen sie drei best practice Beispiele vor, bei denen die QCA auf Makro-, Meso- und Mikroebene erfolgreich angewendet wurde. Das Fazit der Autoren: die QCA ist auf eine große Vielfalt an Themen anwendbar, für kleine wie große Fallzahlen geeignet und kann qualitative wie quantitative Informationen integrieren. Der Beitrag von Buche und Siewert zeigt den methodologischen Mehrwert der QCA für die sozialwissenschaftliche Forschung auf – und das Potenzial ihrer Anwendung in den Sozialwissenschaften. Nach der Lektüre möchte man am liebsten direkt damit loslegen.

• Buche, J., & Siewert, M. B. (2015).
  Qualitative Comparative Analysis (QCA) in der Soziologie – Perspektiven, Potentiale und Anwendungsbereiche. Zeitschrift für Soziologie, 44(6), 386-406.

Auch wenn die Auswertung unseres Scoping Reviews noch einige Zeit in Anspruch nehmen wird, stellen wir hier in loser Folge ausgewählte Beiträge aus der Literatursichtung vor, die wir persönlich aufschlussreich oder inspirierend fanden.

Zum Themenfeld Qualität in der Lehre sind unserem Teammitglied René Krempkow aus dem Scoping zwei Publikationen besonders in Erinnerung geblieben: Die erste von McCaul, weil sie untersucht, ob und inwieweit die Verantwortlichen für studentische Angelegenheiten an US-Hochschulen den National Survey of Student Engagement als Teil ihrer Planungs- und Entscheidungsprozesse nutzen. Auch wenn die Rahmenbedingungen natürlich andere sind, enthält die Studie interessante Ansätze für die Hypothesengenerierung zu Einflussfaktoren auf die Datennutzung in Deutschland. Die zweite Studie (Van Zyl et al.) prägte sich ein, weil sie am Beispiel der Universität Johannesburg zeigt, wie Hochschulen auch unter schwierigen ressourciellen Bedingungen mit Hilfe systematischer Datenauswertung und -nutzung erfolgreich Maßnahmen zur Verbesserung des Studienerfolgs kreieren können.

• McCaul, J. L. (2015).
  Closing the Loop: A Study of How the National Survey of Student Engagement (NSSE) Is Used for Decision-Making and Planning in Student Affairs. Dissertations (1185). https://scholarworks.wmich.edu/dissertations/1185
• Van Zyl, A., Dampier, G., & Ngwenya, N. (2020).
  Effective Institutional Intervention Where It Makes the Biggest Difference to Student Success: The University of Johannesburg (UJ) Integrated Student Success Initiative (ISSI). Journal of Student Affairs in Africa, 8(2), 59-71. https://dx.doi.org/10.24085/jsaa.v8i2.4448

Unser Literaturüberblick nimmt Gestalt an: Mit dem Jahresstart sind die Vorarbeiten und Tests für unseren scoping review abgeschlossen, Inklusions- und Exklusionskriterien definiert und Kategorien für die systematische Kodierung angelegt. Wir beginnen mit dem Screening der mehr als 3000 Datenbankeinträge aus Scopus und ERIC sowie in den einschlägigen deutschen Fachzeitschriften und sind gespannt auf das Ergebnis.
Für alle, die ebenfalls einen systematischen Literaturüberblick planen und sich fragen, welche Datenbanken geeignet sind, hier noch zwei Literaturhinweise:

• Gusenbauer, M. (2022). Search where you will find most: Comparing the disciplinary coverage of 56 bibliographic databases. Scientometrics, 127(5), 2683–2745. https://doi.org/10.1007/s11192-022-04289-7
• Gusenbauer, M., & Haddaway, N. R. (2020). Which academic search systems are suitable for systematic reviews or meta‐analyses? Evaluating retrieval qualities of Google Scholar, PubMed, and 26 other resources. Research Synthesis Methods, 11(2), 181–217. https://doi.org/10.1002/jrsm.1378