REvaluation Podcast

Folge 38 - "Die Verwaltung in Österreich beschäftigt sich nicht gerne (wissenschaftlich) mit sich selbst", meint Mario Steyer

Mon, 29 Jun 2026 09:00:00 +0200

Mario Steyer lehrt und forscht an der Hochschule Campus Wien (HCW) im Studiengang Public Management, wo er auch Kurse in Evaluation anbietet. Für ihn ist Evaluation ein ideales Feld für angewandte Forschung: praxisnah, methodisch anspruchsvoll und gesellschaftlich relevant.

Im Gespräch diskutieren wir, warum es im deutschsprachigen Raum nach wie vor keine eigenständige Ausbildung in Evaluation gibt – die meisten Evaluatorinnen und Evaluatoren finden eher zufällig, im Laufe ihrer Karriere, zu diesem Handwerk. Was Mario kurzerhand „Saarbrücken" nennt, ist der historische Masterstudiengang in Evaluation der Universität des Saarlandes – lange Zeit eine der wenigen strukturierten Ausbildungsmöglichkeiten im DACH-Raum.

Evaluation ist dabei keineswegs ein Thema, das nur die öffentliche Verwaltung betrifft – aber sie soll als Vorbild für reflexive und verantwortungsvolle Maßnahmengestaltung dienen. Dass sie das bislang nur bedingt tut, ist eine der zentralen Spannungen, die wir in dieser Folge beleuchten.

Außerdem sprechen wir über die Kompetenzen, die es für gute Evaluierungsarbeit braucht: einen differenzierten Umgang mit KI, eine solide methodische Ausbildung in empirischer Sozialforschung – und die oft unterschätzten Softskills, um zwischen Stakeholdern zu vermitteln und Ergebnisse klar zu kommunizieren.

Schließlich teilt Mario Einblicke aus seiner eigenen Forschung: Er beschäftigt sich konkret mit der Reflexion der Lehrveranstaltungsevaluierung an der HCW – ein Beispiel dafür, wie Evaluation auch im Hochschulkontext als Instrument der Qualitätsentwicklung eingesetzt werden kann.

Das provokante Zitat im Titel stammt nicht von unserem Gast selbst, sondern aus einer Publikation des Politikwissenschaftlers Peter Biegelbauer – und es dient als roter Faden dieser Episode.

Links zur Folge:

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Hübl (HCW)

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 37 - Was wissen wir eigentlich über das FTI-System in Österreich?

Tue, 14 Apr 2026 01:00:00 +0200

Im aktuellen Regierungsprogramm ist eine Systemevaluation des österreichischen FTI-Systems vorgesehen – ein Anlass für die fteval-Community, gemeinsam zu reflektieren, was wir aus Studien und Evaluationen eigentlich bereits über das FTI-System wissen. Der Rat für Forschung, Wissenschaft, Innovation und Technologieentwicklung (FORWIT) und die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) luden daher am 27. März 2026 die Evaluierungscommunity zu einer gemeinsamen Diskussionsveranstaltung „Zwischenbilanz: Was wissen wir eigentlich über das FTI-System?“, um auf Basis zweier rezenter Arbeiten zu überlegen, welche systemischen Erkenntnisse sich ableiten lassen und wo weiterer Klärungsbedarf besteht.

Cornelia Reiter (AIT) und Thomas König (FORWIT) präsentierten die systembezogenen Erkenntnisse aus der Zwischenevaluierung der FTI-Strategie 2030 sowie der Analyse des Hochschulsystems. Brigitte Ecker (WPZ Research) und Jürgen Janger (WIFO) ergänzten mit Hintergrundinformationen und boten Impulse für die Plenumsdiskussion. In dieser Podcastfolge fangen die Kolleg:innen ihre wichtigsten Take-aways dieser Diskussion ein.

Links:

Präsentationsfolien zur Halbzeitevaluierung der FTI-Strategie 2030, Cornelia Reiter [PDF]
Evaluierung der FTI-Strategie 2030 zur Hälfte der Laufzeit [PDF]
Präsentationsfolien zur Hochschulanalyse, Thomas König [PDF]
Analyse des Hochschulsystems in Österreich [Publikation: Mitte 2026]
Präsentationsfolien zum Diskussionsimpuls von Jürgen Janger [PDF]
Präsentationsfolien zum Diskussionsimpuls von Brigitte Ecker [PDF]

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 36 - "Kunst ist klüger, als man denkt" - kunstbasierte Forschung und Evaluation an der Angewandten

Thu, 05 Mar 2026 15:00:00 +0100

Helga Aichmaier und Alexander Damianisch erzählen in dieser Folge, wie man künstlerische Forschung fördern und evaluieren kann. Sie machen uns verständlich, was der Mehrwert und die Wirkmacht einer Forschung ist, die ihre Prozesse und Ergebnisse jenseits einer schriftlichen Denkkultur erfahrbar machen kann, um mit allen Sinnen "der Rätselhaftigkeit der Welt zu huldigen".

Auf die eigene Praxis vertrauen, Stärken stärken, starke Erzählungen transportieren und dabei mit der Gesellschaft zu interagieren und präsent zu sein sind die Empfehlungen, die die beiden Wissenschaftler:innen, die mit künstlerischen Mitteln forschen möchten, mitgeben.

Links:

Angewandte Interdisciplinary Lab (AIL) - Platform for art, science and artistic research
Ausstellung der Angewandten "UNDERSTANDING – ART & RESEARCH" (2019) - Booklet [PDF]
Support Kunst und Forschung an der Universität für angewandte Kunst Wien
Programm zur Entwicklung und Erschließung der Künste des Österreichischen Wissenschaftsfonds (FWF)
Evaluierung des PEEK Programms des FWF (2022)
Statement des FWF zum Evaluierungsbericht

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 35 - "Critical Friends" und wie man sie findet: Ein Erfahrungsaustausch zu Panelevaluierung

Thu, 13 Nov 2025 08:00:00 +0100

Am 4. November 2025 luden der Wiener Wissenschafts-, Forschungs- und Technologiefonds (WWTF) und die Plattform fteval zu einer Veranstaltung über Panelevaluierung, um die Erfahrungen in der Community in einen Austausch zu bringen.

Für diese Podcastfolge haben wir die Diskussion für unsere Zuhörenden eingefangen: Magdalena Wicher und Michael Strassnig vom WWTF fassen mit Katharina Warta, Leiterin des österreichischen Büros von Technopolis Group, die wichtigsten Punkte zusammen und kommen am Ende sogar noch in eine richtige Kontroverse!

Für die Beteiligten ist klar, was die Vorteile von Panels sind, weil man beispielsweise rasch die kritischen Punkte zum Evaluationsobjekt identifiziert werden können und die Rolle der "Critical Friends" sehr wertvoll sein kann. Gleichzeitig ist es herausfordernd und ressourcenintensiv, ein ausgewogenes und hochkarätiges Panels zu etablieren und Ownership über den Evaluationsgegenstand und Vertrauen zu generieren. Die Bedeutung von persönlichen Treffen wird besonders herausgestrichen. Katharina teilt ihre Erfahrung aus der Gruppendynamik und erklärt anhand des Johari-Fensters, wie man blinde Flecken, Unbekanntes und Geheimes aufdecken kann.

Links:

Foliensatz des WWTF zu Panelevaluierung mit zwei Fallbeispielen
Fallbeispiele von Technopolis Group:
- Evaluation Methodology der Evaluation der wissenschaftlichen Institutionen Lettlands: https://www.izm.gov.lv/lv/media/29432/download?attachment
- Presentation des Evaluationsberichts für Universität Luxembourg: https://www.chd.lu/fr/meeting/13645 (ab Minute 5:50)

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Episode #34 - "Crafting career trajectories that are attractive for excellent people": Markus Wanko at XISTA

Wed, 05 Nov 2025 01:00:00 +0100

Markus Wanko is the founding force behind the XISTA innovation ecosystem, empowering science innovators. Today, Markus leads XISTA’s venture fund (Managing Partner), science park (MD), and tech transfer arm (MD). With his work he helps ISTAs research to develop it's full societal potential. In this interview we learn how start up trainings must be sector specific to be most effective, where the venture capital for the science start-ups typically comes from and what Markus recommends to the evaluation community: To take evaluation seriously!

Links:

ISTA: https://ista.ac.at/en/home/
XISTA: https://xista.com/
XISTA science ventures: https://xista.vc
XISTA innovation: https://xista.io/
XISTA science park: https://xista-park.com/

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Photo: The Gentlemen Creatives

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Episode #33 - Anastasia Lijadi about IIASA as a "scientific powerhouse"

Wed, 05 Nov 2025 01:00:00 +0100

Anastasia Lijadi is Executive Assistant to the Deputy Director General and Gender Equality and DEI Officer at the International Institute for Applied Systems Analysis (IIASA). We hear how IIASA's international set-up allows research perspectives at a global systemic scale to tackle our time's most pressing problems.

More information about IIASA's Gender Equality Plan can be found here: https://iiasa.ac.at/about-iiasa/institute/equality-diversity-and-inclusion/iiasa-gender-equality-plan-gep

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Episode #32: Let's play cards and co-create a theory of change within an hour!

Mon, 29 Sep 2025 02:00:00 +0200

Erika Hajdu and Stefan de Jong of the Evaluating Societal Impact team at the Erasmus University Rotterdam developed a card game to structure discussions around complex impact pathways, and to enable teams to draft early versions of their Theory of Change in a more interesting, time-efficient way.

They presented their approach at the REvaluation Conference, and we thought this tool might be useful for the fteval community.

In this interview we learn how the game works and how it can be helpful for different settings.

Links:

This episode was made possible with the friendly support of the Austrian Ministry for Women, Science and Research. Thank you for this cooperation!

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 31 - Innovation messen, Chancen erkennen: WPZ Research über Österreich im European Innovation Scoreboard

Mon, 29 Sep 2025 01:00:00 +0200

Diesmal waren wir zu Gast bei WPZ Research und konnten uns dort einiges über die jüngste Ausgabe des European Innovation Scoreboards (EIS) und Österreichs Performance darin erfahren. Brigitte Ecker und Sascha Sardadvar erklärten uns geduldig, was uns der EIS sagen kann und was nicht und wie es sonst so um die Zukunftsfähigkeit der österreichischen Forschungslandschaft bestellt ist. WPZ Research ist als kleines unabhängiges Forschungsinstitut auch deshalb besonders, weil es zur DNA gehört, dass alle Forschenden gleichzeitig auch in der Lehre aktiv sind.

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Frauen, Wissenschaft und Forschung (BMFWF) ermöglicht.

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Special #7: What skills does the next generation of evaluators need?

Sat, 31 May 2025 01:00:00 +0200

There is a generation shift in the community going on and in the dynamic landscape of research and innovation, the perspectives of the next generation are crucial for shaping future policies and practices. In this panel we tried to bring together younger researchers and evaluators and senior counterparts to discuss the challenge, demands and future directions of innovation research and policy evaluation.

Panellists

Florian Bayer, Department of Science and Technology Studies, University of Vienna
Luyu Du, Center for Organization Research and Design (CORD), Arizona State University, United States
Nino Gogadze, CWTS, Leiden University
Jakob Kofler, Austrian Institute for SME Research

Moderators

Philippe Larédo & Julia Melkers

Thanks to our partners and co-organisers that helped realising the REvaluation Conference 2024: Ministry of Innovation, Mobility and Infrastructure, Ministry of Women, Science and Research, Ministry of Economy, Energy and Tourism, Vienna Science and Technology Fund, COST Action PROFEEDBACK (CA ), Meeting Destination Vienna, FH Campus Vienna, Austrian Science Fund, Austrian Research Promotion Agency, ZSI - Centre for Social Innovation, Fraunhofer ISI, Institut Francilien Recherche, Innovation et Société, Joanneum Research, the whole fteval Community.

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Special #6: Are we all metascientists now, James Wilsdon?

Fri, 30 May 2025 01:00:00 +0200

Motivated by evidence based scientists doing gut-based science policy, and by science policy maker acknowleding the faults of the system when they leave it rather than when they can still do something about it, James Wilsdon of RoRI turned his attention towards meta science in this REvaluation 2024 keynote.

Meta Science, Meta Research, Science of Science, Research of Research are all the same, and not new, but new things are going on. Applying robust methods to understanding, analysing and improving the science system!

He shows that he is not the only one, but more and more RoR is done out of the various discplines and sub-disciplines themselves, in particular, because there is data to do so, and that adds specific domain knowledge to the pool of RoR bottom-up. Top-down, from science funders, are at least in the UK again testing their funding in large-scale experimental settings; and are opening their funding data for the ROR community. Lastly, new institutions contribute to the debate, in Carlifornia funded by the Tech community, trying to "practice meta science".

Why does this happen? More investment, slow down of disruption and radical change, worries about too much reporting and to little impact, on-going crisis of replication, and rapdily changing landscape of scolar communication (open science, open data), pressure for excellence and AI and research funding. MetaScience is both a contribution to incremental change and a source for radical, systematic change.

Concluding, Wilsdon argues for five priorities to go forward: more and better experimentation for evaluation (e.g. applicants reviewing other applicants, makes it easier to find reviewers, and to speed up the process); investing in infrastructures for doing MetaScience at scale and long-term (e.g. the publish-curate-review-platform MetaROR); Foster cross sector alliances (e.g. MetaScience Alliance); with more global conversations beyond western countries; and demonstrate the worth of MetaScience!

Links:

RoRI-Research on Research Institute: https://researchonresearch.org/
Metascience Conference: https://metascience.info/
James' presentation slides

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Special #5: How to fund transdisciplinarity?

Thu, 29 May 2025 01:00:00 +0200

There is momentum in the research community with regard to trandisciplinary research (TDR) and research funding, because societal transformation necessitates more complex solutions; but at the same time, the notion that research happens more and more within disciplines, and not across disciplines or in a transdisciplinary way.

The panel discusses challenges, but also opportunities TDR provides and tackles questions and opportunities on reasons to fund TDR and how to achieve impact, and on related challenges. The panel touches on questions like how new is the approach, what can be done to support it further and how to provide contiunity and manage knowledge within the research system.

The panelists were

Christian Pohl, ETH Zürich, Co-Director Transdisciplinarity Lab
Helen Buckley Woods, University College London, Research on Research Institute
Marianne Penker, BOKU University, Academy of Science

Moderation: Petra Biberhofer, Austrian Science Fund

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Special #4: How do you measure impact at your ministry, Henriette Spyra?

Wed, 28 May 2025 01:00:00 +0200

Henriette Spyra explains how the back then Austrian Federal Ministry for Climate Action implements a transformative Innovation Policy since 2021. RTI is one, but not the only one, policy that contributes to transformative change. Climate neutrality, competitiveness and sovereignty as well as resilience, security and well-being need nowadays a broad innovation approach and system view. The Ministry redesigned and focusses its thematic priorities, introduced new instruments and broadened its innovation community. A new approach towards monitoring, evaluation and learning was key. Examples will be presented on (1) what new approaches and elements have been introduced to better monitor and evaluate the entire portfolio of RTI activities and its interlinkages and (2) how especially the contribution of RTI towards green transition is monitored and evaluated.

The discussion was moderated by Elke Dall.

Links:

Federal Ministry of Austria - Innovation, Mobility and Infrastructure (BMIMI): https://www.bmimi.gv.at/en.html
Henriette Spyra on Linkedin
Henriette's presentation slides

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Special #3: Peer Review in Transition

Tue, 27 May 2025 01:00:00 +0200

Peer review is a central instrument for the self-governance of the scientific community and for legitimizing e.g. funding decisions made towards both scolars and society. However, it is intransparent and time-consuming, especially so because more and more publications are produced. Therefore, the need to increase its quality and reliability was often recognized in the past years. Today, additional challenges have emerged such as generative AI, the occurance of predatory journals, paper/reviewer mills, etc. Nevertheless, peer review will most likely remain important for the foreseeable future, exemplified also by CoARA.

On the REvaluation conference 2024, the editorial board of the academic journal Research Evaluation organised a panel discussion on this topic. The panel focusses on two main questions:

How can peer review address the challenges posed by generative AI tools like Chat GPT?
How should the relationships between peer review and bibliometrics be reviewed under the new CoARA agreement for open science?

The panelists were

Jakob Edler, Executive Director of the Fraunhofer Institute for Systems and Innovation Research ISI-Karlsruhe - DE & Prof. of Manchester University
Grit Laudel, Research Associate at TU Technical University of Berlin-DE
Nicholas Vonortas, Associate Dean for Research Initiatives - GW Elliott School of International Affairs Washington DC-US, Co-Editor Science and Public Policy)

The panel was chaired by Emanuela Reale (IRCrES CNR-Italy). Further contributions are from Julia Melkers (Center for Organization Research & Design, School of Public Affairs, Arizona State University) and Nicolas Robinson-Garcia (Department of Information and Media Studies, University of Granada).

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Special #2: Does AI really save work in evaluation, Linda Raftree?

Mon, 26 May 2025 01:00:00 +0200

Interest in artificial intelligence (AI) has been growing among the monitoring, evaluation, research and learning (MERL) community over the past decade. Yet AI adoption has been hampered by lack of data science capacities, low trust in AI, ethical concerns, affordability, absence of applicable use cases, and multiple other barriers. The public release of mainstream Generative AI (GenAI) applications, beginning with ChatGPT in late 2022, changed the game. GenAI and natural language processing (NLP) tools are now more accessible. For MERL Professionals, the hope is that they might support program delivery, improve efficiencies, and help us to find meaning in large troves of qualitative data.

At the same time, the untested nature of emerging AI — especially in low resource contexts and fragile environments. The potential harms due to bias, low levels of reliability and validity, lack of accountability, and negative wider societal impacts such as job loss and the environmental costs of data processing make the use of GenAI an ethically fraught exercise.

The MERL community is varied in its attitudes toward GenAI. Some are rushing to embrace and adopt it, at times uncritically. Others are avoiding GenAI altogether, perhaps out of fear or disinterest, but also because of real concerns about the practical utility and the bigger issues with AI ethics.

At this talk Linda Raftree elaborates, with real world examples, on how and where GenAI is being used in the MERL space. She also examines how and why the wider AI boom is affecting our societies and our planet to spur us to think critically about AI in our work and in the world and to re-examine the role of Evaluators as users and assessors of AI.

Links:

The MERL Tech Initiative: https://merltech.org/
Linda's presentation slides

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Special #1: Can we just have more causal methods in the evaluation of innovation and research policies?

Sun, 25 May 2025 01:00:00 +0200

Whether it is business innovation or basic research, new quantitative methods or new micro-level and register data open up opportunities to investigate the relationships between policies and their intended effects. The aim of the panel is to facilitate an exchange on methods and data for causal evaluation in various innovation and research policies. Which opportunities can we identify, which challenges remain for an increased use of these methodological approaches in evaluations in the medium and long term?

Panellists

Reinhilde Veugelers, KU Leuven
Professor at the Department of Management, Strategy and Innovation, Senior fellow at Bruegel, CEPR Research Fellow, member of the Royal Flemish Academy of Belgium for Sciences and of the Academia Europeana
Guido Bünstorf, University of Kassel
Professor and Head of Economic Policy, Innovation and Entrepreneurship-Group and member of the Commission of Experts for Research and Innovation (EFI)
Regina Fuchs, Statistics Austria
Director for Social Statistics and Austrian Micro Data Center (AMDC)
Clara Calero-Medina, Leiden University
Senior Researcher and Director of Innovation and Impact at the Centre for Science and Technology Studies (CWTS)

Moderator

Thomas König, Managing Director at FORWIT - Austrian Council for Sciences, Technology, and Innovation

Panel Organisers

Patrick Svensson-Jajko, BMBWF - Austrian Federal Ministry of Education, Science and Research
Agnes Kügler, WIFO - Austrian Institute of Economic Research
Jürgen Janger, WIFO - Austrian Institute of Economic Research

Links:

Keynote speech by Paul Hünermund about causality at the predecessor REvaluation Conference in 2022

This panel and thte podcast episode were inspired and supported by the Ministry of Women, Science and Research. Thank you!

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 22 - Brigitte Tiefenthaler evaluiert Österreichs Beitrag zum "EU Binnenmarkt für Forschung"

Thu, 19 Dec 2024 15:00:00 +0100

Brigitte Tiefenthaler hat schon an ganz unterschiedlichen Stationen im FTI-System gearbeitet, seit 2007 ist sie Beraterin bei Technopolis in Wien. Sie beschäftigt sich besonders gerne mit Fragen der Transformation und der Partizipation. So kommt es nicht ungelegen, dass der Österreichische Aktionsplan für den Europäischen Forschungsraum (ERA-NAP) 2022-2025 ebenfalls mit Hilfe von Konsultationen entstanden ist. Wie man so einen Aktionsplan evaluiert, erfahren wir in dieser Podcastfolge.

Wer Näheres zur Hochschulkonferenz erfahren möchte, wird an dieser Adresse fündig: https://www.bmbwf.gv.at/Themen/HS-Uni/Hochschulgremien/HSK.html
Informationen zur ERA Policy Agenda 2022-2024 gibt es hier: https://era.gv.at/era/era-policy-agenda/
Und zuletzt Mehr Information zu ERA, auch zur Historie und zu den relevanten Dokumenten:
https://era.gv.at/era/

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht.

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/
Foto: Brigitte Tiefenthaler

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 21 - Evaluierung auf lokaler, nationaler und europäischer Ebene: im Gespräch mit Angelika Sauer-Malin

Tue, 01 Oct 2024 01:00:00 +0200

Angelika Sauer-Malin ist Forscherin und Evaluatorin im Bereich POLICIES bei Joanneum Research in Graz. In dieser Podcastfolge erzählt sie über ihre Arbeit als Evaluator:in auf lokaler, nationaler und europäischer Ebene und was sie damit bisher bewirken konnte. Wir lernen, welche Skills Evaluator:innen mitbringen müssen, wie man eine anstatt einer "Beurteilungs-" eine Lernatmosphäre schaffen kann und womit sich in ihre Abteilung sonst so beschäftigt.
Für die Plattform fteval wünscht sie sich ein Mentoringprogramm für Nachwuchsevaluator:innen - eine sehr interessante Idee, die wir auf jeden Fall evaluieren werden! :)
Vielen Dank für das nette Gespräch!

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 20 - Qualität auf die grüne Wiese planen: Die Neugründung der IT:U

Mon, 02 Sep 2024 02:00:00 +0200

Für diese Folge haben Tobias und Isabella die neu gegründete IT:U in Linz besucht und Stefanie Lietze und Gerd Krizek gefragt, wie sie ihr Qualitätssicherungssytem komplett von Anfang an aufbauen. Wir lernen, dass die "Digitaluni" sehr wohl analoge Lehr-/Lernlabore betreibt, wie die Kriterien Interdisziplinarität, Digitalisierung und Transformation gelebt und beforscht werden und so "21st Century Skills" vermittelt werden sollen.

Link zur IT:U - interdisciplinary transformation university austria: https://it-u.at/

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 19 - Wie fördert man transdisziplinäre Forschung, Petra Biberhofer?

Tue, 16 Jul 2024 15:00:00 +0200

Der Schwerpunkt dieser Podcastfolge ist transdisziplinäre Forschung und wie man sie fördern kann. Dazu haben wir Petra Biberhofer vom FWF interviewt. Sie ist für die Programme #ConnectingMinds und Emerging Fields zuständig. Warum der FWF entschieden hat, nicht-traditionelle Stakeholder in Forschungsprojekte einzubinden und wie das funktionieren soll, wird genauso besprochen, wie das entstandene ko-kreierte Wissen für alle nutzbar werden kann und welche speziellen Anforderungen Transdisziplinarität an die Programmevaluierung stellt.

Vielen Dank für das spannende Interview, liebe Petra! Wir freuen uns darauf, die Diskussion auf der diesjährigen REvaluation Conference weiterführen zu können!

Links:

FWF Programme, die Transdisziplinarität ermöglichen:
- #ConnectingMinds, für das voraussichtlich im Herbst 2024 die neue Ausschreibung startet
- Emerging Fields
TD Academy
td-net
td-net Toolbox
SHAPE-ID Toolkit
Head of Transdisciplinarity for NRP 82
NFP 82 CH Nationalfonds
ÖAW Earth System Sciences
Cancer Mission Lab, LBG
AG Sozial-ökologische Transformation
EAWAG

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht.

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Episode 18 - How plurality strengthens evaluation: interview with May Pettigrew about the EES Autumn Event

Thu, 04 Apr 2024 22:00:00 +0200

This time we take the opportunity to share our take-aways from the 2023 Autumn Event by the European Evaluation Society (EES) under the Motto "Alternative Futures: What role for evaluation in a just transition?". As our interview guest, we invited May Pettigrew, EES Vice Chair and main organiser of the Autumn Event to discuss with us the impressions we had. We chat about the diversity of contributions to this online conference, learn how plurality is key for just transitions as well as meaningful evaluations, and we get recommendations what evaluators need to understand and do now to cope with AI technologies entering the field. In particular, we focus on two sessions:

1) Session "Evaluating the Impact of Innovation and SME Support Programs:
Unleashing Entrepreneurial Potential" - Full recording of the session [via YouTube]

Contribution by Cliff Paredes, Massachusetts SBDC Network
Contribution by Raffaele Trapasso, OECD Centre for Entrepreneurship, SMEs, Regions & Cities
Closing by Mita Marra, Editor In Chief at Evaluation and Program Planning

2) Keynote "A just Transition" by Linda Raftree, MERL Tech Initiative
- Full recording of the keynote talk [via YouTube]

Thank you for this great conversation!

Music: Urbana-Metronica (wooh-yeah mix) by spinningmerkaba (c) copyright 2011 Licensed under a Creative Commons Attribution (3.0) license. http://dig.ccmixter.org/files/jlbrock44/33345 Ft: Morusque, Jeris, CSoul, Alex Beroza

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 17 - Weihnachtsfolge Wünsche ans FTI-Politik Christkind

Wed, 20 Dec 2023 08:00:00 +0100

Als kleines Geschenk von der und für die Community haben wir in diesem Jahr eine Weihnachtsfolge aufgezeichnet!
Wir haben jene, die uns in den letzten Wochen und Monaten vor's Mikrofon gekommen sind, gefragt, was ihr Wunsch als Christkind für FTI-Politik ist.

Viel Spaß mit der Weihnachtsfolge und gute Unterhaltung mit den Wünschen unserer Betragenden!

Susanne Bührer, Fraunhofer ISI
Neil Brown, Technopolis Group | UK
Florentine Frantz, Technopolis Group | Austria
Hans Holzinger, Scientists 4 Future
Peter Kolarz, Technopolis Group | UK
Katja Mayer, Universität Wien und Zentrum für Soziale Innovation
Susanne Meyer, BMK
Michael Ploder, Joanneum Research
Siegfried Reich, Salzburg Research
Thomas Scherngell, AIT
Klaus Schuch, Zentrum für Soziale Innovation
Sonja Sheikh, ACR, Obfrau der fteval Plattform und Rätin im Rat für Forschung, Wissenschaft, Innovation und Technologieentwicklung
Tanja Spenlingwimmer, aws
Michael Stampfer, WWTF
Katharina Warta, Technopolis Group | Austria und ehem. Obfrau der fteval Plattform

Links zu den erwähnten Veranstaltungen:

Die besten Wünsche für ein gutes neues Forschungsjahr!
Tobias & Isabella

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44
Klangeffekt: Magic by Sonically Sound (Enes DENIZ) - https://freesound.org/people/sonically_sound/sounds/613163/

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Episode 16 - Community Science as a Place for Communities to learn: Interview with Emilio Velis

Fri, 15 Dec 2023 06:00:00 +0100

This episode completes our little series about participation that started with Episode 15 . We take a closer look at participation in the context of open innovation processes using the example of “Appropedia”, a wiki-based ontology that was itself developed in a participatory manner. In this interview with Emilio Velis, we learn that participatory projects must always give the community involved the opportunity to learn.

Links

Emilio Velis: https://emiliovelis.com/about/
Appropedia Foundation: https://www.appropedia.org/Welcome_to_Appropedia
Special Issue of the fteval Journal: If you are interested in receiving a printed version of the special issue, please feel free to drop us a note! podcast [at] fteval.at
Direct link the the Article “Documenting and assessing open innovation: co-creation of an open data model for surgical training” by Julieta Arancio, Emilio Velis and Diego Torres
Article about a follow-up project “Towards open source patents: Semi-automated open hardware certification from MediaWiki websites“

This episode was made possible with the kind support of the Federal Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology. Thank you!

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/

Photo from emiliovelis.com under a CC-BY 4.0 license.

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Episode 15 - Planning Impact Together: Katja Mayer on Participatory Evaluation

Fri, 15 Dec 2023 06:00:00 +0100

Katja Mayer gives fascinating insights into participatory methods for evaluation, with a particular focus on evaluating science projects that themselves have participatory elements. We learn that it is a challenge for scientists to suddenly be moderators of a complex debate and mediators of group dynamics. But we also learn how this can be tackled and how a participatory process can be democratising rather than exploiting. Also, participation does not mean to include everybody, but to get representation right for the purpose of the project at stake.

With a fundamental understanding that evaluation has to be part of every research project and not something that is done by auditors afterwards, Katja invites planning, designing and creating impact together from scratch. This is how it is a co-evaluative journey throughout the research process and citizens will not feel evaluated themselves, but get a tool at hand to be masters of their own impact.

Our focus episodes on participatory methods are drawing from the experience we made in the special issue #54 of the fteval Journal. The next episode 16 presents an interview with Emilio Velis with an approach to open innovation.

Links

Special Issue of the fteval Journal:If you are interested in receiving a printed version of the special issue, please feel free to drop us a note! podcast [at] fteval.at
Katja Mayer
Whitepaper on Co-evaluation of Citizen Social Science
CoACT Project: Codesigning Citizen Social Science for Collective Action
Paper about the term "Citizen" in Citizen Science
Antonella Passani, T6
ACTION Project: Participatory science toolkit against pollution
Impetus Project: Impetus for Citizen Science
The “OIS Zam” conference series as a good practice example for an “arena” for citizens, researchers and funders
Episode 16 on open innovation: Interview with Emilio Velis

This episode was made possible with the kind support of the Federal Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology. Thank you!

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Episode 14 - Research Infrastructures as a Life Commitment

Tue, 28 Nov 2023 03:00:00 +0100

In this episode, we look at the question of how to evaluate large research infrastructures – from the Large Hadron Collider to the European Social Survey. We conducted a very exciting online interview with our colleagues Neil Brown and Peter Kolarz from Technopolis Group | UK. We learnt that a new research infrastructure is like a life commitment and that you have to immerse yourself in order to understand the effects on all dimensions.

This episode was made possible with the kind support of the Federal Ministry of Education, Science and Research (BMBWF). It is part of the initiative of the BMBWF for strengthening trust in sciecne and democracy in Austria (#TruSD). Thank you very much!

Music: Urbana-Metronica (wooh-yeah mix) by spinningmerkaba (c) copyright 2011 Licensed under a Creative Commons Attribution (3.0) license. http://dig.ccmixter.org/files/jlbrock44/33345 Ft: Morusque, Jeris, CSoul, Alex Beroza

Photo in Artwork by CERN, CC-BY-SA

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 13 - Wie Digitalisierungspionierinnen Gesellschaft gestalten und wie man sie fördert, solche zu werden

Wed, 04 Oct 2023 11:00:00 +0200

Wie Digitalisierungspionierinnen Gesellschaft gestalten und wie man sie fördert, solche zu werden haben wir diesmal Roland Sommer von der Plattform Industrie 4.0 und Fridolin Herkommer von der Bundesarbeitskammer gefragt.
Wir stellen ein Förderprogramm vor, bei dem junge Frauen die Gelegenheit bekommen, ein Praktikum im Bereich Digitalisierung an Unternehmen zu absolvieren und davor Schulungen zur Weiterentwicklung ihrer unternehmerischen und persönlichen Fähigkeiten sowie während des Praktikums Mentoring von Arbeitsmarktspezialisten bekommen: die Digital Pioneers.
Das Pilotprogramm hat als kooperative Initiative der Plattform Industrie 4.0 in einigen Bundesländern gestartet und war so erfolgreich, dass es als "Digital Pioneers Scheck" vom BMK weiter unterstützt und in das Portfolio der FFG eingegliedert wurde. So versucht man nun mit lokalen Partner:innen eine bundesweite Ausrollung zu erreichen.
Als Grundlage für diese Weiterentwicklung wurde eine Evaluierungsstudie beauftragt.
Was man aus der Pilotförderrunde und in der Evaluierung gelernt hat, welche Herausforderungen das Programm stellt und welche wichtigen Dynamiken im Bereich Digitalisierung es sonst noch gibt, das und noch einiges mehr erfahren wir in diesem kurzweiligen Gespräch.

Links und weiterführende Informationen:

Roland Sommer, GF der Plattform Industrie 4.0
Fridolin Herkommer, Bundesarbeitskammer
Das Projekt Digital Pioneers
Digital Pioneers (Scheck) auf der FFG-Webseite
Pilotregionen und Links
- Oberösterreich: www.bfi-ooe.at
- Tirol: www.bfi.tirol
- Vorarlberg: www.digitalcampusvorarlberg.at

Diese Folge wurde mit freundlicher Unterstützung des Bundesministeriums für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie ermöglicht. Vielen Dank!
Fotocredit: Das Foto der Digitalpionierin im Artwork stammt von Nina Bröll wurde mit freundlicher Genehmigung des Digital Campus Vorarlberg verwendet.

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 12 - Wie evaluiert man Forschungsschwerpunkte, Gregor Weihs?

Thu, 31 Aug 2023 08:00:00 +0200

IIn dieser Folge lernen Tobias und ich von Photonik-Koryphäe und Vize-Rektor für Forschung, Prof. Gregor Weihs, was die strategische Ausrichtung auf interdisziplinäre Forschungsschwerpunkte an einer Universität bedeutet und wie man Evaluierung zur Weiterentwicklung der Themenfelder nutzen kann.

Wir erfahren, dass während des Evaluierungsprozesses der inneruniversitäre Austausch gefördert wird und man dabei feststellen kann, dass Schwerpunkte im Vergleich zu traditionellen Verwaltungseinheiten deutlich mehr Außenwirksamkeit erreichen können.

Im Abstand von drei Jahren versammeln sich die Entscheidungsträger:innen der Universität Innsbruck zu einer Klausur, der Zukunftsplattform Obergurgl, präsentieren die Erfolge der Forschungsschwerpunkte und beraten gemeinsam über die strategische Weiterentwicklung. Wie das funktionieren kann und wie man die Evaluierungskultur in der neuen Universitätsratsperiode weiter verbessern möchte, erzählt uns Prof. Weihs in diesem Interview.

Am Ende hören wir, wie wertvoll es ist, wenn Evaluierende selbst etwas von Forschung verstehen und den Evaluationsprozess mit wissenschaftlichem Anspruch und fortwährender Kontinuität betreiben.

Vielen Dank für die Gastfreundschaft der Kolleg:innen in Innsbruck und das lohnende Gespräch!

Diese Podcastfolge wurde mit freundlicher Unterstützung des Bundesministeriums für Bildung, Wissenschaft und Forschung (BMBWF) ermöglicht. Sie ist Teil der Initiative des BMBWF zur Stärkung des Vertrauens in Wissenschaft und Demokratie in Österreich (#TruSD). Herzlichen Dank!

Musik: Urbana-Metronica (wooh-yeah mix) by spinningmerkaba (c) copyright 2011 Licensed under a Creative Commons Attribution (3.0) license. http://dig.ccmixter.org/files/jlbrock44/33345 Ft: Morusque, Jeris, CSoul, Alex Beroza

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 11 - Kann eine nationale Strategie das Hochschulwesen sozialer machen?

Thu, 10 Aug 2023 15:00:00 +0200

Dieses Mal hatten wir Freud' und Ehr' mit zwei Expert:innen aus der Hochschulforschung zu sprechen: Silke Preymann und Martin Unger. Anlass war die Zwischenevaluierung der Nationale Strategie zur sozialen Dimension in der Hochschulbildung des BMBWF, die vergangenes Jahr veröffentlicht wurde.

Wir erfahren, wie viele österreichische Hochschulen Strategien und Aktivitäten zur Förderung benachteiligter Gruppen haben und dass es dafür eine Vielzahl unterschiedlicher Maßnahmen gibt. Warum man nicht sagen kann, ob Studierende mit Behinderungen im Vergleich zur Gesamtbevölkerung unter- oder überrepräsentiert sind, dass Studierende im Schnitt viel älter sind, als es der landläufigen Vorstellung entspricht und warum es keinen Sinn macht, spezifische Maßnahmen für einzelne Gruppen zu setzen - diese interessanten Umstände und noch einige mehr werden in den knapp 100 Minuten dieser Podcastfolge erklärt.

Weiterführende Links:

Silke Preymann, FH Oberösterreich
Martin Unger, IHS - Institut für Höhere Studien
Nationale Strategie zur sozialen Dimension in der Hochschulbildung
Zwischenevaluierung der Nationalen Strategie zur sozialen Dimension in der Hochschulbildung:
- Evaluationsbericht der Zwischenevaluierung
- Präsentationsfolien der Zwischenevaluierung
Nähere Informationen zum Bologna-Prozess auf europäischer Ebene

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 10 - Lasst uns Lernprozesse kultivieren! - Harald Wieser über transformative Innovationspolitik

Tue, 13 Jun 2023 08:00:00 +0200

Für diese Folge hatten wir unseren fteval-Kollegen Harald Wieser von der KMU Forschung Austria zu Gast bei dem wir uns unter anderem diesen Fragen gewidmet haben:

Was sind Missionen?
Warum sind Städte wichtig für Transformation Richtung Nachhaltigkeit?
Was waren die Ergebnisse der Evaluierung des Stadt-der-Zukunft Programms?
Und was ändert sich jetzt für die Evaluierung, wenn aus Programmen Missionen werden?
Was heißt das für die Plattform fteval?

Harald plädiert für die Schaffung von Lernräumen, damit wir als Gesellschaft gemeinsam nachhaltige Praktiken kultivieren können. Wie das funktionieren kann, erfahrt ihr in diesem kurzweiligen Gespräch.

Links und weiterführende Informationen:

Auschschnitte aus dem Panel "From technology to transformative RTI policy – Austrian
Mission “Climate Neutral City” as a practical example" auf der REvaluation Conference 2021|22
BMK: http://bmk.gv.at/
KMU Forschung Austria: http://kmuforschung.ac.at/
Stadt der Zukunft Programm: https://www.ffg.at/stadt-der-zukunft-programmlinie
Evaluation des Stadt der Zukunft Programmes: https://repository.fteval.at/id/eprint/649/
Dokumentation der Aktivitäten und Ergebnisse des Stadt der Zukunft Programmes: https://www.nachhaltigwirtschaften.at/de/sdz/
EU-Missionen: https://research-and-innovation.ec.europa.eu/funding/funding-opportunities/funding-programmes-and-open-calls/horizon-europe/eu-missions-horizon-europe_en
Mission der 100 klimaneutralen Städte: https://research-and-innovation.ec.europa.eu/knowledge-publications-tools-and-data/publications/all-publications/100-climate-neutral-cities-2030-and-citizens_en
FIT4Urban Mission - Programm für klimaneutrale Städte in Österreich: https://nachhaltigwirtschaften.at/de/sdz/artikel/fit4urbanmission.php

Vielen Dank an BMK und KMU Forschung Austria für die Kooperation zu dieser Podcastfolge!
Foto im Artwork: Marlene Fröhlich, www.luxundlumen.com

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 9 - CDG: der Doppler-Effekt der Forschungsförderung

Fri, 28 Apr 2023 09:00:00 +0200

In dieser Folge waren wir in die Zentrale der Christian-Doppler-Forschungsgesellschaft geladen und hatten Freud' und Ehr' mit dem Senatsvorsitzenden Prof Hans Irschik und der Stv. Generalsekretärin Brigitte Müller zu plaudern. Wir haben Fragen zu Evaluierung, Transformation und natürlich der speziellen Wirkungsweise der CDG gestellt.

Im fteval Repositorium sind alle bisherigen Evaluierungen der CDG verzeichnet. Die nächste institutionelle Evaluierung ist für 2025 geplant.
Hier geht's zu den CDG Zukunftstalks: https://www.cdg.ac.at/news/interviews

Was meinen Sie? Wie sollten bottom-up und top-down Zugänge in der Forschungspolitik sinnvoll kombiniert werden? Schreiben Sie uns gerne an podcast@fteval.at.

Diese Folge des REvaluation Podcast wurde mit freundlicher Unterstützung des Bundesministeriums für Arbeit und Wirtschaft ermöglich. Vielen Dank!

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 8 - Das AMDC: Für verknüpfte Mikrodaten ziehen wir alle Register

Tue, 18 Apr 2023 08:00:00 +0200

In dieser Folge wird das 2022 gelaunchte Austria Mikrodatacenter (AMDC) vorgestellt, wobei eine Menge interessanter Fragen aufgetaucht sind:

Warum könnte das Austria Microdata Center (AMDC) die Arbeitsplatzanordnung an Forschungsinstitutionen verändern?
Welche neuen Möglichkeiten der Datenverknüpfung gibt es und was muss man beachten?
Und wird das AMDC bald von einer KI ersetzt?

Wir haben Sabine Kogler und Harald Titz vom BMBWF als die "Datensammler", Simon Hartmann von der Statistik Austria als "den Datenvermittler" und Monika Mühlböck vom IHS als Vertreterin der Anwendungsperspektive eingeladen und ein sehr spannendes, ausführliches Gespräch geführt.

Zu Beginn wird geklärt, was hinter dem AMDC steckt und wie die Entwicklung vorangetrieben wurde. Im zweiten Teil wird noch genauer beschrieben, wie so ein Datenzugang aussieht und was er kann und wir fragen nach den Weiterentwicklungsperspektiven des AMDC. Wie gewohnt, kann man entlang der Kapitelmarken innerhalb der Podcastfolge navigieren und sich so die interessantesten Stellen auswählen.

Alle Infos und Kontakt zum AMDC finden Sie auf der Website der Statistik Austria: https://www.statistik.at/services/tools/services/amdc-mikrodaten-fuer-die-wissenschaft

Unterlagen zur Vorstellung des AMDC an die fteval Community: https://fteval.at/event/was-bietet-das-amdc-fuer-fti-evaluierung/

Die Interviewpartner:innen (Reihenfolge in der Vorstellungsrunde):

Genannte Abkürzungen und weiterführende Links:

AMDC - Austria Microdata Center
AUSSDA -The Austrian Social Science Data Archive
ASEP - Austrian Socio-Economic Panel
ÖAW - Österreichische Akademie der Wissenschaften - hier geht's zum Call "Data:Research:Austria"
WWTF - Wiener Wissenschafts- und Technologiefonds
Plattform Registerforschung

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 7 - Who is responsible here? (RRI@RFOs)

Fri, 24 Mar 2023 10:00:00 +0100

Episode #7 looks at responsibility in research and innovation with a special focus on research funding organisations (RFOs). We had the opportunity to join an event with a panel discussing implications of responsibility, particularly against the background of our society's need to transform. We highlight a few extracts from this panel discussion which took place on 6 February 2023 as part of the Final Conference of Co-Change, a project working towards Responsible Research and Innovation (RRI). The project was funded by the EU within the H2020 framework programme and coordinated by Peter Biegelbauer, Senior Scientist at the Austrian Institute of Technology.
In the panel discussion, the role of RRI for RFOs and the role of RFOs in shaping responsibility was discussed by

Barbara Lohwasser (FFG),
Donia Lasinger (WWTF) and
Tiina Ramstedt-Sen (Council of Tampere Region)

The session was moderated by Benjamin Missbach (WWTF) and Caroline Lackinger (Co-Change project).

Additional material:

Presentation Slides of the session.
Since 2020, the Co-Change Labs have been working on implementing institutional changes towards RRI. The Labs are spaces for experimentation, where the members work to better address societal challenges by boosting transformative capacities in research performing and research funding organizations (RPOs and RFOs).
If you would like to learn more about the Co-Change project, you may watch this video.
On-line self-reflection tool: https://rri-tools.eu/self-reflection-tool

This podcast episode was realised in cooperation with the Austrian Ministry for Climate Action, Environment, Energy, Mobility, Innovation and Technology.
Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 6 - "Damals so wertvoll wie heute" - Interview mit Dorothea Sturn

Tue, 14 Mar 2023 06:00:00 +0100

Diesmal hatten wir die Gelegenheit mit einer geschätzten Kollegin und längjährigen Playerin im Feld zu plaudern. Wir hören über die Errungenschaften in der österreichischen FTI-Politik der letzten 25 Jahre und fragen, welche Rolle Evaluierung darin gespielt hat. Wir sprechen aber auch über die Zukunft und überlegen, wie man ein ganzes FTI-System an seiner Ausgerichtetheit auf eine gesellschaftliche Transformation Richtung Nachhaltigkeit messen kann.

Dorotheas Profil auf der ZSI-Webseite: https://www.zsi.at/de/users/227

Hier einige weiterführende Links zu Strategien und Initiativen, die im Gespräch erwähnt werden:

Austria Microdata Center: https://www.statistik.at/services/tools/services/amdc-mikrodaten-fuer-die-wissenschaft
FTI-Strategie des Bundes 2023: https://www.bundeskanzleramt.gv.at/dam/jcr:1683d201-f973-4405-8b40-39dded2c8be3/FTI-Strategie.pdf
Forschungsfinanzierungsgesetz https://www.ris.bka.gv.at/GeltendeFassung.wxe?Abfrage=Bundesnormen&Gesetzesnummer=20011237

Erwähnte Institutionen:

FFG - Österr. Forschungsförderungsgesellschaft: https://ffg.at/
FWF - Der Wissenschaftsfonds: https://www.fwf.ac.at/
ISTA - Institute of Science and Technology Austria (gegr. 2009): https://ista.ac.at/
Joanneum Research: https://www.joanneum.at/policies
Nationalstiftung Forschung - Technologie - Entwicklung: https://www.stiftung-fte.at/
"Seibersdorf":
- Seibersdorf Laboratories: https://www.seibersdorf-laboratories.at
- Historischer Hauptsitz des AIT - Austriant Institute of Technology: https://ait.ac.at/
Silicon Austria Labs: https://silicon-austria-labs.com/
WIFO - Wirtschaftsforschungsinstitut: https://www.wifo.ac.at/
Als Dorothea "nicht-grundlagenfinanzierte Institutionen wie wir beide" sagt, sind das ZSI und Technopolis gemeint.

Services der fteval Plattform, auf die Dorothea hinweist:

fteval Journal for Research and Technology Policy Evaluation
fteval Standards für FTI-Politikevaluierung
fteval Repositorium mit (fast) allen Evaluationsstudien im Bereich FTI-Politik in Österreich und darüber hinaus

Diese Podcastfolge wurde durch das Bundesministerium für Klimaschutz,Umwelt, Energie, Mobilität, Innovation und Technologie ermöglicht. Dankeschön!

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) von spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 5 - Digitaler Humanismus und Demokratie

Wed, 15 Feb 2023 20:00:00 +0100

In dieser Folge präsentieren wir eine Diskussion darüber, wie humanistische Werte im digitalen Zeitalter manifestieren können und wie wir Bedingungen schaffen für Technologien, die dem Menschen bestmöglich dienen und eine erstrebenswerte Gesellschaft mitgestalten.

Wir haben eine Podiumsdiskussion zu diesem Thema aufgezeichnet, die im Zuge der Vienna Digital Days 2022 stattgefunden hat. Diese Konferenz wurde von Urban Innovation Vienna über die Plattform Digital City Wien veranstaltet. Vielen Dank für die Möglichkeit des Mitschnitts!

20. Oktober, 09:00-11:00 “Digitaler Humanismus & Demokratie”
Wie kann die Digitalisierung unsere Demokratien stärken? Schaffen wir es, unsere analogen politischen und bürgerlichen Rechte in das digitale Zeitalter zu übertragen? In dieser Sitzung diskutieren wir mit Wissenschaftlern, Vertretern der Zivilgesellschaft und Politikern über Formen der Partizipation sowie über Chancen und Herausforderungen für demokratische Prozesse im digitalen Zeitalter.

Moderation: Michael Stampfer, WWTF
Time Stamps im YouTube Video
00:13:33 Keynote: James Larus, ETH Lausanne
00:39:19 Panel:

Mark Coeckelbergh, University of Vienna
Philipp Staab, HU Berlin
Astrid Mager, Institute of Technology Assessment of the Austrian Academy of Sciences

01:28:16 Panel:

Stefan Gara, NEOS
Jörg Neumayer, SPÖ

Links

Digital City Wien: https://www.digitalcity.wien/digital-days-2022/
Initiative zu digitalem Humanismus: https://dighum.ec.tuwien.ac.at/#dighum
Manifest zum digitalen Humanismus: https://dighum.ec.tuwien.ac.at/dighum-manifesto/
YouTube Link zur kompletten Aufzeichnung: https://www.youtube.com/watch?v=Qe0nRAgAikc

Mit freundlichem Dank an

Bundesministerium für Arbeit und Wirtschaft
Digital City Wien
Urban Innovation Vienna
Wiener Wissenschafts- und Technologiefonds

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 4 - Do storks bring babies? Keynote on causality by Paul Hünermund

Sun, 29 Jan 2023 13:00:00 +0100

This episode is on experimentation as a tool to understand causality in statistics. The moderators take this as an occasion to do an "experiment" in the common sense themselves and produce a complete episode in English.

Paul Hünermund of Copenhagen Business School held this keynote speech during the REvaluation Conference '22. Presentation slides to his speech [PDF]

Resources:

The Experimental Research Funder’s Handbook by RoRI
Econometrics for R&I Funders - 2021 event documentation

Mentioned contributions on experimentation to the REvaluation conference proceedings:

Landon, Tess und Hochreiter, Harald (2022) Randomised controlled trials and other experimental approaches in the Austrian Research Promotion Agency (FFG) - Experience, learnings and outlook. fteval Journal for Research and Technology Policy Evaluation (53). pp. 160-168. ISSN 1726-6629
Brun, Matthieu (2022) Impact assessment of Bpifrance’s financial support to SMEs’ innovation projects. fteval Journal for Research and Technology Policy Evaluation (53). pp. 169-180. ISSN 1726-6629

We are always happy about your feedback and ideas for future episodes! Contact us at podcast[at]fteval.at

This podcast episode was realised in cooperation with the Austrian Ministry for Labour and Economy. Thank you!

Music: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) by spinningmerkaba http://ccmixter.org/people/jlbrock44; SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 3 - Integrität & Compliance in der Auftragsforschung

Fri, 16 Dec 2022 02:00:00 +0100

Der Launch dieses Podcast und die ersten Folgen wurden mit freundlicher Unterstützung des Ministeriums für Bildung, Wissenschaft und Forschung ermöglicht. Vielen Dank! In dieser Folge präsentieren wir die gemeinsame Session der Vorstände von DeGEval und fteval zur Frage darüber, wie Standards in der Auftragsforschung zu einem Balancieren des Machtgleichgewichts zwischen Auftraggebenden und Auftragnehmenden beitragen können - oder nicht.

Die Inhalte dieser Session wurden im Rahmen der DeGEval Jahrestagung 14-16 September 2022 in Linz aufgezeichnet. Wir präsentieren den Vortrag von Jürgen Janger und besprechen danach die wichtigsten Punkte der Diskussion.

Präsentationsfolien Jürgen Janger, WIFO als Input zur Session "Standards in der Auftragsforschung und Evaluation - Ein Instrument zur Herstellung eines Machtgleichgewichts" auf der DeGEval Jahrestagung 2022 in Linz
fteval Standards - Standards der Evaluierung in der Forschungs-, Technologie- und Innovationspolitik (März 2019)
Memorandum of Understanding - Prinzipien der wissenschaftlichen Integrität für Studien der öffentlichen Auftragsforschung (Stand 27. Juli 2022)

Der Launch dieses Podcast und die ersten Folgen wurden mit freundlicher Unterstützung des Ministeriums für Bildung, Wissenschaft und Forschung ermöglicht. Vielen Dank!

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) und Slow Burn (ft. Admiral Bob) von spinningmerkaba http://ccmixter.org/people/jlbrock44, sowie SouljaUnit Remix of DeadRobot Music’s Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 2 - Wie hat die Pandemie Forschungs(politik)evaluierung verändert?

Fri, 09 Dec 2022 01:00:00 +0100

Folge 2: Die COVID-19 und Veränderungen in FTI Politik und Evaluation
Panel Diskussion des Editorial Boards von Research Evaluation (Oxford Academic):

Emanuela Reale, IRCRES - the Research Institute on Sustainable Economic Growth at National Research Council CNR
Julia Melkers, formerly Georgia Tech Public Policy, now Ivan Allen College of Liberal Arts
Thed van Leeuwen, Centre for Science and Technology Studies (CWTS) Leiden

Panelists:

Jordi Molas-Gallart, INGENIO
Gemma Derrick, University of Bristol
Maria Nedeva, MIoIR, Manchester University
Michael Stampfer, WWTF

Hintergrundinfo:

Foliensatz zur Paneldiskussion [Download, PDF]
San Francisco Declaration on Research Assessment and Responsible Use of Metrics - DORA (2012): https://sfdora.org/read/
Leiden Manifesto for Research Metrics (2015): http://www.leidenmanifesto.org/
Hong Kong Principles for Assessing Researchers (2020): https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3000737

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 1 - Wie können die UN-Nachhaltigkeitsziele an Universitäten verwirklicht werden?

Fri, 02 Dec 2022 01:00:00 +0100

In Folge 1 hören wir uns die Eröffnungsworte der REvaluation Conference 2022 an, in denen erklärt wird, wie FTI-Politik-Evaluierung und Transformation zusammenwirken können. Passend dazu lassen wir euch Luke Georghious Keynote anhören, in der es darum geht, wie man an der Universität Manchester versucht, die UN-Ziele für nachhaltige Entwicklung in die eigene Entwicklungsstrategie einzubetten und was das für die Performance in traditionellen Rankings bedeutet.

Präsentationsfolien zu Luke Georghiou's Keynote Rede zum Download [PDF]

Der Launch dieses Podcast und die ersten Folgen wurden mit freundlicher Unterstützung des Ministeriums für Bildung, Wissenschaft und Forschung ermöglicht. Vielen Dank!

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) und Slow Burn (ft. Admiral Bob) von spinningmerkaba http://ccmixter.org/people/jlbrock44, sowie SouljaUnit Remix of DeadRobot Music's Surfy via https://freesound.org/people/SouljaUnit/sounds/640175/

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

Folge 0 - Warum ein Podcast über Forschungspolitikevaluierung?

Mon, 21 Nov 2022 19:00:00 +0100

In Folge 0 stellen Tobias und Isabella sich als Moderationsteam vor und plaudern über ihre Arbeit im Bereich Forschungs- und Innovationspolitik und wie der Podcast zum Erfahrungsaustausch beitragen soll.

Der Launch dieses Podcast und die ersten Folgen wurden mit freundlicher Unterstützung des Ministeriums für Bildung, Wissenschaft und Forschung ermöglicht. Vielen Dank!

Musik: Urbana-Metronica (wooh-yeah mix) (ft. Morusque, Jeris, CSoul, Alex Beroza) und Slow Burn (ft. Admiral Bob) von spinningmerkaba http://ccmixter.org/people/jlbrock44

podcast(at)fteval.at - @fteval.bsky.social - fteval.at

REvaluation Podcast

Folge 38 - "Die Verwaltung in Österreich beschäftigt sich nicht gerne (wissenschaftlich) mit sich selbst", meint Mario Steyer

Folge 37 - Was wissen wir eigentlich über das FTI-System in Österreich?

Folge 36 - "Kunst ist klüger, als man denkt" - kunstbasierte Forschung und Evaluation an der Angewandten

Folge 35 - "Critical Friends" und wie man sie findet: Ein Erfahrungsaustausch zu Panelevaluierung

Episode #34 - "Crafting career trajectories that are attractive for excellent people": Markus Wanko at XISTA

Episode #33 - Anastasia Lijadi about IIASA as a "scientific powerhouse"

Episode #32: Let's play cards and co-create a theory of change within an hour!

Folge 31 - Innovation messen, Chancen erkennen: WPZ Research über Österreich im European Innovation Scoreboard

REvaluation Special #7: What skills does the next generation of evaluators need?

REvaluation Special #6: Are we all metascientists now, James Wilsdon?

REvaluation Special #5: How to fund transdisciplinarity?

REvaluation Special #4: How do you measure impact at your ministry, Henriette Spyra?

REvaluation Special #3: Peer Review in Transition

REvaluation Special #2: Does AI really save work in evaluation, Linda Raftree?

REvaluation Special #1: Can we just have more causal methods in the evaluation of innovation and research policies?

Folge 22 - Brigitte Tiefenthaler evaluiert Österreichs Beitrag zum "EU Binnenmarkt für Forschung"

Folge 21 - Evaluierung auf lokaler, nationaler und europäischer Ebene: im Gespräch mit Angelika Sauer-Malin

Folge 20 - Qualität auf die grüne Wiese planen: Die Neugründung der IT:U

Folge 19 - Wie fördert man transdisziplinäre Forschung, Petra Biberhofer?

Episode 18 - How plurality strengthens evaluation: interview with May Pettigrew about the EES Autumn Event

Folge 17 - ***Weihnachtsfolge*** Wünsche ans FTI-Politik Christkind

Episode 16 - Community Science as a Place for Communities to learn: Interview with Emilio Velis

Episode 15 - Planning Impact Together: Katja Mayer on Participatory Evaluation

Episode 14 - Research Infrastructures as a Life Commitment

Folge 13 - Wie Digitalisierungspionierinnen Gesellschaft gestalten und wie man sie fördert, solche zu werden

Folge 12 - Wie evaluiert man Forschungsschwerpunkte, Gregor Weihs?

Folge 11 - Kann eine nationale Strategie das Hochschulwesen sozialer machen?

Folge 10 - Lasst uns Lernprozesse kultivieren! - Harald Wieser über transformative Innovationspolitik

Folge 9 - CDG: der Doppler-Effekt der Forschungsförderung

Folge 8 - Das AMDC: Für verknüpfte Mikrodaten ziehen wir alle Register

Folge 7 - Who is responsible here? (RRI@RFOs)

Folge 6 - "Damals so wertvoll wie heute" - Interview mit Dorothea Sturn

Folge 5 - Digitaler Humanismus und Demokratie

Folge 4 - Do storks bring babies? Keynote on causality by Paul Hünermund

Folge 3 - Integrität & Compliance in der Auftragsforschung

Folge 2 - Wie hat die Pandemie Forschungs(politik)evaluierung verändert?

Folge 1 - Wie können die UN-Nachhaltigkeitsziele an Universitäten verwirklicht werden?

Folge 0 - Warum ein Podcast über Forschungspolitikevaluierung?

Folge 17 - Weihnachtsfolge Wünsche ans FTI-Politik Christkind