Cycle de séminaires : Méthodes et approches en évaluation (METHEVAL)

• 21 novembre : The Art, Craft and Science of Methodological Design for Large Scale Development Evaluations
  Intervenante : Dr. Estelle Raimondo, Head of Methods at the Independent Evaluation Group of the World Bank
   

Résumé : To inform strategic decisions in international organizations or national aid agencies, some evaluations have a broad scope and a large scale. These evaluations pose specific methodological design challenges. They tend to ask tricky questions, such as: How has the World Bank support for basic education contributed to the achievement of learning outcomes globally over the past decade? They cover a very heterogeneous sets of contexts—from fragile states to upper middle-income countries, and they assess large portfolios of interventions at various scales (within and across national boundaries). Can such evaluations be rigorously designed?

In this presentation we will tackle four interconnected methodological challenges that are inherent in such large-scale development evaluations, share foundational design principles to tackle them, and illustrate with examples from complex evaluations carried out by the Independent Evaluation Group of the World Bank. These challenges are: (1) scaffolding around multiple levels of analysis; (2) embedding causal analysis into the design; (3) building generalizability principles into the design; and (4) triangulating evidence from a large and heterogeneous set of methods.
 

• 5 décembre : A Journey to Decolonizing Evaluation
  Intervenante : Minji Cho (Claremont Graduate University)
   

• Minji is a program evaluator and research associate at the Claremont Evaluation Center. With a background in social work and international development, she has worked across various sectors, including community-based organizations, corporate social responsibility, and international non-governmental organizations. Minji brings extensive practical knowledge to her evaluation and research work. Her current focus is on enhancing evaluation practices, particularly decolonizing evaluation within international development programs, and advancing locally driven methodologies.
  
  Résumé :  This presentation addresses the urgent need for decolonizing evaluation practices in response to the dominance of Euro-Western approaches, which often overlook the needs of local communities. Using a complex mixed and multiple methods design, this research gathered diverse perspectives from key actors, including Indigenous community members, evaluators, evaluation scholars, funders, and commissioners. Data collection involved content analysis of literature and secondary data, alongside interviews and surveys. The study culminated in a conceptual framework for decolonizing evaluation, providing evaluators with guiding principles to adopt more ethical practices that better serve oppressed populations.
   

• 16 janvier :
   
• 6 février : 
   
• 6 mars : 
   
• 17 avril : 
   
• 15 mai : 

• 23 mai : Increasing internal and external validity through a multimethod evaluation with Qualitative Comparative Analysis and Process Tracing: The Case of Training Transfer Effectiveness in Flemish SMEs. 
  Intervenants : Priscilla Alamos-Concha (Radboud University), Valerie Pattyn (Leiden University), Bart Cambré (Antwerp Management School) et Benoît Rihoux (Université catholique de Louvain). Discutante : Laura Peck (MEF Associates). Résumé de la séance.

Résumé : Recent toolboxes and methodological overviews in evaluation communities increasingly highlight the value of Qualitative Comparative Analysis (QCA) and Process Tracing (PT) for understanding how interventions work under different conditions. While the use of QCA and PT is growing, their combination in multimethod studies remains rare. Combining QCA and PT allows for both cross-case and within-case analysis, answering both "why" and "how" questions in one study. This approach enhances the external validity of evaluation findings, especially for process-level generalizations. However, it poses challenges requiring a well-designed research plan. The presentation outlines such a plan, offering guidance on combining QCA and PT within a system-oriented mechanistic approach to causality. Causal mechanisms are conceptualized as systems of interacting parts transferring causal forces from causes to outcomes. Unlike previous multimethod research focusing on difference-making causation, this approach emphasizes understanding how processes work. The presentation draws on an evaluation of ESF-subsidized training programs in Flemish firms, employing QCA to analyze a diverse set of cases and PT to delve deeply into key mechanisms. It contributes to mid-range theorizing with implications for similar programs. This webinar is divided into sections explaining the research approach, the evaluation context and model, the QCA methodology, the PT methodology, and concludes with advice for evaluators and supervision committees.

• 2 mai : The contribution of configuration devices for the analysis of global health interventions Intervenants : Jean-Marc Goudet (Université Paris Cité, Ceped), Sarah Louart (Université Paris Cité, Ceped) et Valery Ridde (Université Paris Cité, Ceped). Résumé de la séance. 

Unlike organisational studies, which abandoned the notion of 'configuration' after considering it essential in the 70s and 80s, it is now widely used in evaluation, particularly among case study approaches and qualitative methods. In this presentation, Valéry Ridde, Sarah Louart and Jean-Marc Goudet analyse the role of configurations in health sociology, organisational sociology and realist evaluation in the context of global health interventions. After reviewing the literature to show how the concept's use has evolved, they will explain how they have used the configuration tool in their hospital resilience studies, medical technological innovation, and mental health in the face of climatic events. Finally, they will discuss how the configuration can be a heuristic element in knowledge transfer and the transferability of evaluation findings. 

• 18 avril :  Navigating the Context and External Validity Conundrums in Realist Cross-Country Evaluations. Intervenante : Ana Manzano (University of Leeds). Résumé de la séance. Presentation. 

In evaluation research, the external validity issue is always problematic because it entails extending study conclusions to other future populations in which the interventions are delivered under different temporal and/or spatial conditions. Consequently, to establish causality in an absolute sense (to ‘replicate’ and ‘scale up’ interventions) seems an impossible task since programmes are often not entirely transferable, due to the contextual complexities and implementation challenges encountered outside controlled research environments.

In this webinar, I will discuss how case-oriented comparative realist cross-country evaluations aim to learn “why interventions worked in this way” (analytical) as opposed to “learning about” other countries (interpretative). That is, in realist evaluations, the typical cross-country evaluation question “Does this intervention work better in one country than in another”? is re-conceptualized as “How and why does this intervention work differently in each country, for whom, in what circumstances?” The detailed answer to that “why” is where the explanatory power rests. The process entails adding explanatory depth through contextualization but also de-contextualization through middle-range theorization.

• 14 mars: Theory-building in global health: how realist evaluation considers the role of context. Intervenants : Sara Van Belle  / Bruno Marchal (Institute of Tropical Medicine, Antwerp). Résumé de la séance. Presentation. Voir vidéo.

With biomedicine as prime influence, randomized controlled trials were considered for a long time at the top of a hierarchical pyramid of evidence in global health. However, another perspective and view on causality has gradually been gaining ground. Increasingly, health is being considered as a complex social phenomenon embedded in a specific system and context. The Covid-19 pandemic, with its intersecting uncertainties at multiple levels, has further exposed the need for a contextual turn in global health. Complexity thinking in health is oriented towards a better understanding of health systems and its embeddedness in a systemic context is currently having a momentum. Realist Evaluation is part of these complexity-oriented methodologies that put context front and centre. We explore how Realist Evaluation tackles the role of context in its causal analysis.

• 15 février : A critical reflection of generalization in mixed methods research in program evaluation: crossing the divide. Intervenants :  Quan Nha Hong (Université de Montréal) et Sergi Fàbregues (Universitat Oberta de Catalunya). Discussant : Burt Barnow (The George Washington University).  Résumé de la séance. Voir vidéo. 

Mixed methods research, i.e., research combining qualitative and quantitative methodologies, has grown in popularity in program evaluation to understand complex interventions. Despite recent constructive and fruitful developments that have led to the consolidation of mixed methods as a distinctive methodology, fundamental methodological issues such as generalization have received little attention. The purpose of this presentation is to provide a critical reflection on how the concept of generalizability has been used in mixed methods research.

The presentation will be structured into three parts. First, we will describe how generalization is conceptualized in quantitative and qualitative research, highlighting the significant differences between both and the difficulties in reconciling them in a mixed methods study. Second, we will provide preliminary results of a review on generalization in mixed methods research. Finally, we will end with a discussion on the threats to generalization in mixed methods research.

• 18 janvier : Tackling complexity and generalisability using realist research. Intervenant : Geoffrey Wong
  (Nuffield Department of Primary Care Health Sciences, University of Oxford) Discussant: Rebecca Maynard (University of Pennsylvania). Résumé de la séance. Voir vidéo. 

In this presentation, Dr. Wong will explain how complexity can be conceptualised and broken down into 'researchable' components using realist research approaches (namely realist review/synthesis or realist evaluation). More importantly, these approaches provide a warrant for the transferability of findings from one setting to another. 

• 21 décembre : External Validity In the Evaluation Of Complex Interventions:Towards Pragmatic Strategies for Evaluators. Intervenant : Thomas Delahais (Quadrant Conseil). Discutante: Julia Littell (Bryn Mawr College). Résumé de la séance. Voir vidéo. 

How can evaluators meet the growing demand for generalisable claims, especially in the context of evaluating complex interventions in a complex world? While the scientific debate often focuses on methodological requirements, evaluation practitioners face a very different equation. Indeed, they are usually not in a position to choose the time, budget or data conditions under which they conduct their evaluation. And yet they are required to ensure a sufficient level of robustness in answering the evaluation questions, while at the same time addressing questions of value (Is it good? For whom and when?), utility and policy relevance.

Evaluators have long developed strategies for 'squaring the circle' that are not without merit. In particular, they pragmatically focus on the uses and users of generalisability claims, and rely on the entire evaluation process, rather than being limited to methodological aspects. However, we argue that these routines are insufficient in complex situations. We take the example of social-ecological transition initiatives, which are complex interventions, to show how conventional approaches can be impractical and even harmful. We illustrate some additional strategies that might be pursued, including: iterative attempts to clarify what is to be generalised; providing guidance on when claims of generalisability are sensible; and paying attention to the contexts of implantation.

• 16 novembre : External validity in program evaluation; iron laws, hiding hands and the evidence ecosystem. Intervenant : Tom Ling, Senior Research Leader and Head of Evaluation, RAND Europe, and President of the European Evaluation Society. Résumé de la séance. Voir vidéo. 

Assessing the external validity (or transferability) of any research or evaluation continues to raise challenges. Some of these challenges relate to the technical design of the research/evaluation and to the extent to which the study has internal validity (as a prerequisite for having external validity). However, equally important when understanding transferability is the evidence ecosystem within which the new knowledge is created and then ‘lands’. This problem is often less well understood but if we are interested in how (far)knowledge can be transferred from one study to other settings we require evidence that goes beyond evidence about the technical design and reliability of results of the study. To understand the circumstances under which findings can be confidently transferred, we need to understand the evidence ecosystem within which the findings are constructed and this includes:

• CAUSAL DENSITY Does the evidence produced tell us about potential impacts of similar interventions with other groups, in different places, at a different scale, and across different timescales, and what does prior evidence about the causal density of similar interventions tell us;
• DESIGN AND IMPLEMENTATION CONTEXT Does this study show the strength of the evidence behind the design of the intervention, and does it describe in sufficient detail how the intervention was implemented so that other interventions may have fidelity to the original design, and does implementation science support the expectation that the intervention will be as planned;
• PRIOR SCIENTIFIC RESEARCH AND EVALUATION KNOWLEDGE What is the strength of existing evidence about the impact of similar interventions and - understanding and no evidence is understood in a vacuum - are the results supported or undercut by previous tacit knowledge and research findings, and how strong is this prior evidence (scientific progress is based on building on or refuting previous results);
• RELEVANCE How do/will policy makers and other decision-makers make sense of and use the evidence, and does it tell them anything that is actionable and effective. Is the evidence produced technically proficient but practically irrelevant to decision makers.

To show that these are not entirely new concerns we will touch on the work of Rossi and Hirschman before, drawing on examples, we explore the question of generalizability (or transferability) in the context of these four questions and suggest that at least some of the disputes about generalisability/transferability should be understood differently and more constructively.

• 26 octobre: Thinking about external validity in policy evaluation from a diversity of methodological perspectives. Intervenants : Doug Besharov (UMD School of Public Policy) et Anne Revillard (CRIS / LIEPP). Résumé de la séance. Voir vidéo.

In this session, Doug Besharov and Anne Revillard will introduce the topic of this year’s METHEVAL seminar series, external validity or generalizability in policy evaluation. Following up on the event organized at LIEPP in June, 2023, the sessions organized during the 2023-2024 academic year will address the question of how to generalize based on evaluative approaches that embrace complexity, notably realist evaluation. In this introductory session, Doug Besharov and Anne Revillard will open a discussion on definitions and terminology, around notions such as external validity, generalizability, applicability, statistical and analytical generalization, stressing how different methodological perspectives tackle these issues differently, and reflecting on possible common grounds for discussion.

• 28 septembre:  ‘Does accessibility of evaluative information facilitate better parliamentary oversight?’
  Intervenante : Valérie Pattyn, Institute of Public Administration, Université de Leiden. Résumé de la séance. 

Parliaments have a key role in holding governments accountable for an effective and efficient spending of public money. To fulfil this oversight function, evaluative information provided by ministerial departments can be very useful. In this paper, we investigate whether and on which conditions the ‘accessibility’ of evaluative information matters in incentivizing MPs to use evaluative knowledge in their daily parliamentary work. With MPs having different sources of information at their disposal other than evaluative evidence, and often having little time to scrutinize all supporting documents provided by the executive, one can expect that a greater accessibility of evaluative information will increase the chance that this information is actively referred to in parliamentary questions and debates.

This paper analyzes the results of a pilot that was launched by the Dutch Ministry of Finance in 2020-2021. The pilot introduced a new format for ministries to provide evaluative information as required by the Government Accounts Act 2016. The overall premise underlying the pilot is precisely that accessible evaluative information facilitates more elaborate use of it. We analyze this issue from a mixed method lens, and rely on a combination of interviews with MPs, and automated text analysis of parliamentary documents (with or without pilot).

• 8 juin : User and stakeholder involvement in realist evaluation. Intervenante : Dr Ana Manzano, University of Leeds (United Kingdom). Résumé de la séance. Voir vidéo. 

This talk examines the theory, methodology and practice of user and stakeholder involvement in programme and policy evaluation by focusing on the realist approach to evaluation, a form of theory-driven methodology to evaluate complex social programmes and policies. In recent years, there is a renewed interest in involving stakeholders to support policy and programme evaluation in the healthcare arena. Policy documents such as the World Health Organization “Patient Engagement” (2016) have stressed the need for users and members of the public to be at the centre of policy evaluations. The family of user involvement approaches to conduct evaluations is forever growing. These include collaborative, participatory, empowerment evaluation, coproduction, action research, utilization-focused evaluation and so on. The roots of all these evaluation approaches lie in progressive participatory movements to pursue social justice, but the value and values of these practices are contested.

As more evaluation approaches emerge and others, such as realist evaluation, incorporate citizen participation in their repertoire of data collection methods, the lack of conceptual clarity leads to ambiguities and hampers efforts to achieve and evaluate with participatory approaches. This talk will start by providing an overview of all these confounding terms, focusing on differences and similarities with the aim to enhance conceptual clarity. After this, critiques and uncertainties about participatory evaluation approaches will be examined, while understanding how and why they could work within, and add value to theory-driven approaches to evaluation such as realist evaluation.

• 13 avril : Editing the journal Evaluation – curating an ongoing conversation Intervenant : Elliot Stern (Fellow of UK Academy of Social Sciences; Emeritus Professor Lancaster University). Résumé de la séance.Voir vidéo. 

Elliot Stern helped Sage, the publisher, launch the journal Evaluation in 1995 and has continued as Editor since then. Over nearly 3 decades the field of ‘evaluation’ has continued to evolve - and the journal has hosted and often championed many of the debates that have underpinned this evolution. One vision that Elliot has is that writing for the journal is about joining an ongoing conversation to continuously refine what we mean by evaluation. An editor as curator is not a neutral role: there are some anchor points. These include a focus on theory, methodology and practice, an explicitly European perspective on what it means to be an international journal; and a continuing concern for interdisciplinarity.

Elliot hopes to elaborate briefly on the above but spend as much time as possible answering questions and initiating a conversation with those who attend the seminar.

The seminar will be facilitated by Anne Revillard (LIEPP) and Thomas Delahais (Quadrant Conseil)

See https://journals.sagepub.com/home/EVI to browse copies of Evaluation – international journal of theory, research and practice.

• 9 mars : Les évaluations de politique publique sont-elles vraiment utilisées dans les débats parlementaires ? Intervenant : Adam Baïz (Cour des Comptes). Résumé de la séance. Voir vidéo. 

L’évaluation des politiques publiques a véritablement démarré en France dans les années 2000, soit quarante ans après les Etats-Unis. Elle se développe rapidement, mais sert-elle vraiment à éclairer la décision politique ? Afin d’en juger, nous avons étudié 262 lois votées entre 2008 et 2020, dans des domaines aussi variés que la santé, l’éducation, les finances ou encore la sécurité. Nous avons cherché à mesurer, à travers une analyse textuelle et statistique, la mobilisation des travaux évaluatifs par le Parlement et le gouvernement, en amont et en aval du vote de la loi.

• 16 février : Le développement des capacités en évaluation : l'expérience de l'ENAP. Résumé de la séance

Interventions :
Aref Ben Abdallah (Ecole nationale d'administration publique, Canada). Voir présentation. 
Annie d’Amours (Ecole nationale d'administration publique, Canada). Voir présentation. 

Au Québec, la Loi sur l’administration publique a été adoptée en 2000, donnant la priorité à la qualité des services aux citoyens. Essentiellement, la loi propose un cadre de gestion axé sur les résultats et la performance. En 2014, le Conseil du trésor du Québec a estimé qu’il était d’intérêt gouvernemental de favoriser la prise en compte des constatations et des résultats découlant de toute démarche d’évaluation de programme en faisant adopter la Directive concernant l’évaluation de programme dans les ministères et les organismes afin de favoriser l’évaluation de programme au sein de l’administration et de renforcer les saines pratiques de gestion axée sur les résultats. La Directive visait à une utilisation accrue des évaluations à des fins de planification, d’amélioration et de reddition de comptes. En 2022, la Directive a été évaluée, notamment au regard de sa pertinence, de son efficacité, de sa gouvernance ainsi que de ses effets. Cette session, tout en brossant un portrait large du Cadre de gestion de l'Administration gouvernementale au Québec, présentera les constats et les recommandations des travaux d’évaluation réalisés.

• 12 janvier : Qualitative Comparative Analysis as an evaluation tool: Potential and challenges. Intervenante: Valerie Pattyn (Institute of Public Administration of Leiden University). Résumé de la séance. 

Qualitative comparative analysis (QCA) is gaining strong popularity as an evaluation method. The method enables to identify the configurations of conditions that lead to specific outcomes (e.g. policy effects). In this seminar, we will discuss what it involves to apply QCA in an evaluation context, for which evaluation questions the method is most appropriate, and which challenges QCA evaluators may encounter. This can help reducing unfounded fears and promoting awareness of traps and requirements, when considering to apply the method.

• 8 décembre :  Les approches d'évaluation basées sur la théorie Intervenante : Agathe Devaux-Spatarakis (Quadrant Conseil). Résumé de la séance. Voir vidéo

Depuis leur émergence dans les années 1970, les approches d'évaluation basées sur la théorie occupent une place de choix dans la pratique évaluative anglosaxonne et française.On retrouve leur marque dans la diffusion d'outils structurants les évaluations comme les théories du changement, les logiques d'intervention, mais elles sont aussi revenues au centre des débat théoriques comme alternative aux méthodes contrefactuelles (expérimentales ou quasi-expérimentales) pour évaluer l'impact des interventions.

Lors de ce séminaire, en mobilisant des cas d'utilisation nous reviendrons sur les fondements de cette approche, ses atouts ainsi que ses écueils.

• 10 novembre : La récolte d’incidences pour une évaluation systémique de la recherche : apprentissages et défis 

Intervenant : Genowefa Blundo Canto (CIRAD). Résumé de la séance. Voir vidéo

Au cours des deux dernières décennies, les services météorologiques et climatiques ont servi d'instruments politiques clés pour lutter contre la variabilité accrue des précipitations et des événements climatiques extrêmes qui affectent les communautés rurales vulnérables du Sahel ouest-africain. Dans les années 2000, l'Agence Nationale de Météorologie du Sénégal s'associe à des acteurs de la recherche nationale et internationale pour mettre en place des groupes de travail multidisciplinaires décentralisés, l’adaptation du langage aux concepts utilisées par les agriculteurs, et la formation de personnes ressources dans les communautés afin de faciliter l’utilisation des prévisions et des recommandations au niveau local. Au cours des années, ces services météorologiques et climatiques ont été séquentiellement étendus à la plupart des départements du Sénégal.

Dans ce séminaire, nous présentons les résultats de l’évaluation de ce processus d’innovation et comment la recherche y a contribué. En combinant l'Outcome Harvesting (récolte des incidences) avec les récits d’innovation et l’analyse du chemin d'impact, nous montrons que l’expansion des services météorologiques et climatiques vers de nouveaux utilisateurs, secteurs et usages s'est faite selon cinq axes :

1. 1) l'amélioration continue des services,
2. 2) l'émergence et la consolidation des facilitateurs de services,
3. 3) l'inclusion des services dans la planification des actions,
4. 4) la mobilisation active pour soutenir la mise à l'échelle des services,
5. 5) l’autonomisation des acteurs.

Les facteurs qui sous-tendent le processus de mise à l'échelle incluent le renforcement des capacités, le partage des connaissances via des plateformes d'action, et la création d'opportunités d'interaction par les institutions de recherche et leurs partenaires ; le soutien financier national et international ; et un environnement politique favorable. L’Outcome Harvesting a également permis de saisir les défis soulevés par l'expansion de ces services au fur et à mesure de l'apparition de nouveaux utilisateurs et usages. Dans le séminaire, nous menons en outre une réflexion sur la combinaison de méthodes qualitatives d’évaluation pour la production de connaissances sur de processus d’innovation de long terme.

• 6 octobre: Le courtage de connaissances : présentation de la recherche-action du courtage de connaissances en faveur de la réduction des inégalités sociales de santé (CourtISS), séance co-organisée avec le CEPED

Intervenants : Tony Zitti (CEPED, IRD, Université Paris Cité), Gwendal Bars (Agence régionale de santé Ile-de- France), Valery Ridde (CEPED, IRD, Université Paris Cité). Résumé de la séance. 

En savoir plus sur le projet CourtISS : présentation du projet CourISS

En pleine gestion de crise COVID, des agent·e·s de l’Agence régionale de santé d’Ile-de- France (ARS IdF) ont fait le constat suivant : l’efficacité de l’intervention de l’ARS IdF nécessiterait une meilleure utilisation des données probantes dans le champ des inégalités sociales de santé (ISS). Le projet CourtISS, porté par des membres du Ceped, de l’équipe RENARD (Université de Montréal) et de la Direction de la Santé publique (DSP) de l’ARS IdF, a été co-pensé et co-élaboré à partir de ce constat. L’objectif de cette recherche-action est de tester une intervention de courtage de connaissances au sein de l’ARS IdF pour améliorer la prise en compte des données scientifiques dans les travaux de l’ARS et mieux agir en faveur de la réduction des inégalités sociales de santé en Ile-de-France. Ce séminaire permettra dans un premier temps de présenter une introduction au transfert de connaissances et au courtage de connaissances. Dans un second temps, une présentation sera faite sur l’origine du projet CourtISS, ainsi que les résultats préliminaires de l’analyse du contexte et des besoins des agent·e·s de l'ARS IdF en utilisation des données probantes.

• 9 juin : Les méthodes mixtes en science politique et en sociologie : objectifs, stratégie, fabrique

Intervenants : Thomas Aguilera (CEE, Sciences Po Rennes), Tom Chevalier (CEE, LIEPP, Sciences Po Rennes)

La présentation sera l'occasion de revenir sur la publication d'un numéro spécial sur l'enjeu des méthodes mixtes en science politique (RFSP, 2021) dans lequel nous avions proposé une analyse du développement cloisonné et contrasté des méthodes mixtes en termes de disciplines et de traditions académiques entre pays tout en mettant en avant de récents travaux empiriques inédits de jeunes chercheur-e-s mobilisant les méthodes mixtes dans leurs recherches. Nous reviendrons également sur une nouvelle typologie de stratégies de méthodes mixtes pour la science politique (Aguilera & Chevalier, 2021) que nous souhaitons maintenant mettre à l'épreuve de la fabrique de la recherche en science politique et en sociologie.

Clément Pin (LIEPP) et Carlo Barone (OSC, LIEPP). Résumé de la séance. Voir vidéo 

La deuxième intervention présentera plus en détail un projet de recherche évaluative reposant sur l’usage des méthodes mixtes mené au sein de l’axe Politiques éducatives du LIEPP. Ce projet permet d’illustrer deux stratégies d’articulation des méthodes quantitatives et qualitatives (Pin & Barone, 2021) : l’une finalisée sur la réalisation d’un essai aléatoire contrôlé, l’autre s’appuyant sur les résultats de cette évaluation pour enrichir la compréhension de processus sociaux – processus concernant en l’occurrence le développement des compétences langagières par un programme de lecture parentale.

Références :

Aguilera, T. & Chevalier, T. (2021). Les méthodes mixtes pour la science politique : Apports, limites et propositions de stratégies de recherche. Revue française de science politique, 71, 365-389.

Pin, C. & Barone, C. (2021). L’apport des méthodes mixtes à l’évaluation : Une expérimentation randomisée dans le champ des politiques éducatives. Revue française de science politique, 71, 391-412. 

• 9 mai : Experimental Evaluation Design for Program Improvement 
   

Intervenante : Laura Peck (Principal Scientist, Abt Associates, Social & Economic Policy Division). Résumé de la séance. Voir vidéo 

The main part of this presentation will detail variants of experimental evaluation designs and how these can stretch evaluations to answer diverse questions about policy and program impacts. The presentation is based on Laura’s recently-published book (SAGE, 2020) by the same title and will draw on substantial field experience, offering applied examples.

• 7 avril : Understanding Realist Methodology and the Context-Mechanism-Outcome Configuration

Intervenant : Justin Jagosh (Center for Advancement in Realist Evaluation and Synthesis - CARES). Résumé de la séance. Voir vidéo

Realist methodology asks the questions: ‘what works, for whom, under which circumstances and how?’ Central to the approach is the context-mechanism-outcome configuration, which can be used to develop initial programme theories and analyze data. The CMO configuration is a deceptively simple heuristic that takes time to understand and use appropriately. Following a brief introduction on realist methodology, this webinar will help to: (1) define the CMO configuration; (2) explain its philosophical versus methodological implications and (3) demonstrate its use in practice. There will be time for questions and discussion. 

• 10 mars : Évaluation économique des produits de santé et exemples des agences HTA (Haute Autorité de Santé)

Intervenant : Salah Ghabri (Haute Autorité de Santé). Résumé de la séance. 

L’objectif est de présenter les approches économiques utilisées par les organisations publiques dans l’évaluation des technologies et des programmes de santé. Les principes et les principales recommandations seront présentés dans les cas de la Haute Autorité de Santé (HAS) et du National Institute for Health and Care Excellence (NICE). Un exemple d’évaluation économique à la HAS sera également exposé.

• 17 février : Evaluative Criteria: A Model to Strengthen Criteria Specification in Practice 

Intervenante : Rebecca Teasdale (University of Illinois Chicago). Résumé de la séance. Voir vidéo

Evaluative criteria define a “high quality” or “successful” intervention and provide the basis for judgment of merit and worth—yet criteria are often assumed and implicit in the evaluation process. This presentation will draw on a recent article and ongoing research to introduce an empirically supported model that describes and integrates two aspects of criteria: domain and source. The talk will highlight how the framework can be used to guide criteria specification, make criteria more explicit, broaden the range of voices and values that shape evaluative inquiry, and clarify evaluation design and reporting.

• 13 janvier : L'évaluation au-delà des méthodes et des codes : une sagesse pratique 

Intervenante : Marthe Hurteau (UQÀM). Résumé de la séance. Voir vidéo

L’évaluation a acquis ses lettres de noblesse en tant que discipline au cours des dernières années. Elle a su se pourvoir de fondements théoriques, d’une méthodologie qui prend en considération la multitude des options ainsi que de codes de conduite (standards) et de codes d’éthique. De plus, elle fait l’objet d’une multitude de publications scientifiques et elle est enseignée dans plusieurs universités à travers le monde. Cependant, comme bien des champs professionnels, l'évaluation de programme fait face à de multiples contraintes qui rendent son recours de plus en plus difficile. Diverses professions, comme le domaine de la santé et le management, ont fait appel à une vieille vertu pour les aider, la sagesse pratique.

La présentation fera un bref tour d’horizon des composantes de la discipline, en établissant une distinction entre la déontologie et l’éthique, en guise d’introduction au concept de sagesse pratique. Celle-ci sera explorée par la suite : ce en quoi elle consiste, sa contribution, des pistes pour l’acquérir, etc.

• 9 décembre : Introduction aux méthodes expérimentales pour l'étude du comportement humain

Intervenante : Lou Safra (CEVIPOF, LIEPP). Résumé de la séance. Voir vidéo 

Les sciences comportementales occupent une place croissante dans le monde de la recherche en sciences sociales au sens large. Et pour cause, ces nouvelles méthodes, issues notamment de la psychologie expérimentale et des neurosciences, en font des outils particulièrement pertinents pour apporter de nouveaux éclairages sur les questions étudiées en sciences humaines. Néanmoins, comme tout champ de recherche, les sciences cognitives et comportementales ont également leurs limites. Aussi est-il important pour les chercheurs en sciences humaines d’acquérir un regard critique éclairé sur les sciences comportementales mais également de pouvoir s’approprier ces méthodes pour leurs propres recherches. Lors de ce séminaire, je présenterai les principales méthodes utilisées en sciences comportementales et les questions fondamentales à se poser lors de l'élaboration d'un protocole pour la réalisation d'études comportementales.

• 14 octobre : Présentation de l'ouvrage "Économie comportementale des politiques publiques" 

Intervenant : Nicolas Jacquemet (Université Paris 1, PSE). Résumé de la séance. Voir vidéo 

Yannick GABUTHY, Nicolas JACQUEMET, Olivier L'HARIDON, Économie comportementale des politiques publiques, La Découverte, 2021. 

L’efficacité de l’action publique constitue une préoccupation croissante des autorités, qui sont amenées à solliciter de plus en plus souvent les résultats issus de la recherche en sciences économiques. La contribution de ces travaux à l’élaboration des politiques publiques tient à leur capacité à analyser et comprendre la manière dont les acteurs économiques réagissent aux évolutions de l’environnement dans lequel ils prennent leurs décisions. Ce raisonnement repose sur des hypothèses de comportement fortes, faisant l’objet d’un nouveau courant de recherche, l’économie comportementale, qui allie psychologie et économie afin d’affiner la compréhension des déterminants des décisions.

Cette présentation dressera un panorama des apports de ce nouveau courant à la définition et à l’évaluation des politiques publiques. Il décrit les nouveaux outils d’intervention, comme les nudges, tout en soulignant la pertinence des outils d’intervention traditionnels. Il en propose une application en matière d’économie de la santé, de choix d’épargne et de retraite, de politique environnementale et de régulation du marché du travail.

• 23 septembre : Les analyses coûts-bénéfices

Intervenant : Clément Carbonnier (Université Paris 8, LIEPP). Résumé de la séance. Présentation PPT.

Ce séminaire présentera les principaux enjeux et contraintes des évaluations coûts-bénéfices à travers deux exemples filés : les politiques de confinements ciblés en période de Covid d’une part et la politique d’emploi par la baisse du coût du travail de l’autre. Les apports et limites seront discutés le long des étapes de cette méthodologie : recensement exhaustif des coûts et bénéfices ; évaluation multicritère de ces effets ; détermination des équivalents monétaires ; prise en compte de la temporalité ; interprétation des résultats.

• 6 mai : Évaluer les initiatives de transition avec l'analyse de contribution

Intervenants: Thomas Delahais et Adrien Flichy, Quadrant Conseil. Résumé de la séance

Les initiatives qui parient sur des changements profonds dans la fabrique de l'action publique pour faire advenir une transition écologique et sociale se multiplient. Comment les évaluer sans leur imposer des référentiels qu'elles jugent obsolètes ? Comment rendre justice à leurs ambitions de faire évoluer des systèmes complexes? L'analyse de contribution est une approche d'évaluation d'impact qui vise à repérer les contributions plausibles des interventions évaluées et à les tester rigoureusement. Nous présenterons ici cette approche et son application à des initiatives de transition, dans la suite de notre article, Évaluateurs en transition (2020).

• 15 avril : What is evaluation and how does it differ from research? Séance en anglais 

Intervenante : Dana Linnel Wanzer, University of Wisconsin-Stout (USA). Résumé de la séance. Voir vidéo

This presentation discusses the findings from a recent article published in the American Journal of Evaluation. The study asked evaluators and researchers to define evaluation and differentiate evaluation from research. Results identified differences, and that evaluators were more likely to differentiate evaluation from research compared to researchers. Overall, this study has important implications for the profession of evaluation and how we communicate evaluation to others.

• 25 mars : Évaluer les innovations publiques : enjeux, concepts et perspectives 

Intervenant : Mathias Béjean, Université Paris Est Créteil. Séance organisée en partenariat avec la Chaire innovation publique. Résumé de la séance. Voir vidéo 

Après avoir effectué un panorama historique des théories de l'évaluation, l'exposé se focalise sur de nouvelles approches de l'évaluation des innovations issues du design et des living labs. Nous abordons notamment les notions d'évaluation d'usage, de données de vie réelle et de "test and learn". Dans une troisième et dernière partie, l'intervention propose une réflexion sur l'articulation de ces nouvelles approches avec les standards actuels à partir de deux recherches en cours : les technologies de santé et les innovations pédagogiques.

• 4 mars : Les principes généraux de revues systématiques : la démarche Cochrane 

Intervenante : Isabelle Boutron, Université Paris Descartes, Centre de Recherches en Epidémiologie et Statistiques. Séance coorganisée avec l'Institut Santé Publique Paris (Paris Public Health). Résumé de la séance 

• 11 février : Évaluation des politiques publiques et indépendance. Le cas des expérimentations aléatoires.

Intervenant : Jules Simha, CERLIS, Université de Paris. Résumé de la séance 

Les expérimentations sociales, et avec elles les expérimentations aléatoires, se fixent comme objectif d'évaluer des dispositifs d'action publique de manière extrêmement rigoureuse. Elles mobilisent notamment, dans cette perspective, des acteurs scientifiques issus de la communauté académique. La science est dès lors appelée à devenir un gage de rigueur mais également d'indépendance. En revenant sur cette dernière notion, il s'agit de réinterroger les productions évaluatives tout comme les discours qui vantent leurs mérites.

• 21 janvier : Benchmark des politiques évaluatives 

Intervenants : Adam Baïz et Vincent Aussilloux, France Stratégie. Texte de support. Présentation (pdf). Résumé de la séance 

L’évaluation d’impact vise à apprécier, à partir de méthodes statistiques, les effets propres d’une politique publique au regard des objectifs qui lui sont assignés. Développée aux États-Unis dès les années 1960, elle apparaît en Europe à la fin des années 1990, portée par la volonté de rationaliser l’action publique et de rendre le processus de décision politique plus transparent. Alors que la France connaît actuellement, avec retard, un essor des évaluations d’impact, France Stratégie a entrepris de recenser les bonnes pratiques dans cinq des pays considérés comme les plus avancés en la matière : les États-Unis, le Canada, le Royaume-Uni, la Suède et l’Allemagne. Sur la base d’entretiens, de rapports institutionnels et d’articles universitaires, trois facteurs clés favorisant la production et l’utilisation des évaluations dans la décision sont analysés : l’existence de dispositifs formels promouvant les évaluations d’impact, le degré de diffusion et d’influence de ces évaluations sur le public et sur les décideurs, et enfin l'ouverture du milieu administratif aux chercheurs en économie.

Texte de support: Vingt ans d’évaluations d’impact en France et à l’étranger - Analyse comparée des  pratiques dans six pays

• 7 janvier : Les revues de littérature mixtes

Intervenante : Quan Nha Hong, McGill (Canada). Texte de support. Résumé de la séance

La revue systématique mixte est de plus en plus populaire. Il s'agit d'un type de revue de littérature qui suit une approche systématique et inclut des études utilisant des méthodes quantitatives, qualitatives et/ou mixtes. En combinant des études qualitatives, quantitatives et mixtes, la revue systématique mixte permet d'aborder des questions complémentaires et d'approfondir la compréhension des phénomènes observés. Les dernières années ont été marquées par un développement considérable des méthodes de repérage, de sélection, d'évaluation et de synthèse des études qualitatives, quantitatives et mixtes. Durant ce webinaire, nous ferons un bref survol de ce développement méthodologique et présenterons différents devis de synthèse qui peuvent être utilisés dans une revue mixte. 

Texte de support : Quan Nha Hong, Anne-Marie Turcotte-Tremblay et Pierre Pluye. 2019. Les revues systématiques mixtes. Un exemple à propos du financement basé sur les résultats. In Évaluation des interventions de santé mondiale. Méthodes avancées. Sous la direction de Valéry Ridde et Christian Dagenais, pp. 157-186. Québec : Éditions science et bien commun et Marseille : IRD Éditions.

• 10 décembre : The craft of interviewing (individuals and groups) in realist evaluation. Séance en anglais

Intervenante : Dr. Ana Manzano, Associate Professor in Public Policy, School of Sociology & Social Policy, University of Leeds. Texte de support. Résumé de la séance. Voir vidéo 

In evaluation research -most especifically in formative, process and development approaches- individual and group interviews are frequently the main and only tool to generate data about programme effectiveness. There is much debate about the conduct of the interview (closed versus open, formal versus informal, etc.) and there is also a rather elaborate embroidery of subtypes and distinctions. One contribution rather ignored -and a significant one for evaluation- is the realist interview. Realist evaluation processes -among other methods of data collection- the use of theory-driven interviews to 'inspire/validate/falsify/modify' hypotheses about how programmes and interventions work. This talk will provide an overview of how individual and group interview techniques have been applied in realist evaluations in the last decade as well as suggesting some guiding principles. 

Reading : Manzano A. The craft of interviewing in realist evaluation. Evaluation. 2016 Jul;22(3): 342-60. 

• 26 novembre : De l’usage des cadres et théories pour l’évaluation des interventions

Intervenant : Valéry Ridde, Directeur de recherche au CEPED (Université de Paris/ RD). Texte de support. Résumé de la séance. Voir vidéo 

Lorsqu'il s'agit d'étudier les effets de la mise en oeuvre des interventions de santé publique, il devient indispensable d'avoir recours à une approche interdisciplinaire et des méthodes mixtes. Mais rares sont les chercheur.es et les formations universitaires qui s'inscrivent dans ce pragmatisme tant le dogmatisme et la fragmentation dominent encore les recherches sur les objets de santé publique. En outre, le recours à des théories et des cadres conceptuels ex ante est bien souvent perçu comme une hérésie épistémologique pour certain.es. Et même lorsque cela est le cas, les chercheur.es tombent parfois dans la facilité, appliquant sans jusitification ou discernement une théorie ou un cadre conceptuel déconnecté de son contexte d'utilisation. Cette présentation est une démarche réflexive basée sur l'expérience récente de la coordination scientifique de trois projets de recherche interventionnelle en santé publique au Burkina Faso et au Mali. Elle cherche à expliciter les démarches méthodologiques prévues à l'origine dans les protocoles de recherche; puis, à mettre en exergue les différents défis épistémologiques et méthodologiques que la rencontre de la santé publique avec d'autres disciplines ont permis de révéler. Enfin, il s'agit d'en tirer quelques leçons plus générales pour notre pratique collective d'une recherche interventionnelle interdisciplinaire usant de méthodes mixtes. 

Texte de support : Ridde V., Pérez D., Robert E. 2020. Using implementation science theories and frameworks in global health. BMJ Global Health.

• 5 novembre : Les méthodes d'évaluation quasi-expérimentales

Intervenant : Denis Fougère, OSC et LIEPP de Sciences Po. Texte de support. Résumé de la séance. Voir vidéo 

Les méthodes d’évaluation sont aujourd’hui fréquemment utilisées pour estimer les effets des interventions publiques en matière de santé, d’éducation ou d’emploi. Pour l’essentiel, ces méthodes sont fondées sur une comparaison entre des élèves, des classes, des salariés ou des entreprises bénéficiant de l’intervention ou de la politique que l’on souhaite évaluer (le groupe cible) et des élèves, des classes, des salariés ou des entreprises n’en bénéficiant pas (le groupe témoin).

Au cœur de la démarche statistique d’évaluation, est souvent posée la question des biais de sélection ou d’auto-sélection : le recours à un dispositif public d’aide ou d’accompagnement est une décision reposant en général sur des choix, individuels ou collectifs. Si l’on ne tient pas compte de ces mécanismes de choix, l’on risque de produire des estimations biaisées des effets de l’intervention publique en comparant directement les situations des deux groupes, cible et témoin. Pour limiter les conséquences des biais de sélection, les statisticiens utilisent généralement un groupe témoin (ou groupe de contrôle) dont les caractéristiques observables se rapprochent le plus possible de celui des membres du groupe cible (ou groupe de traitement).

La méthode permettant en théorie de limiter au maximum le biais de sélection est l’expérimentation randomisée, dont le principe est maintenant bien connu. Lorsque cette méthode, souvent difficile et longue à mettre en place, ne peut être utilisée, les statisticiens recourent à des méthodes dites quasi-expérimentales, notamment les doubles différences (differences-in-differences), la régression avec discontinuité (regression discontinuity design) et l’appariement d’échantillons (matching). Notre exposé présentera brièvement le principe de chacune de ces méthodes quasi-expérimentales, à l’aide notamment d’exemples illustratifs.

Texte de support : Fougère, D., Jacquemet, N. 2019. Inférence causale et évaluation d’impact. Economie et Statistique, n°510-511-512.

• 8 octobre : Un aperçu international sur l’évaluation des politiques publiques

Intervenant : Stephane Jacobzone (OCDE). Texte de support. Résumé de la séance

L'évaluation des politiques est un élément essentiel de la bonne gouvernance, car elle favorise la responsabilité publique et contribue à la confiance des citoyens dans le gouvernement. L'évaluation permet de s'assurer que les décisions sont ancrées dans des données fiables et qu'elles produisent les résultats souhaités. Les conclusions du rapport de l'OCDE "Improving Governance with Public Policy Evaluation : Lessons From Country Experiences" seront présentées et disctuées ici. Ce rapport propose une analyse systémique de l'institutionnalisation, de la qualité et de l'utilisation de l'évaluation dans différents pays et examine les liens entre ces trois dimensions. Nous verrons que le rapport couvre également les aspects transversaux liés à l'évaluation réglementaire et à la budgetisation des performances. Nous soulignerons enfin le rôle et les fonctions des institutions clés au sein de l'exécutif, telles que les centres de gouvernement et les ministères des finances. 

Texte de support : OCDE. 2020. Improving Governance with Policy Evaluation : Lessons From Country Experiences. OECD Public Governance Reviews. Éditions OCDE, Paris.

• 24 septembre : L’apport des méthodes mixtes pour l’évaluation d’un programme par expérimentation randomisée.

Intervenant : Clément Pin, chercheur postdoctoral au LIEPP, et Carlo Barone, professeur de sociologie à Sciences Po (OSC-LIEPP). Résumé de la séance. Voir vidéo 

Si l'appel à dépasser le clivage entre les méthodes quantitatives et qualitatives n'est pas nouveau dans le champ des sciences sociales, le développement de travaux pratiquant et/ou revendiquant leur mixage au sein d'un même projet de recherche s'est affirmé ces dernières années. Cette communication présente un projet de ce type et le mobilise comme un cas permettant d'illustrer et de nourrir une réflexion méthodologique centrée sur le recours aux méthodes mixtes dans l'évaluation des politiques publiques. L'objet du projet était de concevoir, mettre en oeuvre et évaluer un programme d'action visant à favoriser le développement des compétences langagières d'enfants de milieux défavorisés. Tout en recourant à une expérimentation randomisée, généralement associée aux méthodes quantitatives en ce qu'elle procède par un raisonnement de type hypothético-déductif centré sur l'identification statistique d'un lien causal, le projet de recherche intégrait une composante qualitative dès sa phase de conception et sur l'ensemble du déroulement, pour produire des connaissances relatives à son contexte de mise en oeuvre et aux conditions de sa réception.

La première partie de la communication, à dominante épistémologique, présentera la stratégie de recherche adoptée au regard de la littérature académique qui théorise une pratique dite réaliste de l'évaluation. La deuxième partie, à dominante méthodologique, précisera l'apport des méthodes qualitatives pour la réalisation d'un essai aléatoire contrôlé, en illustrant avec l'expérimentation de terrain que nous avons réalisée. 

• 10 septembre : Cartographie de quelques méthodes de revues systématiques utilisées en sciences sociales et de la santé

Intervenante: Loubna Belaid, chercheure associée à CIET Trust et au groupe de recherche participative au département de médecine de famille, Université McGill, Montréal, Canada. Texte de support. Résumé de la séance

La revue systématique est devenue peu à peu l’étalon-or pour identifier, analyser, et synthétiser les données scientifiques les plus robustes pour répondre à une problématique donnée, quelle que soit la discipline ou le secteur concerné. Elle se distingue des revues de type « état de l’art » par leur processus systématique, rigoureux et transparent. La revue systématique est un outil important pour les politiques publiques et les pratiques fondées sur des données probantes qui visent à rapprocher la recherche de la prise de décision. 

Ce séminaire vise à présenter un aperçu des différentes méthodes de revues systématiques existantes. Nous décrirons chacune des revues selon ses caractéristiques, ses étapes, ses forces, ses défis et limites. 

Ce séminaire pourrait être utile pour les intervenants (chercheurs et praticiens) qui souhaitent développer des actions et des politiques fondées sur des données scientifiques ainsi qu’aux étudiants désirant proposer un état des lieux systématique et rigoureux des connaissances pour construire la problématique de leur mémoire ou de leur thèse de recherche universitaire. 

Texte de support : Belaid, Loubna and Valéry Ridde. 2020. Une Cartographie de Quelques Méthodes de Revues Systématiques. Working Paper CEPED N°44.