Faut-il croire aux évaluations des politiques économiques ?

Comment s’assurer, de la façon la plus rigoureuse possible, qu’une politique publique ait les effets économiques escomptés ? C’est à cette question fondamentale que Clément de Chaisemartin, chercheur au département d’économie, consacre son projet « Really Credible »⁽¹⁾Completing the revolution: Enhancing the reality, the principles, and the impact of economics’ credibility revolution, un projet dont la qualité lui a valu le soutien du Conseil européen de la recherche dans le cadre de son programme très sélectif des ERC Grants. Entretien.

Une façon répandue de conduire des recherches en économie consiste à s’appuyer sur des données, tirées de l’observation de la réalité, pour étudier les liens de cause à effet entre variables économiques. On parle alors d’économie empirique. Quel est l’intérêt de cette démarche ?

Clément de Chaisemartin : L’économie a pendant longtemps été une discipline s’appuyant principalement sur des modèles théoriques. Néanmoins, des modèles reposant sur des hypothèses différentes vont prédire des relations de cause à effet différentes, voire opposées, entre deux variables économiques. Par exemple, pour un économiste néoclassique, augmenter le salaire minimum va conduire les entreprises à utiliser des robots plutôt que des travailleurs, ce qui va diminuer l’emploi. Mais pour un économiste néokeynésien, c’est l’inverse : augmenter le salaire minimum peut augmenter l’emploi, en stimulant la demande, ou en augmentant la motivation des travailleurs et donc leur productivité. Qui a raison ? Difficile de savoir sans données ! L’économie empirique permet de déterminer lequel de ces mécanismes, qui vont dans des sens opposés, l’emporte sur l’autre.

Malgré son intérêt, cette approche a été contestée, notamment par un économiste américain — Edward Leamer — qui s’est fait connaître en l’accusant d’être biaisée et donc peu crédible. Pourquoi cette critique ?

Clément de Chaisemartin : L’économie empirique a fait l’objet de toutes sortes de critiques, dont celle de Leamer⁽²⁾Edward L. Leamer,  Let’s Take the Con out of Econometrics, The American Economic Review, Vol. 73, No. 1 (Mar., 1983), pp. 31-43. Pour comprendre ces critiques, il faut d’abord comprendre le problème fondamental auquel on se heurte quand on cherche à mesurer l’effet d’une variable sur une autre. Dans mon exemple, l’effet d’une hausse du salaire minimum sur l’emploi, à un moment donné et dans un endroit donné, c’est l’écart entre le niveau d’emploi effectif et le niveau d’emploi contrefactuel qu’on aurait observé au même endroit et au même moment si on n’avait pas augmenté le salaire minimum. Par définition, ce niveau d’emploi contrefactuel n’est pas directement observé : on n’observe pas directement le niveau d’emploi qui aurait prévalu dans une région qui a choisi d’augmenter son salaire minimum si elle avait fait le choix contraire. Ainsi, l’économiste empirique qui évalue une politique publique va devoir reconstruire la situation contrefactuelle qu’on aurait observée sans la politique. Contrairement à un architecte, qui peut laisser libre cours à sa subjectivité lorsqu’il construit un bâtiment, il est préférable qu’un économiste appliqué ne laisse pas libre cours à sa créativité lorsqu’il construit un contrefactuel. Sans quoi son évaluation de l’effet de la politique économique dépendra de ses choix méthodologiques, et un autre économiste, qui aurait fait des choix différents, pourrait arriver à une conclusion différente. C’est cette incertitude, cette différence potentielle entre les méthodes de construction du contrefactuel qui a généré la remise en question de la crédibilité de l’économie empirique.

Suite à cette critique, les économistes se sont attelés à renforcer leurs modèles économétriques et ont développé de nouvelles méthodes en économie expérimentale permettant la création de modèles « reproductibles ». Beaucoup considèrent que cette évolution a réglé le problème de la crédibilité. Vous estimez que cela n’est pas suffisant. Que proposez-vous pour perfectionner cette démarche ?

Clément de Chaisemartin : Depuis les années 80, les économistes ont commencé à poser formellement le problème d’identification des liens de cause à effet entre variables économiques. Une boîte à outils de techniques standardisées et reposant sur des hypothèses souvent plausibles et testables s’est progressivement constituée, notamment sous l’influence des prix Nobel Joshua Angrist et Guido Imbens. On a parlé de « révolution de la crédibilité ». Mais il restait toujours une technique qui avait, jusque récemment, échappé à cet examen critique des méthodes d’évaluation utilisées par les économistes : les régressions linéaires à double effet fixe, un nom barbare qui devrait à lui seul suffire à éveiller la suspicion.
Dans un papier avec mon co-auteur Xavier D’Haultfoeuille, nous avons montré que cette technique, fréquemment utilisée dans les études reposant sur des expériences naturelles pour évaluer l’effet de politiques, n’est fiable que si l’effet de la politique évaluée est le même, dans le temps et dans l’espace. Cette hypothèse est souvent peu plausible. Par exemple, l’effet du salaire minimum sur l’emploi a peu de chance d’être le même dans des économies avancées où peu d’emplois peuvent facilement être automatisés, que dans des économies moins avancées. Le souci, c’est qu’un quart des articles les plus cités publiés récemment dans l’American Economic Review, un des journaux les plus prestigieux parmi les économistes, utilisent des régressions à doubles effets fixes. Dit autrement, une grande partie de la recherche récente en économie appliquée repose encore sur des hypothèses fragiles, et ne peut donc pas être considérée comme crédible. La « révolution de la crédibilité » est loin d’être terminée !
Le but de mon projet « Really Credible » est de proposer des méthodes d’évaluation restant valides même si l’effet de la politique évaluée varie dans le temps et dans l’espace, comme c’est souvent le cas. Je souhaite ensuite développer des programmes informatiques que les chercheurs pourront facilement utiliser pour se servir des méthodes que je propose. Enfin, j’utiliserai ces programmes pour revisiter un grand nombre d’articles ayant utilisé les régressions à double effet fixes, en utilisant ma méthode. Cela permettra de voir si les conclusions que les chercheurs avaient obtenues avec des régressions à doubles effets fixes restent robustes en les comparant avec les résultats issus de ma méthode.
C’est important, car les régressions à doubles effets fixes ont été utilisées pour répondre à des questions pressantes, comme l’effet de la hausse des exportations chinoises sur l’emploi aux États-Unis et en Europe, ou l’effet de la hausse des températures sur les rendements agricoles ou sur la santé des populations. Il est fondamental de regarder si les réponses à ces questions changent avec des méthodes plus robustes.

En fin de compte, votre idée n’est-elle pas de faire en sorte que les décideurs et les citoyens, en comprenant mieux les méthodes de la recherche en économie, lui fassent plus confiance ?

Clément de Chaisemartin : Joshua Angrist⁽³⁾Joshua Angrist est professeur d’économie au Massachusetts Institute of Technology (MIT) et lauréat du Prix Nobel en économie 2021 avec Guido Imbens et David Card. Il est spécialiste de l’économie du travail et de l’économie de l’éducation. m’a dit une fois qu’un bon critère pour savoir si ma recherche était bonne était que je devais être capable de l’expliquer à mes grands-parents. Dans la révolution de la crédibilité, il y a cette idée que la recherche doit être accessible à tous et transparente. Il est donc possible que l’un des bénéfices de cette révolution, dans laquelle je m’inscris, soit de rendre la recherche en économie compréhensible et crédible auprès du plus grand nombre, ce qui en ferait un outil potentiel pour créer plus de consensus sur les avantages et inconvénients de différentes options politiques. L’impact des évaluations d’impact sur les croyances des citoyens et des décideurs publics est une question empirique intéressante, et peu étudiée. Un article⁽⁴⁾Sultan Mehmood, Shaheen Naseer and Daniel L. Chen “Training Policymakers in Econometrics”, document de travail. a montré, par exemple , que former des décideurs publics indiens aux méthodes modernes d’évaluation des politiques publiques avait un effet sur leurs croyances et leurs pratiques. Il serait intéressant de mener une telle expérience auprès d’étudiants ou de diplômés de Sciences Po ! J’aimerais bien aussi mener une expérience de ce type auprès de publics beaucoup plus éloignés des institutions (anti-vax, complotistes etc.). Il est paradoxal qu’au moment où les sciences sociales progressent massivement dans la production de recherches robustes sur les effets des politiques publiques, nos sociétés se polarisent de plus en plus et s’affrontent — parfois violemment — quand il s’agit de choisir entre différentes options de politiques publiques. Une meilleure diffusion des résultats de la recherche et une meilleure éducation aux méthodes d’évaluation pourraient peut-être aider à créer du consensus.

Propos recueillis par Hélène Naudet (Direction de la communication) et Melissa Mundell (Département d’économie)

Clément de Chaisemartin, professeur des universités, a rejoint le Département d’économie en 2021 après avoir conduit ses recherches et enseigné à l’Université de Californie, Santa Barbara. Économètre, il est spécialisé dans les méthodes d’évaluation des politiques publiques. Il a aussi participé à l’évaluation d’impact de politiques publiques éducatives françaises (Internats d’excellence) et à l’étranger. Il est également un chercheur affilié du laboratoire Abdul Latif Jameel Poverty Action Lab (J-PAL), créé par le Département d’économie au Massachusetts Institute of Technology.