8 L’analyse coût-efficacité

Résumé 

L’analyse coût-efficacité est une méthode quantitative consistant à comparer le « retour sur investissement » d’une politique donnée (les résultats souhaités qu’elle produit, rapportés à son coût), par comparaison avec d’autres politiques possibles. Cette méthode permet d’estimer l’efficacité d’une politique, c’est-à-dire sa capacité à maximiser un critère de résultats pour chaque euro de dépense publique. Elle est utile pour guider les choix de politique publique et d’allocation des dépenses publiques au sein d’un secteur donné.

Mots-clés : Méthodes quantitatives, coût/efficacité, efficience, efficacité

I. En quoi consiste cette méthode?

L’analyse coût-efficacité est une méthode qui consiste à explorer l’efficience d’une politique publique, c’est-à-dire dans le langage familier à déterminer son « retour sur investissement ». C’est une méthode comparative dans laquelle l’intervention évaluée est comparée à plusieurs autres options : politiques existantes, alternatives, etc. Cette comparaison permet de hiérarchiser les différentes options et de déterminer laquelle permet d’optimiser la dépense publique, c’est-à-dire d’obtenir le meilleur résultat possible pour chaque euro investi. La hiérarchisation des différentes options est réalisée à partir d’un calcul économique a priori simple, celui du « ratio différentiel coût efficacité ». Ce calcul met en relation la différence de coûts et la différence d’efficacité constatée entre l’intervention et ses comparateurs.

Cinq étapes sont nécessaires à la mise en œuvre de cette méthode d’évaluation.

En premier lieu, il est nécessaire de choisir un point de vue pour l’analyse et une population cible. Cela consiste à déterminer quelle est la perspective adoptée pour le calcul : celle du financeur ou de la financeuse de la politique publique (pay·eur·euse)? de ses bénéficiaires? de la société dans son ensemble? On notera que la perspective souvent choisie dans les analyses coût-efficacité est la perspective sociétale, parce qu’elle prend en compte l’impact de la politique pour l’ensemble des parties prenantes (pay·eur·euse·s, bénéficiaires, etc.). Néanmoins, si cette perspective collective est plus intéressante pour le décideur public ou la décideuse publique, elle est aussi plus difficile à mettre en œuvre parce qu’elle implique une mesure exhaustive des coûts et des critères d’efficacité. Le choix de la population cible est souvent dicté par l’objectif de la politique publique. Par exemple, une campagne de prévention publique du cancer du sein ciblant des âges précis. Il est souvent pertinent de déterminer au sein de cette population des sous-groupes de personnes spécifiques en fonction par exemple de leur accès à l’intervention (par exemple, l’accès aux centres de soins) ou de leur exposition à d’autres mesures (par exemple, l’accès à un soin préventif financé par l’assurance privée).

En deuxième lieu, il faut déterminer le périmètre des coûts associés à la politique publique évaluée. Les coûts considérés dans l’évaluation sont ceux liés au déploiement de l’intervention, aussi appelés « coûts directs » : investissement d’infrastructures, de matériel, salaires des personnels dédiés à l’intervention, campagnes d’information, etc. Dans le cadre d’une évaluation portant sur plusieurs années, ces coûts sont actualisés pour tenir compte des variations d’inflation. Les coûts indirectement associés à la politique publique peuvent également être intégrés dans l’évaluation. En effet, si la politique publique a un impact fort sur la sphère domestique, il est souvent judicieux d’inclure cet impact dans le calcul du ratio d’efficience. Par exemple, on peut s’attendre à ce qu’un accroissement de la générosité des aides publiques pour l’autonomie des séniors fragiles réduise l’absentéisme au travail des aidants familiaux, qui peuvent substituer à leur temps d’aide des services professionnels.

La troisième étape consiste à choisir un critère d’efficacité de la politique publique. Le choix de ce critère est déterminant, car il doit être assez « sensible » pour saisir l’impact de la politique. Deux grandes catégories de critères sont généralement mobilisées dans les évaluations : des critères de résultats et des critères d’utilité. D’une part, les critères de résultats permettent de mesurer l’efficacité de la politique évaluée avec des indicateurs chiffrés : par exemple des durées de chômage pour l’évaluation de politiques d’emploi, des taux de mortalité pour des politiques de santé, des taux de réussite scolaire pour des politiques d’éducation, etc. D’autre part, les critères d’utilité permettent de mesurer l’impact de la politique publique sur le bien-être des ménages, mesuré à l’aide de questionnaires. On parle alors d’une analyse coût-utilité, dont l’objectif est de mesurer si la politique évaluée permet d’optimiser le niveau moyen de bien-être de ses bénéficiaires.

En quatrième lieu, il faut déterminer quelles sont les sources de données à mobiliser pour mener l’évaluation, et estimer l’impact de la politique publique à partir de ces données. Les évaluations utilisent deux principales catégories de bases de données : celles issues « d’expérimentations aléatoires » et les données dites « de vie réelle ». Les expérimentations aléatoires (voir fiche séparée) consistent à comparer deux populations différentes, l’une recevant l’intervention évaluée et l’autre bénéficiant d’une alternative. Le succès de ces expérimentations repose sur l’absence de « contamination » entre les deux groupes comparés. En effet, toute interaction entre les membres des deux groupes remet en cause l’évaluation de l’efficacité du traitement, et donc toute l’évaluation coût-efficacité. Généralement, ces études portent sur une période de deux ans et incluent quelques milliers de participant·e·s. Les évaluations réalisées à partir de données de vie réelle consistent à identifier ex post dans les bases de données administratives les deux populations inclues dans l’évaluation (toujours en fonction de leur exposition), et de suivre leur évolution pendant une période plus longue. Elles présentent l’avantage de leur exhaustivité : taille d’échantillon, nombre d’années de suivi, etc.

Enfin, on peut procéder à l’analyse coût-efficacité en elle-même. Cette analyse comporte deux étapes : il faut, d’une part, estimer les effets moyens observés sur les paramètres de coût et d’efficacité à partir des données et, d’autre part, modéliser l’impact coût-efficacité de la politique publique à partir des effets estimés. L’estimation des effets est réalisée à partir de régressions économétriques, qui permettent d’identifier l’impact moyen de la politique publique dans l’échantillon de données utilisé, et des intervalles de confiance pour cet effet (bornes supérieures et inférieures qui encadrent sa valeur réelle). Cette étape d’estimation est essentielle, car elle permet de définir si l’impact de la politique est significatif ou pas, autrement dit, si la politique donne en moyenne les résultats escomptés. Le choix de la méthode d’estimation est un aspect essentiel de cette étape. Ensuite, intervient la phase de modélisation, au cours de laquelle les estimations des effets obtenues dans la première étape vont être utilisées comme inputs pour le modèle d’évaluation coût-efficacité. Par exemple, on estimera différentes probabilités d’hospitalisations en urgence dans le cadre de l’évaluation d’une politique de prévention des chutes chez les séniors âgé·e·s. On testera alors tous les impacts possibles de la politique publique pour tenir compte de l’incertitude liée à ses effets, c’est-à-dire des différentes valeurs possibles pour les probabilités d’hospitalisation. On parle alors de « simulation ».

II. En quoi cette méthode est-elle utile pour l’évaluation des politiques publiques?

L’évaluation coût-efficacité permet d’apporter un éclairage sur l’efficience d’une politique publique, c’est-à-dire sa capacité à maximiser un critère de résultat pour chaque euro de dépense publique. C’est donc un outil d’aide à la décision qui permet de répondre à de très nombreuses questions évaluatives : Est-il plus rentable de mettre en œuvre une politique A par rapport à une politique B? Quels sont les coûts et les bénéfices incrémentaux liés à l’adoption d’une politique publique? Quelles populations spécifiques peuvent bénéficier le plus du déploiement de cette politique publique? Comment améliorer l’allocation des dépenses publiques dans un secteur donné (santé, éducation, sécurité, etc.)? Les effets attendus d’une politique publique dépassent-ils les coûts de sa mise en œuvre? L’efficience d’une politique peut-elle varier en fonction du profil de ses bénéficiaires, de la population couverte?

La réponse à ces questions peut être donnée ex ante, dans le cadre d’une évaluation explorant s’il est judicieux de généraliser le déploiement d’un programme mis en œuvre dans un périmètre géographique donné, ou ex post, dans le cadre d’une évaluation qui détermine si une politique publique a eu les effets économiques escomptés sur une population donnée au cours d’une période de temps définie.

L’avantage principal de cette méthode est qu’elle permet d’envisager de façon exhaustive tous les effets économiques possibles d’une politique publique sur une population donnée. Son utilisation permet donc d’améliorer la transparence sur critères de décision des politiques publiques. En utilisant les résultats d’une évaluation coût-efficacité, le décideur public peut arbitrer non seulement en fonction de critères économiques (coûts), mais également en fonction de critères d’efficacité des résultats de l’action publique. Autrement dit, le recours à l’évaluation coût-efficacité favorise une prise de décision pas uniquement guidée par des considérations de contrôle des dépenses publiques, notamment lorsqu’elle utilise des critères d’efficacité mesurés en termes de bien-être individuel. Cette méthode est d’ailleurs identifiée par France Stratégie comme un outil central pour comparer l’efficience de différentes politiques publiques (Desplatz et Ferracci 2016).

III. Des exemples d’utilisation de cette méthode dans l’évaluation des politiques de santé

Récemment, de nombreux travaux scientifiques se sont intéressés à l’évaluation de l’efficience des politiques de lutte contre la pandémie de COVID-19. Une revue systématique de cette littérature identifie ainsi que les principales mesures de lutte contre le COVID-19 (tests, port du masque, distanciation sociale, quarantaines) ont été majoritairement efficientes, c’est-à-dire que leur retour sur investissement a été élevé, et ce d’autant plus que le facteur de reproduction du virus était élevé et qu’elles étaient introduites en combinaison (Vandepitte et al. 2021). Cette étude alerte néanmoins sur l’existence de facteurs propres aux pays (densité et structure de la population, organisation du système de santé, etc.) qui expliquent une efficience plus forte de ces mesures selon les pays. Elle montre que les résultats d’une analyse d’efficience d’une politique réalisée dans un pays/contexte particulier ne peuvent pas être aisément transposés à un autre pays.

L’évaluation coût-efficacité peut aussi être utilisée de façon prospective pour guider la décision publique. Par exemple, depuis plus de dix ans, la Haute Autorité de Santé (HAS) utilise cette méthode d’évaluation pour déterminer l’efficience des innovations de santé et éclairer les négociations de fixation de prix et de remboursement de ces innovations entre les industriels de santé et le Comité économique des produits de santé (CEPS). Elles sont publiées de façon transparente sur le site de la HAS. Ces analyses sont l’un des principaux outils utilisés par le CEPS pour évaluer l’impact attendu d’une décision de fixation de prix d’un médicament. Les industriels ont la responsabilité de produire les modèles d’évaluation de leurs innovations, en suivant un guide méthodologique conçu et actualisé par la commission d’évaluation économique et de santé publique (CEESP) de la HAS. Ce guide détaille précisément les critères retenus pour évaluer la qualité de l’analyse (HAS 2020). Une fois l’analyse réalisée, les industries déposent un « dossier d’efficience » qui décrit le contenu du modèle et ses résultats. Des « avis d’efficience » rendus par la CEESP concluent sur l’impact de l’efficience liés à l’introduction d’un nouveau traitement sur le marché français, ou évaluent ex post quelle a été l’efficience d’un traitement après plusieurs mois d’utilisation.

IV. Quels sont les critères permettant de juger de la qualité de la mobilisation de cette méthode?

La qualité de cette méthode dépend de celle des données utilisées pour construire le modèle, et de la qualité de la méthode d’identification de la relation de causalité pour mesurer les effets de la politique. Ces deux points sont essentiels. En effet, il est primordial que l’étape d’estimation des effets de la politique mobilise des méthodes d’identification avancées (essai randomisé, scores de propension, variables instrumentales) qui sont souvent complexes à mettre en œuvre. Lorsque ces données ne sont pas disponibles, il faut mobiliser les données de la littérature scientifique pour trouver des évaluations comparables dans d’autres pays, et utiliser les données de ces évaluations pour « nourrir » le modèle. Si ces données sont absentes de la littérature, on doit avoir recours à des entretiens qualitatifs, ce qui peut réduire la précision des hypothèses et la qualité générale du modèle.

V. Quels sont les atouts et les limites de cette méthode par rapport à d’autres?

L’avantage principal de l’analyse coût-efficacité est qu’elle représente un outil d’aide à la décision politique transparent et facile d’accès. En effet, la comparaison de l’efficience de différents programmes est réalisée à l’aide d’une représentation graphique qui permet facilement d’identifier les mesures les plus efficientes, c’est-à-dire celles dont le ratio coût-efficacité est le plus favorable car elles sont moins chères qu’un comparateur pour une efficacité plus forte. De plus, ces méthodes d’analyses sont robustes : elles sont utilisées depuis plusieurs décennies dans tous les domaines de l’économie (santé, développement, éducation, travail, etc.).

Néanmoins, cette méthode a deux limites principales. La première limite est liée au fait que cette méthode ne permet pas réellement de guider la décision publique lorsque le résultat de l’évaluation montre que la politique est plus efficace mais aussi plus coûteuse qu’une autre mesure. C’est souvent le cas lorsque l’on évalue l’impact d’une politique visant à encourager le déploiement d’une innovation sur un marché, qui est souvent plus chère mais aussi plus efficace qu’un comparateur. La seconde limite de cette méthode est liée au coût parfois élevé de sa mise en œuvre. La mise en œuvre d’un essai randomisé nécessite un investissement financier important (une « petite » expérimentation peut coûter plusieurs centaines de milliers d’euros). De plus, l’estimation de l’effet de la politique implique un suivi temporel long, qui est souvent déconnecté du temps politique. C’est pour cette raison que la faisabilité des évaluations d’efficience dépend souvent de la capacité de l’organisme d’évaluation à mener une expérimentation. Cela a pu par le passé bloquer la mise œuvre de mesures publiques. Par exemple, le déploiement de la télémédecine en France, bien que souhaité par les pouvoirs publics, a longtemps été bloqué par l’incapacité des acteurs du marché et/ou de l’Assurance maladie à mener des expérimentations permettant de conclure à l’efficience de ces dispositifs.

Quelques références bibliographiques pour aller plus loin

Desplatz, Rozenn. et Ferracci, Marc. 2016. « Comment évaluer l’impact des politiques publiques? Un guide à l’usage des décideurs et praticiens ». Paris, France: France Stratégies.

HAS. 2020. Choix méthodologiques pour l’évaluation économique. Saint-Denis.

Vandepitte, Sophie. et Alleman, Tijs. et Nopens, Ingmar. et Baetens, Jan. et Coenen, Samuel. et De Smedt, Delphine. 2021. « Cost-Effectiveness of COVID-19 Policy Measures: A Systematic Review ». Value in Health 24 (11): 1551‑69. https://doi.org/10.1016/j.jval.2021.05.013.