De l'apport des méthodes quantitatives en évaluation des politiques publiques

L'usage des méthodes quantitatives en évaluation se heurte à deux grands écueils. Le premier est, en l'absence de compétences techniques suffisantes, le risque de production de données erronées. Les chiffres obtenus fournissent alors une mauvaise appréciation des phénomènes qu'ils sont censés mesurer. Le deuxième est la confusion entre données quantitatives et contrôle de performance. Or les résultats issus de la mobilisation des méthodes quantitatives en évaluation ne se limitent pas à la mesure des effets de court terme des dispositifs. ils peuvent également porter sur les impacts et l'atteinte des objectifs à moyen terme, la pertinence des actions, la qualité et la cohérence des programmes mis en œuvre.

Du risque de mauvais emploi des méthodes quantitatives.

L'utilisation des méthodes quantitatives pour l'évaluation suppose une technicité importante. La banalisation des logiciels de traitement statistique tend à augmenter la production de chiffres pour l'évaluation. Le risque, pour des non spécialistes, de commettre des erreurs dans l'interprétation des résultats ou dans la mobilisation des méthodes de traitement est élevé. Il est en effet toujours possible d'obtenir des chiffres, mais les conditions d'utilisation de ces chiffres, leur signification et leurs possibilités d'interprétation demandent un bon niveau d'expertise. Or de mauvais usages peuvent conduire à des contre sens ou des erreurs de mesure remettant en question les résultats finaux de l'évaluation.

Par exemple :

• la constitution de l'échantillon d'une enquête quantitative a un impact important sur les résultats finaux. Les enquêtes en évaluation des politiques publiques reposent souvent sur des échantillons « de convenance ». ils sont construits en transmettant des questionnaires via les structures, où les endroits, ayant le plus de chance de toucher les bénéficiaires. Or ce mode de transmission ne permet pas d'atteindre certaines catégories de personnes, notamment les utilisateurs les moins fréquents. Les chiffres issus de l'enquête vont alors sur estimer la fréquentation des structures, ou encore la capacité des dispositifs à répondre aux besoins. Plus généralement, un échantillon mal construit, même s'il est représentatif sur un certain de variables (les quotas d'enquête) peut conduire à des résultats très éloignés de la réalité ;
• les questionnaires jouent également un rôle essentiel sur les résultats de l'évaluation. Lorsqu'une question est posée, une réponse est toujours obtenue. Mais si la question est mal posée, cette réponse peut être totalement vide de sens, ou alors avoir un sens qui n'est pas celui que l'évaluateur pense avoir mesuré ;
• les données disponibles sur les territoires (données de gestion de dispositif, données d'enquête de l'INSEE), ne sont pas toujours directement exploitables. Pour exploiter les bases de données détaillées d'enquêtes de l'INSEE, il est par exemple nécessaire d'avoir un niveau de compréhension suffisante des documents techniques mis à disposition par l'Institut, et donc des limites et des conditions permettant ou non d'utiliser ces bases ;
• les logiciels de traitement statistique permettent de mettre en œuvre des traitements de données assez avancés. Cependant, ils ne renseignent pas sur la pertinence de ces traitements au regard des données traitées (taille d'échantillon, modalité de constitution, relations des variables entre elles,...). Or utiliser une méthode de traitement inappropriée conduit là aussi très vite à des conclusions erronées.

Les connaissances techniques pour l'utilisation des méthodes quantitatives sont ainsi indispensables pour produire des résultats robustes et de qualité. Ces résultats ne sont cependant qu'une représentation de la réalité. Quelles que soient les précautions prises, il existe une marge d'erreur, pas toujours mesurable, liées à la mise en œuvre des enquêtes (échantillonnage, formes des questions, …). Le travail de l'évaluation consiste en l'analyse des résultats en tenant compte des biais liés à l'enquête ainsi que des objectifs de l'évaluation et donc des questions auxquelles les chiffres doivent contribuer à répondre. Il repose donc à la fois sur la capacité technique de l'évaluateur à mettre en œuvre les méthodes quantitatives, à conduire des produire d'évaluation, et à sa connaissance des sujets.

Les méthodes quantitatives et qualitatives : une approche complémentaire au service de l'évaluation.

Une des grandes difficultés de l'évaluation est la mesure des effets propres des dispositifs. Les évolutions sont en général assez facilement mesurables. Identifier si elles sont imputables, au moins en partie, au dispositif évalué, est plus complexe. En effet, des facteurs externes à la politique mises en œuvre peuvent intervenir.

Face à cette difficulté, les évaluateurs utilisent par exemple des échantillons témoins : ils sont constitués de personnes dont les caractéristiques sont les mêmes que celles des bénéficiaires, mais qui ne sont pas concernées par le dispositif. Cette construction est complexe, les résultats pouvant être faussés si l'échantillon témoin diffère de l'échantillon bénéficiaire. Le mode idéal d'obtention de ces échantillons, par sélection aléatoire, n'est pas toujours possible. (voir par exemple: Brezault, Olm « Politiques locales de la jeunesse et expérimentations sociales : l'épreuve du terrain. », cahier de recherche du CREDOC n°C226, 2009 ).

En pratique, l'évaluation repose alors sur la multiplication des approches : elle observe les évolutions et analyse si il s'agit bien de celles attendues au départ. Elle recherche les autres facteurs pouvant les expliquer. Elle compare les évolutions selon les caractéristiques des bénéficiaires, et les actions précises qui les a concernés. Elle recueille le point de vue des acteurs, étudie la cohérence globale du dispositif , la pertinence des actions proposées, les conditions de leur mise en œuvre, les facteurs d'inefficacité, leurs impacts sur les territoires.

L'approche qualitative analyse et croise le point de vue des acteurs, ainsi que les discours de certains bénéficiaires. Elle est adaptée à l'observation des modalités de mise en œuvre de la politique, de sa cohérence globale avec les autres actions existants sur le territoire et fournit des éléments pour comprendre quels sont les facteurs d'efficacité ou d'inefficacité et pour repérer certains effets de la politique. Une approche uniquement qualitative ne suffit souvent pas à mesurer l'importance réelle des effets ni à conclure sur l'efficacité de la politique. En effet :

• les acteurs rencontrés fournissent des discours nécessairement subjectifs, déterminés en partie par leur position dans le dispositif. Un travail d'objectivation de ces discours est nécessaire. Il se fait en croisant autant que possible les regards, en mobilisant les capacités d'expertise de l'évaluateur et en utilisant des données quantitatives permettant d'atténuer ou de renforcer les observations des acteurs;
• les échantillons de bénéficiaires interrogés par entretien qualitatif sont nécessairement limités. Ils sont diversifiés, c'est à dire que l'évaluateur essaie de représenter une grande palette de situations, mais ne sont pas représentatifs des bénéficiaires. L'analyse tend alors à accentuer certains impacts, fortement représentés dans l'échantillon, et en sous estimer, voir ne pas observer, d'autres, non représentés.

Inversement, les méthodes quantitatives (utilisation des sources de données existantes, enquêtes ad hoc) ne renseignent que peu sur les mécanismes expliquant les résultats observés, ou sur les modalités précises de mise en œuvre des politiques. Elles sont parfois assimilées à du contrôle de performance, lorsqu'elles ne regardent que les évolutions des trajectoires sur des indicateurs de court terme (taux de retour à l'emploi, taux d'accès au logement, taux de remplissage des structures d'accueil petite enfance...). Or elles peuvent aller bien au-delà de ces mesures, et s'intéresser à des indicateurs plus « qualitatifs ». Elles peuvent ainsi mesurer la capacité du dispositif à mobiliser les bénéficiaires sur une trajectoire d'insertion professionnelle, sur la capacité des bénéficiaires à gérer leur budget, et, à terme, se maintenir dans le logement, ou encore sur l'information des familles pour trouver un mode de garde permettant la conciliation vie familiale-vie professionnelle, ….

Pus globalement, elles chiffrent les évolutions, quantifient les décalages entre les besoins et l'offre. Les méthodes avancées de traitements statistiques (modélisations, classifications, …) sont par ailleurs très utiles pour mesurer quelles actions produisent les effets les plus importants et auprès de quels bénéficiaires, et contribuer à identifier les effets propres de la politique évaluée.

En ce sens, il n'existe pas de « bonnes méthodes » en évaluation. La qualité de l'évaluation dépendra notamment de la mise en œuvre d'une méthodologie globale :

• pertinente au regard du public interrogé (les acteurs, les bénéficiaires, les partenaires, …);
• permettant de diversifier les points de vue et les discours ;
• permettant une analyse fondée à la fois sur la compréhension et la description fine des phénomènes, et sur leur objectivation, leur hiérarchisation, leur poids pour expliquer les impacts ;
• pour chaque méthode, mobilisant les compétences techniques nécessaires à leur bonne application.