Imaginez ce scénario. 

L'équipe d'évaluation vient d'achever une mission exceptionnellement difficile. Après des semaines de planification, de préparation, de collecte de données et d'analyse, elle a finalisé son rapport de deux cents pages, accompagné de tableaux, de figures et d'annexes. Leurs analyses approfondies ont permis de découvrir des informations longtemps ignorées sur la valeur sociale du projet et de formuler des recommandations fondées sur des données probantes pour permettre à l'organisation d'aller de l'avant. Satisfaite de son travail, l'équipe envoie le produit final à son partenaire. L'équipe de consultants est payée, quelques parties prenantes clés jettent un coup d'œil au résumé et le rapport est classé - pour être oublié. 

 La perte de temps et de ressources décrite dans l'exemple ci-dessus est trop fréquente dans le domaine du suivi et de l'évaluation. Même la méthodologie la plus complète et les résultats les plus novateurs n'ont aucun sens si le rapport est ignoré par les utilisateurs et les participants visés. En fait, ce manque de suivi des rapports de consultation peut entraîner une baisse de la valeur perçue des futures missions de consultation et de la participation des parties prenantes, ces dernières devenant sceptiques quant aux avantages de tels projets. Dans le même temps, l'organisation a gaspillé des ressources, manqué des opportunités de croissance et d'amélioration, ignoré des défis programmatiques potentiels et perdu une occasion d'accroître la satisfaction des parties prenantes. Tant du point de vue de l'organisation que de celui des consultants, ce scénario est perdant. 

 Alors, qui est responsable de l'utilisation, le consultant ou l'organisation contractante ? 

 La responsabilité de l'utilisation est partagée entre le consultant et l'organisation. En premier lieu, il incombe à l'organisation de créer une culture qui valorise les résultats de l'évaluation, utilise les rapports de manière stratégique pour apprendre et s'adapter, et crée des systèmes pour garantir que les rapports sont utilisés comme prévu. Le développement de ce type de culture commence dès le processus de planification stratégique et la conception de programmes qui clarifient la manière dont les conclusions des rapports seront utilisées et les mécanismes spécifiques de suivi de ces rapports. Ainsi, même si l'organisation est confrontée à des défis susceptibles de perturber la culture organisationnelle, comme la rotation du personnel, l'engagement en faveur de l'apprentissage organisationnel et du suivi est intégré dans le système. Un engagement interne en faveur de l'utilisation doit être pris avant et pendant les projets d'évaluation, notamment en identifiant clairement les utilisateurs prévus dans les termes de référence et en assurant la coordination avec le consultant pendant le projet. 

Lorsqu'une organisation est bien équipée pour utiliser les résultats d'une mission de conseil, il devient de la seule responsabilité du consultant de produire un document qui sera utile. Les résultats doivent être présentés de manière claire et adaptée aux besoins des utilisateurs finaux, qu'il s'agisse du gestionnaire du projet, des donateurs ou des participants au projet. Les informations contenues dans le rapport n'ont de valeur que dans la mesure où elles répondent aux besoins de l'organisation, reflètent les idées des parties prenantes et sont compréhensibles pour ces utilisateurs, tout en suggérant des stratégies claires et réalisables pour le suivi. Un exemple qui est récemment devenu viral sur l'internet est le concept de design "fou" derrière l'ancien logo Pepsi, qui comprend des "preuves" pour le concept de design enraciné dans les couches et les champs magnétiques de la terre, le design de la Joconde, et le mouvement de la lumière à travers l'espace et le temps.  Bien que cela ne relève pas du domaine du suivi et de l'évaluation, il s'agit d'un exemple fantastique d'un consultant qui était plus attaché à ses propres idées et à sa propre méthodologie qu'aux besoins des utilisateurs finauxdu point de vue de la valeur, le temps et les ressources investis dans la création de diagrammes des champs magnétiques terrestres et dans leur mise en relation avec le logo Pepsi n'apportent que peu de valeur ajoutée aux chefs de projet et au département marketing.

Comment Octopus Consulting and Insight (OCI) procède-t-il à l'évaluation axée sur l'utilisation ?

Le BEC s'engage à créer des rapports qui peuvent être utilisés par les organisations pour apprendre, innover et se développer. Nous cherchons non seulement à présenter des résultats fondés sur des données probantes, mais aussi à faire en sorte que l'ensemble du projet réponde aux besoins des utilisateurs finaux, en particulier des parties prenantes locales. Parfois, un rapport de deux cents pages avec de nombreuses annexes décrivant un phénomène ou un scénario complexe est nécessaire, comme dans le cas d'un projet de recherche approfondi. D'un autre côté, la plupart des organisations recherchent un rapport qui décrira de manière claire et concise les principaux résultats du processus d'évaluation, en maximisant les graphiques et les visualisations faciles à utiliser qui peuvent être présentés au personnel, aux partenaires, aux donateurs et aux participants locaux au projet. Les éléments de preuve doivent être concrets et clairs, avec des recommandations exploitables, tout en étant courts.

L'évaluation axée sur l'utilisation comporte deux éléments essentiels : (1) l'identification claire des utilisateurs finaux et (2) l'alignement intentionnel sur les besoins des utilisateurs finaux tout au long du processus. L'identification claire des utilisateurs finaux devrait être possible à la lecture des termes de référence, mais peut parfois nécessiter des éclaircissements supplémentaires lors des réunions initiales et d'une discussion rapide avec les principales parties prenantes sur le terrain (voir l'image ci-dessous d'une discussion de groupe avec des femmes en RDC). Les utilisateurs prévus d'un rapport sont plus susceptibles d'utiliser les résultats s'ils ont le sentiment de s'approprier le processus et s'ils sont activement impliqués, ce qui commence pendant le processus initial (réunions et rapport initial). De même, leurs attentes et celles des participants au projet/programme doivent être sérieusement prises en compte. Les utilisateurs visés doivent être au centre des préoccupations lors de l'élaboration des questions d'évaluation, de la conception de la méthodologie, y compris des méthodes d'analyse, et du rapport final. 

FGD avec des femmes en RDC

De plus, Octopus Consulting and Insight connaît les normes d'évaluation des programmes en matière d'utilité, de faisabilité, de propriété et d'exactitude (définies et établies par l'Organisation de coopération et de développement économiques (OCDE)), et s'efforce de respecter et de dépasser ces normes. Les normes d'utilité guident le BEC dans la création de rapports qui répondront et dépasseront les besoins de l'organisation contractante, que ce soit pour un usage interne ou externe. Dès le début, nous donnons la priorité aux discussions sur l'utilisation des rapports, en recherchant des rôles qui contribueront réellement à l'apprentissage organisationnel et au développement des programmes. En fait, un bon rapport peut être fondamental pour développer un système de partage des connaissances sur le programme, qui permettra au programme de devenir une opportunité d'apprentissage pour tous. D'après l'exemple présenté dans l'introduction, il est probable que les principaux utilisateurs de ce rapport étaient des gestionnaires disposant de peu de temps. Si les consultants l'avaient appris lors de leur processus d'alignement initial, ils auraient compris la nécessité d'un rapport beaucoup plus concis. Les besoins d'information des différentes parties prenantes sont différents, tels que les donateurs, les parties prenantes locales du projet, les cadres dirigeants, le personnel de terrain, etc. et doivent être une priorité dans le processus d'évaluation.

Ressources complémentaires

Patton, MQ. (2021) Utilization Focused Evaluation. (Fifth Edition) Sage Publications.