Les défis de l'évaluation des programmes humanitaires

Les crises humanitaires - tremblements de terre, résurgence de groupes armés, sécheresse, effondrement de l'État, etc. - peuvent provoquer des souffrances humaines extrêmes et la perte d'innombrables vies. Elles exigent une réponse rapide de la part d'organisations privées, publiques et à but non lucratif afin de sauver des vies et d'atténuer les souffrances intenses. Généralement, la réponse est planifiée rapidement, financée en grande partie et mise en œuvre dans des environnements physiques et sociaux complexes. En tant qu'évaluateur, il est de notre responsabilité d'entrer dans ces situations complexes et ces projets improvisés afin d'utiliser des méthodes basées sur les résultats pour saisir l'impact - à la fois positif et négatif. Il faut un évaluateur expérimenté pour aller au-delà des modèles logiques détaillés, du suivi systématique et des environnements stables pour vraiment comprendre et démontrer les résultats de ces programmes. 

In response to the complex nature of evaluating humanitarian interventions, a UK-based non-profit “Active Learning Network for Accountability and Performance (ALNAP)” published a guide for best practices in performing evaluations for complex humanitarian interventions. Within this guide, ALNAP outlines nine of the main challenges in performing evaluations in these volatile contexts. From these nine challenges, we have identified the top three greatest challenges we have encountered in our work, and innovative methods that we apply to mitigate these constraints 

1. Urgency and Chaos of Humanitarian Interventions

 

Due to the crisis environment of humanitarian interventions, they are usually planned quickly and implemented in a rapidly changing context. This means that planned activities, monitoring tools, and operations are often quite different in reality than as recorded in the project proposal – if there was a proposal at all.  In our experience, there must be a willingness from partners to work in this flexible environment and provide as much contextual information as possible. The recently growing evaluation method “Outcome Harvesting” and RTE (Real time evaluations) can be more effective in these kinds of situations, effectively capturing what happened (through interviews and group discussions) and working backwards to determine activities that contributed to the outcome. We also de-emphasize the importance of consistency in monitoring and consistency of indicators determined at the beginning of the intervention – placing a greater focus on the beneficiaries’ feedback and the positive and negative impacts of the intervention

2. Access to Participants and Data Collection Sites 

 

Enumerator crossing a local bridge during a data collection assignment in The Democratic Republic of Congo.

L'un des seconds plus grands défis que nous avons rencontrés lors de la collecte des données est la capacité à accéder aux participants pour les entretiens avec les informateurs clés et les discussions de groupe. Cependant, nous avons découvert que l'un des plus grands avantages de la numérisation rapide du globe est que nous sommes en mesure d'effectuer efficacement l'échantillonnage, la formation et les entretiens à distance. Lors d'une mission précédente dans une zone de conflit très instable à Masisi, une ville de la province du Nord-Kivu en RDC, nous avons pu utiliser la stratégie d'échantillonnage en boule de neige pour recueillir des données primaires auprès des participants au projet. Dans le cadre de cette stratégie, à la fin d'un entretien téléphonique, la personne interrogée est invitée à fournir les coordonnées d'un autre participant ou d'un informateur clé lié au projet. Tout comme une boule de neige dévalant une colline accumule du volume au fur et à mesure qu'elle roule, nous avons réussi à accéder à un certain nombre de participants au programme dans des zones très peu sûres.
En outre, les endroits isolés et les infrastructures endommagées peuvent constituer un défi lors de la réalisation des évaluations, comme les routes emportées, les ponts endommagés et le manque d'électricité. D'après notre expérience, ces difficultés peuvent être atténuées en planifiant la logistique en partenariat avec la population locale, en prévoyant suffisamment de temps pour le transport et les retards (par exemple, les barrages routiers ou les changements d'itinéraire) et en apportant l'équipement adéquat. En fait, OCI donne la priorité aux affectations dans les endroits où nous avons une équipe préqualifiée de superviseurs, de consultants et de recenseurs sur lesquels nous pouvons compter pour leur connaissance du contexte local, leur adaptabilité et leurs mises à jour en temps réel. Dans notre cas, nous avons constaté que le fait d'apporter un routeur portable évite les retards dus à l'absence de réseau/wifi et que le fait d'apporter une source de charge nous permet de garder les appareils d'enregistrement audio complètement chargés

Environnement tendu et considérations éthiques

Les interventions humanitaires apportent une dimension de tension et de malaise qu'il faut gérer pour recueillir des données de qualité, éthiques et opportunes. Dans certains cas, les évaluateurs formeront des groupes de discussion ou organiseront des entretiens avec des informateurs clés lorsque les personnes ne sont pas disposées à partager des informations, des pensées ou des sentiments. Cette situation peut être exacerbée par des tensions ethniques, politiques, de genre et d'autres groupes.

Key Informant Interview

Notre expérience et nos recherches nous ont permis de découvrir quelques méthodes pour accroître la confiance et minimiser l'impact des tensions au cours du processus d'entretien. La première étape consiste à adopter une stratégie d'échantillonnage intentionnelle pour les groupes de discussion. La désagrégation intentionnelle en fonction du sexe, de l'origine ethnique, de l'appartenance tribale ou du handicap peut soit servir à stimuler la discussion, soit aliéner davantage les minorités. L'évaluateur doit donc connaître le contexte du pays et les tensions entre les groupes. Par exemple, s'il peut être utile de séparer les hommes et les femmes lors d'une discussion sur l'impact de l'égalité des sexes ou de la programmation des moyens de subsistance, il n'est pas forcément utile de séparer les groupes ethniques lors de discussions sur la consolidation de la paix au sein de la communauté. Deuxièmement, il est important de veiller à ce que les participants et l'enquêteur soient en adéquation sur le plan du genre, par exemple en faisant en sorte qu'une femme facilite les dialogues avec les participantes. 

D'une manière générale, l'évaluation des programmes humanitaires peut s'avérer difficile en raison de la nature de la crise ou de la situation d'urgence et de l'urgence avec laquelle les programmes sont conçus. Cependant, il est essentiel de s'assurer que l'aide fournie est efficace et appropriée (entre autres paramètres), et les évaluations sont essentielles pour atteindre cet objectif. En comprenant et en relevant les défis liés à l'évaluation des programmes humanitaires, les évaluateurs peuvent contribuer à améliorer l'impact de l'aide.

Works Cited: 

Buchanan-Smith, M., Cosgrave, J., & Warner, A. (2016)-  Guide d'évaluation de l'action humanitaire. Guide ALNAP. Londres : ALNAP/DOI.