Outils d'aide

CIRAD - Méthodologie ImpresS Ex Post

CIRAD - Impress ex post, un outil méthodologique au service de la recherche agronomique dans les pays du sud.

> Depuis dix ans, le CIRAD s’engage dans une culture de l’impact au travers d’une démarche dénommée ImpresS*.
Cet engagement s’appuie sur deux axes complémentaires :

  • un regard sur les expériences passées (ImpresS ex post) ;
  • la formulation de chemins d’impacts lors de la conception d’une intervention de recherche (ImpresS ex ante). 

*ImpresS  pour  IMPact des REchercheS au Sud /  IMPact of RESearch in the South
                        Vidéo (eng.) : https://youtu.be/xS9qHY0l4gc

branche1ImpresS, un outil méthodologique au service de la recherche agronomique dans les pays du sudbranche1 r1

 

La méthode ImpresS Ex Post  compte 5 phases 

  1. Préparation de l'étude de cas
  • Cette phase consiste à délimiter le périmètre de l'étude de cas, à identifier les différents acteurs et projets de recherche et développement impliqués dans l'innovation, à élaborer des hypothèses d'impact à partir du changement attendu de la recherche, et à produire un récit initial de l'innovation qui conduit aux impacts.
  • Concernés : L’équipe d’évaluation
  1. Confrontation avec les acteurs
  • Cette phase consiste à définir et affiner les hypothèses avec les acteurs en précisant le récit de l'innovation et la nature des impacts.
  • Concernés : L’équipe d’évaluation + Tous les acteurs majeurs, influents et impactés.
  1. Construction du récit de l'innovation et du chemin de l'impact
  1. Caractérisation et de mesure des impacts
  • Cette phase consiste à caractériser et quantifier les impacts de premier niveau (au niveau des acteurs interagissant avec la recherche et/ou ses partenaires) à l'aide d'une méthode multicritères basée sur des enquêtes et/ou des groupes de discussion, et à caractériser et quantifier certains impacts de second niveau à l'aide de diverses méthodes (dont la collecte de données secondaires).
  • Concernés : L'équipe d’évaluation + Acteurs de terrain.
  1. Validation avec les acteurs
  • Cette phase consiste à valider l'ensemble des résultats avec les acteurs, à conclure l'étude (récit de l'innovation, chemin de l'impact, quantification des impacts) et à alimenter une base de données générique pour harmoniser et archiver les données collectées dans chaque étude de cas, pour permettre une analyse transversale des études de cas et pour faciliter la construction ultérieure d'approches ex ante (ou avant le démarrage des projets).
  • Concernés : L’équipe d’évaluation + Tous les acteurs majeurs, influents et impactés.

 

1. Phase de Préparation de l'étude de cas

La phase de préparation de l'étude de cas constitue le point de départ de l'évaluation de l'impact d'une innovation agricole. Cette phase est cruciale car elle permet de poser les bases solides de l'évaluation et d'orienter les étapes suivantes.

Objectifs principaux de cette phase

  • Délimiter le périmètre de l'étude :
    Identifier clairement l'innovation à évaluer, les acteurs impliqués, la zone géographique concernée et la période temporelle à considérer.
  • Identifier les acteurs clés :
    Recenser tous les acteurs ayant contribué à l'innovation et à sa diffusion (chercheurs, agriculteurs, institutions, etc.).
  • Élaborer des hypothèses d'impact :
    Formuler des suppositions préliminaires sur les effets attendus de l'innovation sur les différents acteurs et sur le système agricole dans son ensemble.
  • Construire un récit initial de l'innovation :
    Rédiger une première version de l'histoire de l'innovation, depuis sa conception jusqu'à sa diffusion, en mettant en évidence les étapes clés et les facteurs ayant influencé son développement.

> La qualité de la préparation de l'étude de cas conditionne la réussite de l'évaluation globale.

Une préparation rigoureuse permet :
  • D'orienter les recherches ultérieures :
    En définissant les questions de recherche clés.
  • De faciliter la collaboration avec les acteurs :
    En impliquant les acteurs dès le début du processus.
  • D'augmenter la crédibilité des résultats :
    En assurant une base solide à l'évaluation.
CIRAD ImpresS ex ante - Outils et méthodes de la Préparation d'étude de cas

 

> En résumé, la phase de préparation de l'étude de cas est une étape fondamentale pour comprendre le contexte de l'innovation, identifier les acteurs clés et formuler des hypothèses d'impact. Elle permet de poser les bases d'une évaluation rigoureuse et pertinente.

2. Phase de Confrontation avec les acteurs

Cette seconde phase marque un tournant dans le processus, en passant d'une analyse initiale à une co-construction du récit d'innovation avec les personnes directement impliquées.

CIRAD ImpresS ex post - Confrontations avec les Acteurs

Objectifs principaux de cette phase

  • Affiner les hypothèses initiales :
    Les hypothèses formulées lors de la phase préparatoire sont confrontées aux perceptions et aux expériences des acteurs du terrain. Cela permet de les nuancer, de les compléter ou de les reformuler si nécessaire.
  • Préciser le récit de l'innovation :
    En échangeant avec les différents acteurs, il devient possible de construire une narration plus précise et plus riche de l'innovation, en intégrant les différentes perspectives et en mettant en évidence les mécanismes qui ont conduit à son adoption et à ses impacts.
  • Identifier les impacts potentiels :
    Grâce aux échanges avec les acteurs, de nouveaux impacts peuvent être identifiés, allant au-delà de ceux initialement envisagés. Cela permet d'avoir une vision plus complète des effets de l'innovation.

CIRAD ImpresS ex ante - Etapes de la phase de Confrontation avec les acteurs

> La phase de "Confrontation avec les acteurs" est essentielle pour donner du sens aux résultats de l'évaluation.
Elle permet de s'assurer que l'évaluation est ancrée dans la réalité du terrain et qu'elle prend en compte la diversité des perspectives. En impliquant les acteurs dès le début du processus, on favorise également l'appropriation des résultats et la mise en place d'actions d'amélioration.
CIRAD ImpresS ex ante - Méthodes utilisées pour la Phase de confrontaion avec les acteurs

> En somme, cette phase permet de passer d'une évaluation "descendante" à une évaluation co-construite avec les acteurs du terrain.

3. Phase de Construction du récit de l'innovation et du chemin de l'impact

Cette troisième phase consiste à retracer l'histoire de l'innovation depuis sa conception jusqu'à ses effets sur le terrain, en identifiant les différents acteurs impliqués et les interactions qui ont façonné son parcours.

CIRAD ImpresS ex post - Construction du récit de l'innovation et du chemin de l'impact

Objectifs principaux de cette phase

  • Documenter de manière systématique les différentes étapes de l'innovation,
    en mettant en évidence les moyens (intrants), les produits (sorties) et les résultats (outcomes) obtenus à chaque étape.
  • Mettre en lumière les processus d'apprentissage et les interactions avec les politiques publiques qui ont influencé l'évolution de l'innovation.
  • Établir des relations de cause à effet entre les différentes étapes du processus,
    afin de mieux comprendre les mécanismes qui ont conduit aux impacts observés.
  • Construire un récit cohérent et détaillé de l'innovation,
    qui servira de base pour les analyses ultérieures.
  1. Recueil d'informations et de données auprès de différents acteurs impliqués dans le processus d'innovation (chercheurs, agriculteurs, décideurs politiques, etc.) à travers des entretiens, des analyses de documents, des observations de terrain, etc.
  2. Identification des acteurs clés qui ont contribué à l'émergence et au développement de l'innovation, et de préciser le rôle de chacun.
  3. Etablissement d'une chronologie détaillée des événements clés qui ont marqué l'histoire de l'innovation, depuis sa conception jusqu'aux impacts observés.
  4. Analyse des interactions entre les différents acteurs impliqués, ainsi que les facteurs contextuels (politiques, économiques, sociaux, etc.) qui ont influencé l'évolution de l'innovation.
  5. Identification des mécanismes d'impact par lesquels l'innovation a généré des impacts, en distinguant les impacts directs (sur les acteurs directement impliqués) et les impacts indirects (sur un plus large public).
 CIRAD ImpresS ex ante - Etapes de la Phase de Construdction du récit de l'innovation et du chemin de l'impact
CIRAD ImpresS ex ante - Outils et méthodes utilisées pour la phase de Construction du récit de l'innovation et du chemin de l'impact

> Pour la construction du "Récit de l'innovation et du chemin de l'impact", les outils appropriés sont :

  • un Diagramme de flux qui permet de représenter de manière visuelle les différentes étapes du processus d'innovation et les liens entre les acteurs.
  • une Matrice d'acteurs qui permet de caractériser les différents acteurs impliqués en termes de rôles, d'intérêts et de ressources.
  • une Ligne du temps qui permet de visualiser la chronologie des événements clés.

 

Importance de cette phase :

La construction du récit de l'innovation est essentielle pour comprendre comment les résultats de la recherche agricole se traduisent en bénéfices pour les acteurs du développement. Elle permet d'identifier les facteurs de succès ou d'échec, d'évaluer l'efficacité des stratégies mises en œuvre et d'améliorer les futures interventions de recherche.

> En somme, cette phase fournit une base solide pour l'analyse des impacts et l'apprentissage des leçons tirées des expériences passées. 

4. Caractérisation et de mesure des impacts

Cette quatrième phase vise à évaluer de manière concrète les effets de la recherche agricole sur les différents acteurs et systèmes concernés.

CIRAD ImpresS ex ante - Caractérisation et mesure des impacts

Objectifs de cette phase

  • Qualifier et quantifier les impacts :
    Il s'agit de décrire la nature des changements induits par la recherche (positifs ou négatifs) et d'évaluer leur ampleur.
  • Hiérarchiser les impacts :
    Identifier les impacts les plus significatifs et ceux qui nécessitent une attention particulière.
  • Mettre en évidence les mécanismes causaux :
    Comprendre les liens de cause à effet entre la recherche et les impacts observés.

Pour atteindre ces objectifs, la méthode ImpresS propose une combinaison de méthodes qualitatives et quantitatives :

  • Les Enquêtes & Groupes de discussion permettent de recueillir des données auprès des acteurs directement concernés par la recherche (agriculteurs, entreprises, institutions, etc.). Les questions portent sur les changements observés dans leurs pratiques, leurs revenus, leur qualité de vie, etc.
  • L'Analyse de données secondaires existantes (statistiques agricoles, données économiques, etc.) peut être utilisée pour compléter les informations recueillies par les enquêtes et les groupes de discussion.
  • Des Méthodes multicritères permettent de prendre en compte la diversité des impacts (économiques, sociaux, environnementaux) et de les hiérarchiser.
CIRAD ImpresS ex ante - Etapes du Processus d'évaluation des impacts

Quels sont les types d'impacts évalués ?

Impacts de premier niveau

  • Ces impacts concernent les acteurs qui interagissent directement avec la recherche et/ou ses partenaires. Ils peuvent être économiques (augmentation des revenus, réduction des coûts), sociaux (amélioration des conditions de vie, renforcement des capacités), environnementaux (réduction de l'utilisation de pesticides, amélioration de la biodiversité), etc.

Impacts de deuxième niveau

  • Ces impacts ont un rayonnement plus large et peuvent affecter des systèmes entiers (par exemple, un territoire, une filière). Ils peuvent être mesurés à l'aide d'indicateurs plus agrégés et de données à plus grande échelle.
     
     
CIRAD ImpresS ex ante - Etapes clés du processus de Caractérisation et mesure des impacts

> En résumé, la phase de Caractérisation et de mesure des impacts permet d'évaluer de manière rigoureuse et approfondie les contributions de la recherche agricole au développement. Elle fournit des informations précieuses pour améliorer la conception et la mise en œuvre des projets de recherche futurs.

5. Phase de Validation avec les acteurs

CIRAD ImpresS ex ante - Validation avec les acteurs

Cette dernière phase va permettre

  • De valider collectivement les résultats de l'étude :
    Tous les acteurs impliqués dans le processus d'innovation (chercheurs, agriculteurs, décideurs politiques, etc.) sont invités à se prononcer sur les résultats de l'évaluation. Cela permet de s'assurer que l'analyse réalisée est pertinente et reflète la réalité du terrain.
  • D'affiner le récit de l'innovation et le chemin de l'impact :
    Les retours des acteurs peuvent amener à nuancer ou compléter le récit construit tout au long de l'étude. Cela permet d'obtenir une vision plus précise et nuancée des mécanismes à l'œuvre.
  • De renforcer la légitimité des résultats :
    En impliquant les acteurs dans la validation des résultats, on renforce leur appropriation des conclusions de l'étude et donc sa légitimité.
  • D'alimenter une base de données générique :
    Les données collectées lors de chaque étude de cas sont intégrées dans une base de données commune. Cela permet d'effectuer des analyses comparatives entre différentes études et de dégager des tendances plus générales.

> Principales activités :

  1. Organisation d'un second atelier participatif :
    Cet atelier permet de présenter les résultats de l'étude aux acteurs et de recueillir leurs commentaires.
  2. Conclusion de l'étude :
    A l'issue de cet atelier, un rapport final est rédigé. Il synthétise l'ensemble des résultats de l'étude, notamment le récit de l'innovation, le chemin de l'impact et la quantification des impacts.
  3. Alimentation de la base de données :
    Les données collectées sont saisies dans la base de données générique.
CIRAD ImpresS ex ante - Etapes clès de la Phase de validation par les acteurs 

> Les objectifs de cette base de donnéessont multiples :

  • Harmoniser et archiver les données :
    La base de données permet de structurer et de conserver les données de manière cohérente, facilitant ainsi leur exploitation future.
  • Permettre des analyses transversales :
    En comparant les résultats de différentes études, il est possible d'identifier des facteurs clés de succès ou d'échec, et de dégager des tendances plus générales.
  • Faciliter la construction d'approches ex ante :
    Les données collectées peuvent être utilisées pour concevoir de nouvelles études d'impact ou pour améliorer la conception de projets de recherche.

> En résumé, la phase de validation avec les acteurs permet de garantir la pertinence et la légitimité des résultats de l'évaluation, et de contribuer à la construction d'une base de connaissances sur les impacts de la recherche agronomique dans les pays en développement.

 
Annexe 1.   Mesurer les impacts
 
 

Objectifs de la Mesure des impacts

 CIRAD ImpresS ex post - Ojectifs des Mesures d'Impacts

 

  • Identifier et décrire les changements induits par la recherche, qu'ils soient positifs ou négatifs, directs ou indirects.
  • Mesurer l'ampleur de ces changements, en utilisant des indicateurs pertinents et des méthodes appropriées.
  • Établir un lien de causalité entre les activités de recherche et les changements observés.
  • Analyser comment et pourquoi ces changements se sont produits, en identifiant les facteurs qui ont facilité ou entravé leur réalisation.
  

Méthodes de Mesure des impacts

> ImpresS propose une approche combinant différentes méthodes :

CIRAD ImpresS ex post - Mesurer les Impacts
  • Collecte de données primaires :
    • Enquêtes auprès des bénéficiaires directs et indirects de la recherche.
    • Entretiens avec des acteurs clés (chercheurs, partenaires, décideurs, etc.).
    • Groupes de discussion pour recueillir des informations qualitatives et explorer les perceptions des acteurs.
    • Observation directe des changements sur le terrain.
  • Collecte de données secondaires :
    • Données statistiques nationales ou régionales.
    • Rapports d'organisations de développement ou de projets similaires.
    • Publications scientifiques et études de cas.
  • Analyse des données :
    • Utilisation de méthodes statistiques pour quantifier les impacts et établir des corrélations.
    • Analyse qualitative pour comprendre les mécanismes et les facteurs contextuels.
    • Triangulation des données pour renforcer la validité des résultats.

> Le choix des indicateurs d'impact dépend des objectifs de l'évaluation et des types de changements attendus. Ils peuvent être :

Défis et recommandations

 > La Mesure des impacts est un processus complexe qui peut être confronté à plusieurs défis :

Les 3 principaux défis

  • L'Attribution des impacts :
    Il peut être difficile de distinguer les changements dus à la recherche de ceux qui sont liés à d'autres facteurs (par exemple, les variations climatiques, les politiques publiques, etc.).
  • La Disponibilité des données :
    Les données nécessaires à la mesure des impacts peuvent être rares ou de mauvaise qualité.
  • La Mesure des impacts à long terme :
    Certains impacts ne sont visibles qu'après plusieurs années, ce qui nécessite un suivi dans le temps.
 CIRAD ImpresS ex post - Relever les défis de la Mesure des Impacts

En conclusion

> La Mesure des impacts est une étape essentielle de l'Évaluation des impacts de la recherche agricole pour le développement. Elle permet de comprendre comment et pourquoi la recherche contribue à des changements positifs dans les communautés et de tirer des leçons pour améliorer les pratiques futures.

 
Annexe 2.   Construction d’un Radar des Impacts
 

> Dans le cadre d'ImpresS, l'Évaluation des impacts nécessite de prendre en compte la diversité des domaines concernés (économique, social, environnemental, etc.). 

Pour cela, il est proposé de construire un "Radar" par domaine d'impacts. L'objectif est de visualiser de manière synthétique et graphique les résultats de l'évaluation pour chaque domaine, facilitant ainsi la compréhension des impacts et la communication à leur propos.

Méthodologie

> La construction d'un radar par domaine d'impacts se déroule en plusieurs étapes :

CIRAD ImpresS - Processus de création d'un Radar
  1. Pour chaque domaine d'impact (par exemple, augmentation des revenus agricoles, amélioration de la sécurité alimentaire, préservation de la biodiversité), il est nécessaire de définir des critères d'évaluation pertinents et mesurables. Ces critères doivent refléter les différents aspects de l'impact considéré.
  2. Les données relatives à chaque critère d'évaluation sont collectées et analysées. Il peut s'agir de données quantitatives (par exemple, chiffres de production, rendements, taux de malnutrition) ou qualitatives (par exemple, témoignages d'agriculteurs, études de cas).
  3. Les données collectées sont souvent exprimées dans différentes unités (par exemple, euros, tonnes, pourcentage). Pour pouvoir les comparer et les représenter sur un même graphique, il est nécessaire de les normaliser. Une méthode courante consiste à les convertir en scores allant de 0 à 100.
  4. Le radar est un graphique en forme d'étoile, avec autant d'axes que de critères d'évaluation. Chaque axe représente un critère, et la distance par rapport au centre représente le score normalisé obtenu pour ce critère. Les scores obtenus pour chaque critère sont reliés entre eux, formant une surface polygonale.
  5. Le radar permet de visualiser rapidement les résultats de l'évaluation pour un domaine d'impact donné. Plus la surface polygonale est étendue, plus l'impact est considéré comme positif. Il est important de noter que le radar ne donne qu'une représentation simplifiée de la réalité, et qu'il est nécessaire de prendre en compte les nuances et les limites de l'évaluation (cf. infra).

 

Exemple

> Prenons l'exemple du domaine d'impact "Amélioration de la sécurité alimentaire".

Les critères d'évaluation pourraient être :

  • Augmentation de la production agricole
  • Amélioration de l'accès à l'alimentation
  • Réduction de la malnutrition

Une fois les données collectées et normalisées, un Radar pourrait être construit pour visualiser les résultats obtenus pour chacun de ces critères.

> Échelle de contribution :
        •   " 0 "  =  Nulle
        •   " 1 " Ni nécessaire ni suffisante mais améliore l’impact
        •   " 2 " Nécessaire mais pas suffisante
        •   " 3 "  =  Suffisante

Avantages et limites 

> L'utilisation de radars par domaine d'impacts présente plusieurs avantages :

CIRAD ImpresS ex post - Comment les Radars peuvent-ils être utilisés pour l'analyse d'impacts ?

> Cependant, cette méthode n'est pas exempte de limites :

  • Représentation simplifiée de la réalité, qui peut masquer certaines nuances ou complexités.
  • Dépendance au choix des critères d'évaluation qui est crucial et peut influencer les résultats obtenus.
  • Réduction d'information par normalisation des données qui  doit être réalisée avec précaution.

Conclusion

> La construction de Radars par domaine d'impacts est un outil utile pour visualiser et communiquer les résultats d'une évaluation d'impact. Cependant, il est important de garder à l'esprit les limites de cette méthode et de l'utiliser de manière complémentaire à d'autres outils et analyses.