Toolbox Evaluation & Impact Assessment

Using Big Data for Evaluating Development Outcomes: A Systematic Map

Francis Rathinam, Sayak Khatua, Zeba Siddiqui, Manya Malik, Pallavi Duggal, Samantha Watson, Xavier Vollenweider

Centre of Excellence for Development Impact and Learning (CEDIL) (2020), vi, 104 pp.

"Spatially and temporally relevant ‘big data’ that does not require data collection in the field has the potential to provide insights into people’s economic, social, behavioural and political lives, and hence could be used in measuring key development outcomes. Big data consists of humangener ... more

Measuring Results and Impact in the Age of Big Data: The Nexus of Evaluation, Analytics, and Digital Technology

Pete York, Michael Bamberger

Rockefeller Foundation (2020), ix, 72 pp.

How to perform impact assessments: Key steps for assessing communication interventions [Arabic]

James Dennison

International Centre for Migration Policy Development (ICMPD);EUROMED Migration (2020), 26 pp.

Comment réaliser des évaluations d’impact : étapes clés pour évaluer les actions de communication

James Dennison

International Centre for Migration Policy Development (ICMPD);EUROMED Migration (2020), 30 pp.

"Ce rapport réunit une terminologie hétérogène, des conclusions et des recommandations émanant des secteurs privé et public et du monde universitaire pour définir un ensemble de cinq étapes générales à suivre par les professionnels lors de la réalisation d’une EI. L’EI compare une va ... riable étudiée après une action (par ex. une campagne de communication) à ce qu’elle serait si cette action n’avait jamais eu lieu. Accompagnant chacune des cinq étapes, nous présenterons des exemples de la façon dont les communicants en migration peuvent évaluer l’impact des campagnes pour, d’abord, modifier les attitudes et, ensuite, changer les comportements. Étape 1 : Fixer des objectifs pour l’action qui définissent l’effet souhaité. Dans l’idéal, ils devraient (1) correspondre aux critères SMART : spécifique, mesurable, atteignable, pertinent et temporellement défini; (2) se concentrer sur les résultats finaux, plutôt qu’uniquement sur les produits; (3) éviter certaines erreurs courantes dans la définition des objectifs et (4) déterminer de façon aussi spécifique que possible l’identité du public cible. Étape 2 : Identifier une mesure de l’impact ou des impacts de l’objectif de l’action. Ces impacts devraient être (1) clairement définis et non ambigus; (2) valides d’un point de vue externe (ils restent fiables s’ils sont utilisés pour d’autres actions) et (3) valides d’un point de vue interne (ils mesurent ce qu’ils prétendent mesurer). Il existe déjà de longues listes de mesures (également connues sous le nom d’indicateurs) parmi lesquelles il est possible de choisir. Étape 3 : Estimer ce qui se serait passé si l’action n’avait pas eu lieu, ou situation « contrefactuelle ». Idéalement, mais pas nécessairement, cela implique la réalisation de mesures en amont de l’action, également connues sous le nom d’évaluation de base. Néanmoins, ce n’est pas toujours possible. Cela ne devrait pas dissuader les professionnels, en revanche, les hypothèses relatives aux EI devraient faire l’objet d’une discussion ouverte, comme évoqué ci-dessous. Une longue liste de méthodes de mesure, y compris des considérations liées à l’échantillonnage, sont fournies. • Étape 4 : Réaliser l’action. Cela peut impliquer de séparer un échantillon aléatoire en un ou plusieurs groupes traités, qui font l’objet de l’action/des actions, et un groupe témoin, qui n’en fait pas l’objet. Si cela n’est pas faisable, d’autres formes de situations contrefactuelles sont possibles pour « construire » un groupe témoin. Cette section aborde également : (1) les types de campagnes de communication; (2) la check-list MINDSPACE d’influences comportementales pour les actions; (3) les recommandations clés portant sur les actions persuasives issues des travaux précédents de l’ICMPD; (4) les recommandations relatives aux campagnes de dissuasion de la migration irrégulière. • Étape 5 : Mesures et analyses en aval de l’action : (1) ceux qui ont bénéficié de l’action doivent faire l’objet de mesures en aval de l’action (idéalement dans le cadre un groupe témoin authentique ou construit); (2) l’impact doit être calculé : généralement la différence entre la variable étudiée en amont et en aval de l’action et/ou entre le groupe traité et témoin; (3) réflexion théorique sur les raisons et les aspects précis de la campagne qui ont causé un impact; les conclusions sont-elles transposables ?; (4) création (et, dans certains cas, incorporation) de recommandations basées sur la combinaison de l’impact et des réflexions théoriques." (Résumé) more

The Key to Evaluation: 10 Steps. "Evaluiert" in Brief

Zollikofen: Swiss Federal University for Vocational Education and Training (SFUVET) (2020), 23 pp.

"In this brochure – and in the ‘evaluiert’ textbook to which it refers – evaluation is understood as a scientific service that describes and valuates objects of evaluation (especially programmes and measures) for clarified purposes and on the basis of justified criteria. Moreover, the valuat ... more

External Link (9)

Aggregation and Summarisation

Nigel Simister

INTRAC (2019), 7 pp.

"CSOs sometimes need to summarise or aggregate information across multiple interventions. This can be a difficult and challenging task, especially for large non-governmental organisations (NGOs) working in many different countries and/or sectors. Summarisation and aggregation can be achieved through ... more

Google Scholar (8)

Program Evaluation: Methods and Case Studies

Kenneth J. Linfield, Emil. J. Posavac

New York: Routledge, 9th ed. (2019), viii, 333 pp.

"This text provides a solid foundation in program evaluation, covering the main components of evaluating agencies and their programs, how best to address those components, and the procedures to follow when conducting evaluations. Different models and approaches are paired with practical techniques, ... more

Attributing Development Impact: The Qualitative Impact Protocol (QuIP) Case Book

James Copestake, Marlies Morsink, Fiona Remnant

Practical Action Publishing (2019), xv, 275 pp.

The Effectiveness of Using Entertainment Education Narratives to Promote Safer Sexual Behaviors of Youth: A Meta-Analysis, 1985-2017

Victor Orozco-Olvera, Fuyuan Shen, Lucie Cluver

Plos One, volume 14, issue 2: e0209969 (2019), 14 pp.

"Risky sexual behaviors are associated with the transmission of sexually transmitted infections (STIs) and unwanted pregnancies, both major health concerns for youth worldwide.This review studies the effectiveness of narrated mass media programs in promoting safer sexual practices among youth in dev ... more

Guía de Evaluación con Participación

San José: Ministerio de Planificación Nacional y Política Económica (2019), 61 pp.

WorldCat (9)

Public Diplomacy: Messung, Entstehung und Gestaltung von Landesimages

Diana Ingenhoff, Alexander Buhmann

Köln: Herbert von Halem Verlag (2019), 269 pp.

"Diana Ingenhoff und Alexander Buhmann führen in den aktuellen Forschungs- und Wissensstand zu Public Diplomacy und insbesondere zu Landesimages ein. Sie reflektieren dabei Fragen der Messung, Entstehung und Gestaltung von Landesimages und geben Antworten auf die folgenden Leitfragen: Welche Aspekt ... more

Google Scholar (9)

WorldCat (8)

Being an Evaluator: Your Practical Guide to Evaluation
Key Guidance

Donna R. Podems

New York; London: Guilford Press (2019), xvi, 368 pp.

"Demystifying the evaluation journey, this is the first evaluation mentoring book that addresses the choices, roles, and challenges that evaluators must navigate in the real world. Experienced evaluator and trainer Donna R. Podems covers both conceptual and technical aspects of practice in a friendl ... more

Outcome Harvesting: Principles, Steps, and Evaluation Applications

Ricardo Wilson-Grau

Charlotte, NC: Information Age Publishing (2019), xxvii, 232 pp.

"Beginning in 2002, working closely with co-evaluators and commissioners of evaluations, the author developed Outcome Harvesting to enable evaluators, grant makers, and managers to identify, formulate, verify, and make sense of changes that interventions have influenced in a broad range of cuttingâ ... more

Evaluation: A Systematic Approach
Key Guidance

Peter H. Rossi, Mark W. Lipsey, Gary T. Henry (eds.)

Los Angeles et al.: Sage, 8th ed. (2019), xviii, 342 pp.

"Evaluation: A Systematic Approach is the best-selling comprehensive introduction to the field of program evaluation, covering the range of evaluation research activities used in appraising the design, implementation, effectiveness, and efficiency of social programs. Evaluation domains are presented ... more

External Link (8)

Systemic Evaluation Design: A Workbook

Bob Williams

[author] (2019), 55 pp.

"Systemic evaluation design continuously addresses six questions: 1. What are the intervention purposes? 2. What is the scope and focus of the intervention and evaluation? 3. What ought to be the consequences of the evaluation and what evaluation purposes promote those consequences? 4. What are the ... more

External Link (7)

Google Scholar (8)

Evaluations and Impact Assessments in Communication for Development

Lauren Kogen

In: Handbook of Communication for Development and Social Change

Jan Servaes (ed.)

Singapore: Springer (2019), 17 pp.

"Within the development field, project evaluations and impact assessments are essential. Donors are increasingly requiring rigorous evaluations in order to (1) ensure that aid dollars are spent on projects that are having positive impacts and not being wasted on projects that are ineffective and (2) ... more

News Organizations Safety Self-Assessment

Acos Alliance (2019), 7 pp.

"The News Organizations Safety Self-Assessment provides a tool for news outlets to review and improve safety practices and protocols that affect the newsroom and journalists out in the field. The Self-Assessment should help news organizations to identify and better understand their own weaknesses an ... more

UNESCO’s Internet Universality Indicators: A Framework for Assessing Internet Development
Key Guidance

David Souter, Anri van der Spuy

Paris: UNESCO (2019), 198 pp.

"The four principles identified as key to Internet Universality are summarised as the R-O-A-M principles, and are fundamental to the development of the Internet in ways that are conducive to achieving the Sustainable Development Goals with no one left behind. These principles are: R – that the int ... more

El buen-convivir y bien-transformar en la comunicación: Sistematización de prácticas innovadoras para el Buen Vivir

Adalid Contreras

Quito: Signis América Latina y Caribe (2019), 204 pp.

"Hemos estructurado el documento en tres grandes partes. La primera es una lectura del Vivir Bien / Buen Vivir desde las prácticas de las experiencias sistematizadas. Es un esfuerzo por conceptualizar la Comunicación para el Vivir Bien / Buen Vivir desde las prácticas vividas. Siguiendo las narra ... more