Evaluierung 2.0

Die Rechenschaftspflicht gegenüber Steuerzahlern wird für die staatliche Entwicklungshilfe (Official Development Assistance – ODA) immer wichtiger, sagt Jan Tobias Polak von der Austrian Development Agency. Steuerzahler können diese Leistungen nicht direkt prüfen – anders als beispielsweise bei Gesundheitsleistungen im eigenen Land. Daher sind Evaluierungsergebnisse hilfreich. Intern sind Evaluierungen für Organisationen aber vor allem Instrumente zum Lernen.

Im Sinne der Agenda 2030 wäre es wünschenswert, dass die Partner in den Entwicklungsländern zukünftig selbst die Arbeit der Geber evaluieren. Allerdings betont Jörg Faust vom Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval), dass ODA noch sehr gebergetrieben sei. Er vermutet kurzfristig eher eine Zunahme der Konkurrenz um Evaluierungsaufträge durch Thinktanks, Universitäten und externe Gutachter, wie er auf einer Veranstaltung Ende Mai zum Thema „Zukunft der Evaluierung“ bei der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) in Bonn darlegte.

Faust sieht zudem ein strukturelles Problem, da Organisationen wenig Bereitschaft zeigten, mehr Geld in Evaluierungen zu investieren. Dabei haben Evaluierungen erst einen strategischen Nutzen, wenn sie vergleichbar sind und nicht nur einzelne Programme unter die Lupe nehmen. Auch Begleitforschung von Universitäten ist kostspielig, sodass Organisationen häufig ihre eigenen Evaluierungen vorziehen – deren Ergebnisse aber nicht immer objektiv sind.

Die Experten streiten sich heute weniger um die richtigen Methoden als noch vor einigen Jahren. Von rigoroser Wirkungs­analyse mithilfe von Randomized Control Trials (RCTs), in denen Kontrollgruppen zufällig ausgewählt werden, bis hin zu qualitativen Methoden, wie beispielsweise Gruppendiskussionen, werden unterschiedliche Methoden für unterschiedliche Situationen verwendet. Aktuell sind es eher die äußeren Umstände, die die Evaluierer vor neue Fragen stellen: Wie wird die Digitalisierung Evaluierung verändern? Können Standard-Evaluierungen auch in fragilen Kontexten angewendet werden?

Gerade beim Thema Digitalisierung ist noch nicht klar, wie die Veränderungen aussehen werden. Eine Möglichkeit ist, dass die Methoden gleichbleiben, aber beispielsweise Interviews zukünftig vermehrt über digitale Anwendungen wie Skype geführt werden. Das ist vor allem in Konfliktregionen hilfreich, in die Reisen zu gefährlich sind. Ein anderes großes Thema ist Big Data, also große zum Teil automatisch generierte Datenmengen, die mithilfe digitaler Technologien gesammelt und gespeichert werden (zu den Risiken von Big Data siehe Beitrag von Monika Hellstern in E+Z/D+C e-Paper 2018/07, S. 8, und Martin Noltze und Sven Harten in E+Z/D+C e-Paper 2017/07, S. 16). Diese könnten in Zukunft ganz andere Schlüsse über die Veränderungen von Mensch und Umwelt zulassen und eines Tages sogar Fragebögen ersetzen.

Interessant ist auch die Frage, ob sich Evaluierungen an die veränderten Rahmenbedingungen in der Entwicklungshilfe anpassen werden. Es gibt immer mehr Projekte in fragilen Staaten, und ODA soll zunehmend auch kurzfristig auf aktuelle politische Krisen reagieren – ein Beispiel ist die Bekämpfung von Fluchtursachen. Laut Ricardo Gómez von der GIZ haben die Planer aber grundsätzlich die Verantwortung, die Projekte an die jeweiligen Umstände anzupassen und mit den Auftraggebern über die Risiken zu sprechen.

Ein wichtiges Stichwort ist Transparenz. Bei Programmen, die schnell Wirkungen erzielen sollen, können projektbegleitende Evaluierungen interessant sein, um Politiker zu informieren und die Projektsteuerung zu verbessern. Generell werden laut Gómez aber auch in Zukunft Projekte aus Effizienzgründen eher am Ende evaluiert werden.