Neue Wege

Wenige Jahre vor der Ziellinie der Millenniums-Entwicklungsziele (MDGs) 2015 besteht die Herausforderung nicht nur darin, die nötigen Ressourcen zum Erreichen bereitzustellen, sondern auch die Ergebnisse zu messen. Es gibt aber unendlich viele kausale Wirkungszusammenhänge. Bemühungen, Wirkungen präzise zu erfassen, scheitern meist an der „Zuordnungslücke“: Oft lässt sich nicht eindeutig sagen, ob ein bestimmter Input ein bestimmtes Ergebnis bewirkt hat. Es ist nicht einmal selbstverständlich, dass eine entwicklungspolitische Maßnahme überhaupt eine positive Wirkung zeigt.

Leider hat Evaluierung in Deutschland bislang keinen allzu guten Ruf. ­Zu Recht wird über „impressionistische Erfolgs- oder Misserfolgsmeldungen“ geklagt, die eher Vorurteile bestätigen, statt entwicklungspolitisches Lernen zu befördern. Oft besteht auch der Verdacht, Evaluationen würden vor allem dem Selbstdarstellungsinteresse der Auftraggeber dienen.

Mehr Klarheit ist nötig – und möglich. Eine Methode dafür ist die Wirkungsevaluierung, das ist eine robuste Untersuchung mit Vergleichsgruppen, um Kausalzusammenhänge festzustellen. Solche Wirkungsanalysen stellen die Frage: Was wäre ohne eine bestimmte Maßnahme geschehen? Um das zuverlässig beantworten zu können, wird die Zielgruppe mit einer Kontrollgruppe verglichen – vor der Intervention, nach der Intervention und dann, wenn sich die Wirkungen entfalten konnten.

Andere Einflüsse werden dadurch kontrolliert, dass die Einteilung in Gruppen nach dem Zufallsprinzip erfolgt. Auf diese Art und Weise können Wirkungen kausal einer Maßnahme zugeordnet werden. Dabei werden die üblichen quantitativen und qualitativen Forschungsmethoden angewandt, die miteinander kombiniert und von Theorien und Hypothesen geleitet werden. So müssen Annahmen über Wirkungspfade formuliert werden, die im Folgenden überprüft werden können. Das
bedeutet auch, dass vor Beginn jeder Intervention gründlich überlegt werden muss, welche Folgen – etwa im Sinne der Reduzierung von Armut – erhofft werden oder zumindest zu erwarten sind. Solche Armuts-Auswirkungsanalysen sind bisher leider keine Selbstverständlichkeit.

Auf der Basis der Analyse kontrafaktischer Situationen können Evaluierer der Politik dann qualifizierte Empfehlungen geben, welche entwicklungspolitischen Maßnahmen zu den bestmöglichen Ergebnissen führen. Kennzeichnend für die Wirkungsevaluierung ist also einerseits ihre Theoriebasiertheit und andererseits ihre Politikrelevanz.

Solide Wirkungsevaluierung ist nur möglich, wenn sie den Kontext der Intervention berücksichtigt und schon bei deren Planung mitkonzipiert wird. Darüber hinaus sind entwicklungstheoretische Kompetenz, Erfahrung in der Entwicklungszusammenarbeit sowie die Kenntnis des konkreten Kontextes erforderlich.

Vom Ende her denken

Eine besondere Eigenschaft der Wirkungsevaluierung ist, dass sie dazu zwingt, vom Ende her zu denken. Dafür müssen Projekt- und Programmplanung von vornherein an Wirkungen ausgerichtet, Kon­trollgruppen identifiziert, Baselines erhoben und die erforderlichen Surveys durchgeführt werden.

Der Aufwand lohnt sich. Wirkungsevaluierungen nehmen nicht nur kleinteilige Effekte, sondern breitenwirksame Strukturveränderungen in den Blick. Sie sollten daher auch auf komplexe Interventionen wie Programme-based Approaches (PBA) und programmorientierte Gemeinschaftsfinanzierungen (PGF) angewendet werden. Gemeinsame Evaluierungen im Auftrag mehrerer Geber sind hier besonders sinnvoll. Wirkungsevaluierungen untersuchen außerdem nicht nur, was erreicht wurde, sondern identifizieren zugleich förderliche und hinderliche Faktoren. Sie produzieren somit die erforderlichen Aussagen, um Entwicklungszusammenarbeit laufend zu verbessern (siehe Kasten).

Wirkungsevaluierungen können ferner nicht nur quantitative Wirkungen feststellen, sondern auch qualitative Aspekte erfassen (Trinkwassergüte, die Leistungsfähigkeit von Gesundheitsversorgung und Bildungsangeboten etc.). Das ist für entwicklungspolitische Zielsetzungen (wie etwa MDG-Folgeabkommen mit hoffentlich besseren Zielen und Indikatoren) von großer Bedeutung.

Wirkungsorientierte Ansätze haben weitere Vorzüge:
– Sie entsprechen dem expliziten Wunsch der Entwicklungsländer nach mehr Policy Space und stärken deren Eigenverantwortung.
– Sie stellen die Menschen in den Mittelpunkt, deren Wohlbefinden, Bildung, Gesundheit usw. die zentralen Parameter sind.
– Sie klären Verantwortung und ersetzen damit die vorherrschende „organisierte Unverantwortlichkeit“.
– Sie erhöhen die Effektivität dadurch, dass Wirkungen den Prozess steuern und nicht der Mitteleinsatz als solcher im Vordergrund steht.
– Sie reduzieren Transaktions- und andere Kosten und erhöhen so die Effizienz.
– Sie ermöglichen es, aus Erfahrungen präzise Lehren zu ziehen.
– Sie können durch evidenzbasiertes Wissen neues Vertrauen in die Entwicklungspolitik schaffen.

Eine neue Evaluierungskultur

Die Entwicklungspolitik braucht eine neue Evaluierungskultur. Entscheidungen können und sollen via Wirkungsevaluierungen auf zuverlässigen Recherchen basieren, die aufzeigen, was funktioniert und was nicht, statt auf Grundlage von Moden oder subjektiven Meinungen und Vorlieben von Einzelnen, Institutionen oder Lobby-Gruppen. Es spricht also vieles dafür, eine Qualitätsoffensive zu starten, die Wirkungsevaluierungen mehr Bedeutung beimisst.

Verschiedene multi- und auch bilaterale Geber (darunter auch Deutschland) haben sich in Sachen Evaluierung neu aufgestellt oder sind dabei, das zu tun. So bereitet etwa das BMZ ein neues Evaluierungsinstitut vor. Dabei kann sich das BMZ auf diverse Vorarbeiten stützen. Relevant sind vor allem NONIE (Network of Networks Impact Evaluation Initiative), ein Netz, das die Evaluierungsstrukturen der OECD, der Entwicklungsbanken sowie der Vereinten Nationen umfasst sowie bei der Weltbank die DIME (Development Impact Evaluation Initiative) und die IEG (Independent Evalua­tion Group). Im wissenschaftlichen Raum ist unter anderen die International Initiative for Impact Evaluation (3ie) zu nennen.

Nötige Schritte

Im Zuge der Neustrukturierung entwicklungspolitischer Evaluierung kommt es konkret auf das Folgende an:
– Etablierung von Wirkungsevaluierung als best oder zumindest good practice,
– Weiterentwicklung sowie Mix von quantitativen und qualitativen Instrumenten, Methoden und Ansätzen,
– Ermöglichung von Wirkungsevaluierungen durch entsprechende Ex-ante-­Vorkehrungen in der Projekt- beziehungsweise Programmplanung,
– vermehrte Durchführung von Ex-ante-Armutsauswirkungs-Analysen,
– vermehrte Durchführung von synthetisierenden Reviews, die bereits bestehende Evidenz zu relevanten Sektorprogrammen oder -politiken zusammenführen, sowie
– die Refokussierung auf unsere Partner in Entwicklungsländern, deren Bedarf, Erkenntnisinteresse und Möglichkeiten im Mittelpunkt stehen müssen. Das Aid-Effectiveness-Prinzip der Eigenverantwortung („Ownership“) gilt selbstverständlich auch bei Evaluierungen.

Mit den skizzierten Ansätzen lassen sich Mittel besser nutzen und größere Wirkungen in der Breite erzielen. Sie dienen der Erreichung der Millenniumsentwicklungsziele und stärken die Eigenverantwortung der Entwicklungsländer und der Menschen dort.

Zugleich dürften die neuen Ansätze zu einem bescheideneren Selbstverständnis der Geberinstitutionen beitragen. Sie sind nicht omnipotent, sondern können lediglich einen Beitrag zum Er­reichen von Wirkungen leisten. Die Hauptrollen spielen dabei vor allem Staat, Zivilgesellschaft und Privatwirtschaft in den Entwicklungsländern.