Rom wurde nicht an einem Tag erbaut

„Management for Results“ ist eines der 2005 in der Pariser Erklärung definierten und in der „Accra Agenda for Action“ (AAA) 2008 be­stä­tigten Prinzipien für effektive Entwicklungszusammenarbeit. Folglich ist Wirkungsmes­sung nicht nur von technischem oder bü­ro­kratischem Interesse. Es geht viel mehr darum, zu analysieren, wie die künftigen Koopera­tionen und ihre Regeln aussehen müssen.

Bisher wurden zwei Studien veröffentlicht, die die Umsetzung der Pariser Erklärung analysieren. Beide (OECD/DAC, 2006, 2008) haben eindeutig gezeigt, dass sowohl Geber- und Entwicklungsländer die Vorgaben gleichermaßen zögerlich umsetzen. Die Studien zeigten eben­falls, dass die Bewertungsverfahren verbessert werden müssen.

Aber was genau bedeutet Bewertung und warum gibt es in diesem Zusammenhang nur wenig Fortschritt? In diesem Artikel verstehen wir Bewertung als Monitoring und Evaluierung. Das sind zwei unterschiedliche Dinge, die in Bezug zueinander stehen. Monitoring bezeichnet die fortlaufende Supervision von Projekten und Programmen. Evaluation hingegen bedeutet eine Bestandsaufnahme ex-ante oder ex-post. Beides gehört in der Regel zu jeder Art der Entwicklungszusammenarbeit. Inzwischen wird aber immer öfter die Frage „Was wurde erreicht?“ gestellt und weniger die Frage „Was wurde getan?“.

Ein öffentliches Gut

Das Center for Global Development (CGD) erörterte in einem einflussreichen Papier (Savedof, Levine und Birdsall 2006), dass zu wenig Geld in die Ergebnisbewertung investiert wird. Tatsächlich spielt vor Ort eine Vielfalt verschiedener Faktoren eine Rolle. Viele Durchführungsorganisationen investieren nicht in die Analyse dieser komplexen Realität und ihren eigenen Einfluss darauf. Sie beschränken sich vielmehr darauf, die Ergebnisse in der unmittelbaren Reichweite ihrer Organisation zu untersuchen.

Das CDG betrachtet Wirkungsanalysen als öffentliche Güter, die für einzelne Organisationen erhebliche Kosten verursachen, aber – sobald sie veröffentlicht sind – auch von anderen zu geringen Kosten genutzt werden. Das ist der typische Grund dafür, dass in öffentliche Güter normalerweise zu wenig investiert wird.

Neben dieser fundamentalen Herausforde­rung gibt es aber auch eine Reihe prak­tischer Probleme bei der Bewertung von Entwick­lungs­erfolgen. Zunächst ist es methodisch immer sehr schwer, Einflüsse auf komplexe Systeme zu messen. Erschwerend kommt hinzu, dass die Datenlage vor entwicklungspolitischen Interventionen oft sehr dünn ist. Manchmal gibt es sogar überhaupt keine Basisdaten, und auch die Monitoring-Daten bleiben begrenzt, wenn sie überhaupt geeignet sind.

Ressourcen bündeln

In der internationalen Entwicklungszusam­men­arbeit gab es einen Trendwechsel von Projekten zu programmbasierten Ansätzen wie Budgethilfen und Korbfinanzierungen. Dabei bündeln verschiedene Geber ihre Mittel, um die Regierung in einem bestimmten Land zu unterstützen. Holvoet und Renard (2007) haben darauf hingewiesen, dass diese Ansätze zu neuen Infor­ma­tionslücken führen. Es gibt immer we­ni­ger Infor­ma­tio­nen darüber, was konkret getan wird und was am Ende herau­skommt. Die Auto­ren räumen ein, dass solche Probleme auch damit zu tun haben, welcher Partner letztlich Verantwortung für welche Aspekte der Wirkungskette trägt.

In den letzten Jahren gab es erfolgreiche Versuche gemeinsamer Evaluationen. Dabei haben verschiedene Geber sich einer be­stimm­ten Thematik angenommen und diese ge­mein­sam analysiert. Überzeugende Beispiele sind etwa die gemeinsame EU-Analyse zur Budgethilfe aus dem Jahr 2006 und die Be­wer­tung der Pariser Erklärung aus 2008 (IDD and Associates 2006, Wood et al. 2008). Beide Studien zeigen, dass koordiniertes und ko­hä­rentes Geberhandeln sehr wertvoll sein kann.

Andererseits betonte das High-Level Forum in Accra den Bedarf an mehr Anlehnung an die Institutionen und Verfahren der Entwicklungsländer („Alignment“). Das gilt auch für die Er­geb­nisbewertung. Wenn arme Länder ihre ei­gene Entwicklung steuern sollen – und das wird grundsätzlich verlangt –, dann müssen auch sie selbst entscheiden, ob sie auf dem richtigen Weg sind. Dement­spre­chend be­to­nen die AAA und die Pariser Erklärung, dass die ländereigenen Systeme genutzt werden müssen.

Örtliche Verfahren und Systeme

Daher war es nur logisch, dass sich die Geber in Accra dazu verpflichtet haben, die statistischen Kapazitäten und Informationssysteme in Entwicklungsländern zu stärken. Damit haben sie indirekt die enormen Herausforderungen in diesem Bereich anerkannt. In vielen Ländern müssen erst die Grundlagen geschaffen wer­den. Man sollte aber auch nicht die Fortschritte außer Acht lassen, die viele Länder bereits bei der Verbesserung der Monitoring-Kapazitäten gemacht haben. Das gilt vor allem in Hinblick auf die Millenniums-Entwicklungsziele.

Eine aktuelle Studie von Mokoro Ltd. (2008) zeigt, dass die Nutzung oder Nicht-Nutzung lokaler Datensysteme weder eine Entweder-oder-Angelegenheit ist, noch allein von den Gebern abhängt. Es gibt viele Möglichkeiten, lokale Daten (etwa Haushaltspläne der Re­gie­rungen, parlamentarische Entschei­dungen, Auftragsvergabe oder Rechnungsprüfung) auf unterschiedlichen Ebenen zu nutzen.

Die Mokoro-Studie bestätigt außerdem den Be­fund von Accra, dass die Geber selbst dann lokale Systeme oft nicht nutzen, wenn sie zuverlässig funktionieren: „Es besteht kaum ein Zusammenhang zwischen der Nutzung lokaler Systeme und der Qualität des öffentlichen Finanz-Managements.“

Die AAA benennt das Ziel, mittels örtlicher Systeme 50 Prozent oder mehr der bilateralen Entwicklungshilfe abzuwickeln. Das darf natürlich nicht geschehen, wenn dafür Fragen der Kapazität und Qualität außer Acht gelassen werden. Es handelt sich aber um einen Schritt hin zu besser fundierter Entscheidungsfindung. Selbstverständlich wollen die Geber dabei so schnell wie möglich vorankommen, aber es sollte klar sein, dass Entwicklungsziele nur erreicht werden können, wenn „Align­ment“ hinreichend kritisch betrieben wird (ECDPM, im Erscheinen).

Nationale Politik kritisch zu begleiten ist eine dauerhafte Aufgabe, die viel Austausch erfordert. Bisher treffen entwicklungspolitisch Verantwortliche Entscheidungen zu oft aufgrund von persönlicher Wahrnehmung und Intuition. Wenn sich das ändern soll, wird es nicht ausreichen, neue Regeln und Verfahren festzulegen. Es wird vielmehr nötig sein, Bewertungsverfahren zu verbessern und sie systematisch in allen Phasen einzusetzen.

Die Erfahrung lehrt, dass die Geber oft unterschiedlicher Auffassung darüber sind, wie die nationalen Strategien der Entwicklungsländer ausgerichtet sein sollen. Es wäre sinnvoll, mehr Erfahrung mit gemeinsamen Bewertungen zu sammeln und das lokale Statistikwesen stärker zu nutzen.

Vielfältige Aufgaben

Ein Papier des European Centre for Development Policy Management (ECDPM) von Carlsson und Engel (2002) betrachtet den Rollenwandel der Gutachter, indem es die verschiedenen Akteure der Entwicklungszusammenarbeit analysiert. Demnach war der typische Gutachter bisher eine „distanzierte Person“ gewesen, „die ähnlich wie ein Forscher gearbeitet hat und versuchte, Wissen zu systematisieren und das Verborgene zu finden“. Inzwischen werden Gutachter dagegen immer mehr zu Prozessvermittlern, deren „wichtigste Fähigkeiten darin bestehen, das Lernen anderer effektiv zu planen und zu organisieren“.

Grundsätzlich dient die Bewertung der Ergebnisse verschiedenen – auch teilweise widersprüchlichen – Zielen. Dazu gehören unter anderen
- Leistungsnachweise für Akteure,
- Öffentlichkeitsarbeit und Geldbeschaffung,
- das Entwickeln von neuen Strategien und
- systematisches Lernen.

Schwierig ist natürlich, dass die an Erhe­bungen beteiligten Akteure unterschiedliche Interessen verfolgen, was sich in der Regel auch auf die Ergebnisse niederschlägt. Mit soliden Methodenstandards und transparentem Bewertungsverfahren ließen sich solche Störungen eindämmen.

Entsprechend gibt es zwei verschiedene Ansätze, um das Bewertungsniveau zu heben. Der erste betont Sorgfalt und methodische Strenge, der andere zielt darauf, Bewertungsprozesse öffentlich zugänglich zu machen, sie inklusiver auszurichten und stärker an ländereigene Systeme anzulehnen. Für die Verbesserung der Effektivität von Entwicklungshilfe sind beide Ansätze relevant. Die Balance zu halten ist schwierig, aber notwendig. Pläne, die auf dem Papier gut aussehen, sich aber ohne externe Expertise nicht umsetzen lassen, bringen nichts.

Interessante Beispiele für Probleme bei der Ergebnisbewertung finden sich im Kontext der EU-Partnerschaften mit Ländern in Afrika, der Karibik und im Pazifik (AKP). Das ECDPM (2008) hat zu diesem Thema schon einige Arbeit geleistet. Die Beziehungen zwischen der EU und den 78 AKP-Ländern sind im Cotonou-Abkommen aus dem Jahr 2000 definiert. Es bekräftigt, dass die AKP-Staaten ihre Entwicklungsstrategien „eigenverantwortlich bestimmen“ sollen, und bestimmt zwei Kategorien von „Akteuren der Kooperation“:
- staatliche Akteure auf lokaler, nationaler und regionaler Ebene sowie
- nichtstaatliche Akteure aus dem Privatsektor und der Zivilgesellschaft.

Das Abkommen sieht spezielle Mechanismen vor, um Projekte des Europäischen Entwicklungsfonds umzusetzen und zu bewerten. Leitprinzipien sind „Co-management“, „Co-decision“ und „Joint Programming“. Der An­hang des Abkommens legt fest, nach welchen Kriterien und zu welchen Zeitpunkten die Leistungen bewertet werden sollen. Verlangt werden jährliche Berichte sowie eine mid-term review und eine end-of-term review.

Die ECDPM hat den Entstehungsprozess der mid-term review des neunten Entwicklungsfonds (Mackie 2007) analysiert und dabei festgestellt, dass sich die Bewertung vor allem darauf konzentrierte, wie die Mittel eingesetzt wurden. Nicht gemessen worden sei dagegen der Fortschritt der nationalen Entwicklung. Außerdem seien die AKP-Staaten nicht in die Bewertung der Resultate aktiv einbezogen worden. Ihre Mitwirkung sei oft auf die Kommentierung von Vorlagen, welche die europäischen Delegationen verfasst hatten, beschränkt gewesen. Außerdem sei die Teilnahme der nationalen Parlamente und zivilgesellschaftlichen Organisationen bestenfalls ad hoc zustande gekommen.

Diese Ergebnisse lassen die Prinzipien Transparenz und Rechenschaftspflicht eher in einem schlechten Licht erscheinen. Auch wenn die Praxis der „mutual accountability“ im Kontext des Cotonou-Abkommens also recht enttäuschend aussieht, sind die grundlegenden Ideen schlüssig. Es ist davon auszugehen, dass in den nächsten Jahren Fortschritte gemacht werden.

Fazit

Arme Länder brauchen Unterstützung bei der Verbesserung der Bewertungskapazitäten (Carden, 2007). Dafür gibt es aber keine schnellen und kurzfristigen Lösungen. Auch auf diesem Feld müssen Geberorganisationen den Wünschen der Entwicklungsländer nachkommen. Wo derlei nicht klar formuliert wird, müssen sich die Geber bewusst machen, dass von außen gesteuerte Ergebnisbewertung die lokale Eigenverantwortung untergraben kann.

Wenn die Hauptakteure sich einig sind, dass Bewertungsprozesse unzureichend bleiben und den vereinbarten Prinzipien nicht ge­nü­gen, müssen sie für genügende Mittel sorgen, um diese Herausforderung anzu­gehen. Auf keinen Fall dürfen die Ansprüche an die Ent­wicklungspolitik herunterge­schraubt werden. Dafür steht zu viel auf dem Spiel. Wenn die Entwicklungspolitik mehr Wir­kung entfalten soll, müssen die Bewer­tungs­methoden besser werden. Das erfordert Zeit – aber Rom wurde auch nicht an einem Tag erbaut.