Hammer auf Nagelsuche

Verschiedene Seiten propagieren derzeit die rigorose Wirkungsanalyse mit RCTs. Die prominentesten Ver­treter dürften Abhijit Banerjee und Esther Duflo vom Poverty Action Lab am Massachusetts Institute of Technology (MIT) sein. Welche Vorteile hat dieser Ansatz?
Banerjee, Duflo und andere meinen, dass Studien mit zufällig ausgewählten Kontrollgruppen die Wirkung von Interventionen strenger messen als andere Verfahren. Es geht darum, nach einer Maßnahme Daten von betroffenen Individuen oder Gemeinschaften mit Daten von unbeteiligten Vergleichsgruppen abzugleichen. So soll „kontrafaktisch“ beurteilt werden, was ohne die Interven­tion geschehen wäre. In der internationalen Entwicklungspolitik ist es aber kaum möglich, Zielgruppen in „Behandlungs-“ und „Kontrollgruppen“ zu unterteilen. Es wäre auch unethisch das zu tun, wenn beispielsweise von vornherein klar ist, dass eine Maßnahme Leid erheblich mindert.

Was behagt Ihnen an dem Ansatz sonst noch nicht?
Das Verfahren selbst ist in Ordnung, aber es ist aus mehreren Gründen falsch zu behaupten, nur so seien die Erfolge der Entwicklungspolitik zu messen. RCTs beruhen auf einer zu simplen Vorstellung von Ursache und Wirkung. Letztlich wird nach Rezepten gesucht, die überall funk­tionieren. Es wird selten zugegeben, aber man sucht nach einem „Königsweg“, nach der einen Maßnahme, die meßbare Ergebnisse liefert.

Bitte nennen Sie ein Beispiel.
In einem Fall zeigte ein RCT, das Entwurmen von Kindern sei der kostengünstigste Weg, um Einschulungsraten zu steigern. Es ist klar, dass gesunde Kinder eher zur Schule gehen. Aber bedenken Sie einmal, was außerdem alles nötig ist, damit sie das tun und obendrein noch gut ausgebildet werden. In den meisten Entwicklungsprogrammen geht es um vielschichtige Probleme. Die Rahmenbedingen sind eigentlich nie einfach, sodass es keine Blaupausen oder Standardlösungen gibt. Dennoch werden Millionen von Euros für vermeintlich rigorose Forschungsmethoden ausgegeben, die auf vereinfachte Interventionen herauslaufen. Es ist so, als benutzte man ein teures Mikroskop, wenn eigentlich ein Weitwinkelobjektiv nötig wäre. Es gibt wichtige Reformfelder, wo der Mikroskop-Ansatz Unsinn ist.

Woran denken Sie?
Justizreform ist ein Beispiel. Rechtsstaatlichkeit ist aus vielen Gründen wichtig. Die Marktwirtschaft braucht die Einhaltung und Erzwingung von Verträgen, die Menschenrechte müssen durchgesetzt werden, und eine starke Gerichtsbarkeit kann auch Korruption bekämpfen und Regierungshandeln kontrollieren. Aber Erfolge der Justizreform lassen sich nicht mit RCTs messen, denn die Qualität von Urteilen ist mindestens so wichtig wie deren Menge. Grundsätzlich ist klar, dass viele Entwicklungsprogramme auf bessere Amts- und Regierungsführung abzielen, auf die Einhaltung der Menschenrechte und andere lohnende Ziele, die sich aber alle nur schwer messen lassen. Auch quantitative Vergleiche mit anderen Ländern oder Kontexten führen bei diesen Dingen kaum dazu, dass Erfolg direkt einer einzelnen Durchführungsorganisation zugeschrieben werden könnte.

Andere Evaluierungsmethoden sind also nicht obsolet geworden?
Nein, auf keinen Fall. Angesichts der Komplexität der realen Welt und der Vielfalt der Entwicklungspolitik können wir uns nicht einfach auf einen Ansatz oder eine Methode beschränken. Das wäre so, als lernte man einen Hammer zu gebrauchen und suchte dann nach Nägeln. Andersherum wird ein Schuh draus. Professionelle Gutachter brauchen vielfältige Instrumente für diverse Szenarien. Und sie müssen wissen, wie sie diese Werkzeuge für den jeweiligen Zweck sinnvoll kombinieren.

Es heißt immer wieder, dass Durchführungsorganisationen ihre Arbeit zu oft selbst evaluieren, was den Berichten anzumerken sei. Zudem scheinen ihre Daten nicht immer sonderlich belastbar.
Extreme sind schlecht. Am einen Ende des Kontinuums wird die Selbstevalua­tion zum Selbstzweck. Die Organisationen wollen den Eindruck vermitteln, sie seien erfolgreich, damit sie weiter finanziert werden. Aber auch das andere Extrem – extern aufgezwungene Gutachten, die streng nach Ursache und Wirkung fragen, aber nicht berücksichtigen, unter welchen Bedingungen ein komplexes Programm implementiert wurde – ist keine Lösung. Ideal ist es, auf dem Kontinuum dazwischen Evaluierungen so anzulegen, dass das Erreichen von Zielen objektiv belegt wird, zugleich aber auch institutionelles und praxisnahes Lernen ermöglicht. Wissen Sie, Evaluierer kämpfen immer mit immensen Herausforderungen. In unserem Buch RealWorld Evaluation und entsprechenden Workshops zeigen wir aber, dass trotzdem zuverlässige, glaubwürdige und nützliche Evaluierungen möglich sind.

Was können die Durchführungsorganisationen tun, um aussagekräfti­gere Evaluationen zu ermöglichen?
Es wäre gut, von Anfang an Evaluationspläne zu entwickeln, die auf den gesamten Projektverlauf zugeschnitten sind und auch die Ausgangsbedingungen dokumentieren. Wenn eine Organisation Maßnahmen konzipiert, sollte sie alle relevanten Daten dazu sammeln. Auf dieser statistischen Basis können Gutachter später Veränderungen feststellen. Es wäre aber auch wichtig, Maßnahmen so zu konzipieren, dass logisch klar formuliert wird, welche Ergebnisse und Auswirkungen erwartet werden und woran sich Erfolg oder Misserfolg ablesen lassen.

Wie kann man das institutionelle Eigeninteresse in den Griff
bekommen?
Da sind wir dran. Jeder sieht ein, dass ein externer Gutachter unabhängig sein muss – zumindest in der Theorie. Ein wichtiges Mittel ist, die Evaluierer ihre Berichte an das Management oder die Aufsichtsgremien liefern zu lassen, aber nicht an die­jenigen, die Maßnahmen geplant und durchgeführt haben. Freiberufliche Gut­achter sind auch eine Option, allerdings müssen sie sehr gut qualifiziert und so gut im Geschäft sein, dass sie nicht von einem einzigen Auftraggeber abhängen. Sonst können sie nicht objektiv oder gar kritisch berichten, sondern werden versuchen, irgendwelche Erfolge nachzuweisen, um sich den nächsten Auftrag zu sichern. Ihre Bundesregierung geht einen interessanten Weg. Statt sich nur auf die Berichte der Durchführungsorganisationen zu verlassen, richtet sie ein unabhängiges Evaluierungsinstitut ein. Letztlich wäre es auch sinnvoll, auf Experten aus Entwicklungsländern zu hören, denn sie kennen die Geschichte ihres Landes und wissen, was andere entwicklungspolitische Akteure dort treiben. Auf http://www.IOCE.net gibt es Adressen von Verbänden von professionellen Gutachtern, die sich bei Bedarf kontaktieren lassen.

Es scheint manchmal, Evaluierung sei eine Obsession der Geber.
Das Interesse an Evaluation seitens der Regierungen der Entwicklungsländer nimmt definitiv zu. Früher glaubten viele afrikanische Politiker, ihr persönliches Verständnis von Land und Programmen reiche völlig. Mittlerweile begreifen aber immer mehr Regierungen, dass es hilfreich wäre, mehr über die Folgen bestimmter politischer Maßnahmen und Programme zu erfahren. Dieses neue Interesse verdient Unterstützung. Das ist ein wichtiges Anliegen der EvalPartners-Initiative, was Sie auf unserer Website http://www.mymande.org/evalpartners nachlesen können.