Zweifelhafte Zahlen

Der Ruf der Entwicklungsorganisationen nach rigorosen Methoden der Wirkungsanalyse ist unüberhörbar geworden. Das „Network of Networks on Impact Evaluation“ (NONIE) und die „International Initiative for Impact Evaluation“ (3IE) arbeiten an der Vereinheitlichung von Evaluierungsverfahren und betonen rigorose Ansätze. Das ist bemerkenswert, denn noch vor wenigen Jahren führten solche Methoden in der Entwicklungspolitik ein Schattendasein. Als „rigoros“ bezeichnen wir experimentelle und ökonometrische Verfahren.

Während experimentelle Verfahren auf Vergleichen zwischen Interventions- und Kontrollgruppen beruhen, werden bei ökonometrischen Verfahren statistische Datensätze analysiert (siehe auch Aufsatz von Jörg Faust auf Seite 14). Beide Ansätze sind an sich sehr verschieden, werden in der Praxis jedoch häufig miteinander kombiniert und weisen auch einige gemeinsame Merkmale auf.

Fraglich ist indessen, ob diese Ansätze uns wirklich weiterbringen. Ihr Vorteil ist, dass das Zuordnungsproblem von Ursache und Wirkung gelöst wird. Die Ursache für einen bestimmten Entwick­lungsfortschritt kann mit Hilfe dieser Methoden benannt und gewichtet werden. Ökonometrische Ansätze haben zudem den Vorteil, dass die Ergebnisse problemlos quantitativ zusammengefasst, also aggregiert werden können.

Rigorose Verfahren haben jedoch auch zahlreiche Nachteile, die man betrachten sollte, bevor man sich für ihre Anwendung entscheidet. Sie können kausale Wirkungen zwar nachweisen, aber nicht erklären, wie diese zustande kommen. Dafür sind zusätzliche qualitative, also erklärende Methoden nötig. Aus rigorosen Verfahren an sich können daher keine Handlungsempfehlungen abgeleitet werden. Dies ist oft inakzeptabel – unter anderem wenn man bedenkt, dass experimentelle Verfahren extrem viel kosten.

Ein weiterer Nachteil liegt in der begrenzten Anwendbarkeit. Experimentelle Verfahren eignen sich eigentlich nur für relativ einfache Entwicklungsmaßnahmen – Impfkampagnen zum Beispiel. Die Ergebnisse solcher Analysen können zwar im Einzelfall sehr wichtig sein, etwa wenn festgestellt wird, dass eine Impfung wirkt. Oft sind sie aber auch trivial, weil sie nur bestätigen, was gesunder Menschenverstand ohnehin vermutet hätte.

In der internationalen Entwicklungspolitik werden Maßnahmen und Zielsysteme aber zunehmend komplexer, sodass die Frage nach Erfolg meist nicht mit Ja oder Nein zu beantworten ist. Bei komplexen Maßnahmen und Zielen ist es aber sehr schwierig oder gar unmöglich, vergleichbare Kontrollgruppen zu bilden. Dies gilt auch für flächendeckende, sehr lange andauernde Programme, Politikberatung oder die Budgethilfe. Die Aussagekraft der Ergebnisse lässt dann zu wünschen übrig.

Ökonometrische Ansätze haben das Kontrollgruppenproblem nicht. Sie sind prinzipiell dann brauchbar, wenn ausreichend große Datensets und Fallzahlen („large N“) vorliegen. Außerdem muss der untersuchte Fortschritt quantifizierbar sein. Bleibt „N small“ oder geht es gar um einmalige Phänomene (etwa die Analyse der Vereinten Nationen) ist mit Ökonometrie indessen nicht viel zu machen.

Zugegebenermaßen hat sich in den vergangenen Jahren viel getan. Es gibt heute Indizes für multidimensionale Phänomene, die früher nicht mit Zahlen beschrieben werden konnten („Governance“, „Human Development“ et cetera). Der Haken ist freilich auch hier, dass kausale Zusammenhänge aufgezeigt, aber eben nicht erklärt werden können. Zudem wird das Bild umso unschärfer, je mehr Faktoren ins Spiel kommen.

Vor allem aber können ökonometrische Ergebnisse nur so valide sein wie die Datensätze, die ihnen zugrunde liegen. Leider ist aber auf Statistiken gerade in Entwicklungsländern oft nicht Verlass – wenn sie denn überhaupt existieren. Daher werden die Daten dann oft mit Hilfe weniger Interviews selbst erhoben. Es handelt sich dann eigentlich um sogenannte „weiche“ Daten. Die Resultate aus ökonometrischen Verfahren er­wecken dann einen völlig übertriebenen Eindruck der Objektivität.

Qualitative Versäumnisse

Trotz solcher Mängel ist der Ruf nach rigorosen Verfahren unüberhörbar laut geworden. Aus unserer Sicht liegt das an Versäumnissen bei der bisherigen Anwendung systematischer qualitativer und partizipativer Designs in der Praxis. Es gibt zwar eine Vielzahl solcher Konzepte (IMA, MAPP, MSC, PIM, PCA unter anderem). Doch entwicklungspolitischer Alltag sind sie nicht geworden.

Ein verbreiteter Kritikpunkt ist, dass diese Methoden zu stark auf die Zielgruppen abstellen, es aber bei den zeitgemäßen Instrumenten der Entwicklungspolitik mehr auf die strukturelle Wirkung ankomme. Dabei wird aber übersehen, dass auch „zielgruppenferne“ Programme auf der Makroebene letztlich für die Bevölkerung gedacht sind. Wenn beispielsweise administrative Dezentralisierung nicht auch positive Folgen für die Bevölkerung hat, ist offenbar etwas verkehrt gelaufen. Also ist die Einbeziehung der Zielgruppe eben doch sinnvoll.

Verfechter experimenteller Verfahren, die sich übrigens meist ganz auf die Bevölkerungsebene beziehen und daher erst recht keine strukturellen Wirkungen nachweisen können, beanstanden zudem, partizipative Evaluationsmethoden würden nur positiv betroffene Zielgruppen berücksichtigen, nicht aber „negativ oder gar nicht Betroffene“. Dieses Defizit lässt sich beheben. Die meisten systematischen qualitativen Verfahren sehen bereits vor, unterschiedliche Stakeholdergruppen einzubeziehen. Die Gruppe der Nichtbetroffenen könnte ebenfalls einbezogen werden, dies ist eine Frage des Aufwands.

Ein weiterer verbreiteter Einwand gegen qualitative Methoden ist, dass die Ergebnisse nicht aggregierbar seien. Viele systematische qualitative Ansätze sehen aber die Bewertung mit Punktesystemen vor, die es dann möglich machen, Einzelerhebungen miteinander zu vergleichen.

Die Kritiker qualitativer Methoden übersehen indes, dass die Einbeziehung von Zielgruppen einen Wert an sich darstellt – und zwar nicht nur, weil Betroffene und Beteiligte die Wirkungen am authentischsten wiedergeben können. Sie sind diejenigen, die die Wirkungen (ob positiv oder negativ) am deutlichsten spüren und die, wenn nötig, Veränderungen auch in die Wege leiten können. Die Zielgruppen sind Subjekte der Veränderung und keine reinen Untersuchungsobjekte, und auch deshalb sollte es eigentlich selbstverständlich sein, sie in die Wirkungsbeurteilung einzubeziehen.

Welches Verfahren letztlich gewählt wird, wird immer davon abhängen, was evaluiert werden soll, wer die Ergebnisse wie nutzen soll, welche Kapazitäten gegeben sind und dergleichen Dinge mehr. Die Methodenentscheidung sollte dabei auf Grundlage der genauen Kenntnis der Vor- und Nachteile der verschiedenen Ansätze recht pragmatisch getroffen werden.

Es ist deshalb zu begrüßen, dass in Kürze eine „Landkarte“ mit zwei Dutzend bewährten, qualitativen, partizipativen und rigorosen Verfahren zur Wirkungsevaluierung der entwicklungspolitischen Praxis erscheinen wird. Die AG Wirkungsanalyse der Deutschen Gesellschaft für Evaluation (DeGEval) hat sie erstellt. Grundsätzlich ist meistens ein begründeter Methodenmix aus qualitativen und quantitativen Elementen zu empfehlen.