Digitalisierung hilft Evaluierenden

Was sind Ihre Neuerungen in der Evaluierungsarbeit?
Die Evaluierungsarbeit entwickelt sich kontinuierlich. Wir konzentrieren uns auf:

• die Ex-post-Bewertung abgeschlossener Vorhaben,
• die begleitende Evaluierung laufender Vorhaben und
• institutionelles Lernen.

Ersteres ist unser Kerngeschäft seit über 20 Jahren, die anderen beiden Aufgaben wurden punktuell bedient. Hier gehen wir jetzt fokussierter vor.

Wie soll ich mir begleitende Evaluierung vorstellen?
Ein gutes Beispiel ist eine Wasserpipeline, die in Tansania gebaut wird. In einem Korridor von 24 Kilometern um die Pipeline können Dörfer angeschlossen werden. Wenn sie weiter von der Leitung entfernt sind, geht es nicht. Uns Evaluierenden gibt das die Chance, leicht Vergleichsdörfer zu finden. Wir können Menschen befragen, die durch die Pipeline versorgt oder eben nicht versorgt werden. Das zeigt uns präzise, wie die neue Infrastruktur das Dorfleben verändert, indem wir quantitative Daten zu Wassernutzung und beispielsweise Häufigkeit von Durchfallerkrankungen erheben. Daraus kann das Projektmanagement dann nützliche Konsequenzen ziehen. Eine begleitende Evaluierung ist aufwendig, lohnt sich aber, weil sie die Wirkung steigert. Das kann man nur für eine gezielte Auswahl von Vorhaben leisten. In den kommenden Jahren wollen wir zehn bis 20 Vorhaben so unterstützen.

Verändert Digitalisierung Ihre Arbeit?
Digitalisierung ist der Schlüssel für moderne Evaluierungsarbeit. Geodaten zur Analyse von Aufforstungsprojekten beispielsweise. Gemeinsam mit der französischen Agence Française de Développement haben wir das Open-Source-Projekt „MapME“ entwickelt und damit eine Schutzgebietsdatenbank aufgebaut. Auch lassen sich mit der Ausweitung der Mobilfunknutzung in Entwicklungsländern viele Daten leichter sammeln und übermitteln. Die genannten Beispiele betreffen die Vorhaben in unseren Partnerländern, wir nutzen Innovation durch Digitalisierung aber auch für das institutionelle Lernen innerhalb der KfW. Zum Beispiel haben wir alle unsere Evaluierungsberichte aus dem Archiv in eine App programmieren lassen, damit sich dieses Wissen gezielt und schnell abrufen lässt. Wer ein paar Stichworte eingibt, erhält sofort Auskunft über frühere Evaluierungen, von der Zusammenfassung der wichtigsten Erkenntnisse bis zu Detailauswertungen. Ein enorm nützliches Tool. Der Programmieraufwand war hoch und hat ein Jahr gedauert, ab Oktober steht die App allen Mitarbeitenden der KfW Entwicklungsbank zur Verfügung.

Wird die App auch öffentlich zugänglich sein?
Mittelfristig ist das geplant, aber zunächst muss sie intern flächendeckend im Einsatz sein. Selbstverständlich nutzen wir digitale Technik auch in unserer Öffentlichkeitsarbeit. Unseren aktuellen Evaluierungsbericht mit den Ergebnissen der vergangenen zwei Jahre gibt es in einer Printfassung und einer digitalen Version, die auch Videos und interaktive Landkarten verwendet.

Was ist die Kernerkenntnis dieses Berichts?
Er enthält eine Fülle von Detailinformationen, aber zunächst berichten wir übergeordnet über die Erfolgsquote, also jenen Anteil der Vorhaben, die – in Schulnoten übersetzt – mindestens mit „3“ bewertet wurden. Diese Quote liegt bei 86 Prozent. Das bedeutet nicht, dass es keine Schwachstellen gäbe. Die Durchschnittsnote der Vorhaben liegt bei 2,8. Sie variiert von Sektor zu Sektor und beträgt bei Wasservorhaben 3,1.

Diese Erfolgsquote finde ich weder überraschend noch überzeugend. Ob Weltbank, GIZ, KfW oder andere Entwicklungsinstitutionen, Evaluierungen bestätigen regelmäßig eine Erfolgsquote um die 80 Prozent. Das wirkt auf Außenstehende fragwürdig.
Ich kann nur für die KfW sprechen. Wir arbeiten seit zwei Jahrzehnten systematisch unter Verwendung internationaler Standards des OECD-DAC, beauftragen unabhängige Einzelgutachter, wenden strenge Methoden an und veröffentlichen alle unsere Ergebnisse. Unsere Arbeit ist transparent und methodisch fundiert.

Trotzdem stößt sie auf Skepsis. Ein Kollege, der lange für die Weltbank und die GIZ gearbeitet hat, erklärte mir einmal, die Erfolgsquote um 80 Prozent sei systemisch begründet. Sie sei hoch genug, um die Legitimität der jeweiligen Organisation nicht infrage zu stellen, aber auch niedrig genug, um Misserfolge zuzugeben.
Als Wissenschaftler sind mir Kritik und Skepsis willkommen. Aber pauschal Ergebnisse anzuzweifeln ist nicht konstruktiv. Wenn eine nützliche Debatte entstehen soll, müssen Sie schon unsere Methoden kritisieren und erläutern, weshalb unsere Vorgehensweise und Daten ungenau sein sollen. Wir arbeiten nach festen, transparent nachvollziehbaren Regeln. Wenn wir damit eine konkrete Erfolgsquote ermitteln, ist diese doch nicht einfach deshalb vermeintlich falsch, weil sie ähnlich ausfällt wie bei anderen Institutionen.

Für Evaluierungen brauchen Sie Unabhängigkeit, wie stellt die KfW diese sicher?
Erstens wird die Leitung der Evaluierungsabteilung extern aus der Wissenschaft rekrutiert, das war auch bei meinen Vorgänger*innen so. Zweitens berichte ich direkt dem Vorstand der KfW Bankengruppe und bin nicht in das operative Geschäft der Entwicklungsbank eingebunden, deren Arbeit ich bewerte. Drittens entscheidet meine Abteilung eigenständig, welche Fragestellungen wichtig sind und welche Vorhaben wir prüfen. Unsere Arbeit kann für die KfW Entwicklungsbank durchaus unangenehm sein, was offensichtlich kritisch bewertete Vorhaben betrifft, für die ja Kollegen verantwortlich sind. Es geht uns aber nicht um Erfolg und Misserfolg, die Relevanz unserer Arbeit ergibt sich aus den konkreten Ergebnissen jeder Evaluierung.

Bitte nennen Sie ein paar davon.
Wir sehen zum Beispiel, dass die Förderung des Finanzsektors funktioniert, wenn Banken in den Partnerländern Kredite zur Verfügung gestellt werden, damit diese kleine und mittelständige Unternehmen unterstützen können. Und dies umso besser, je professioneller die Partnerbanken arbeiten. Im Umkehrschluss heißt das, je nach Entwicklungsstand des dortigen Finanzsektors, dass unsere Partnerbanken selbst noch Rat und Unterstützung brauchen. Ähnlich zeigt sich, dass das Policy-based Lending der KfW Entwicklungsbank grundsätzlich erfolgreich ist. Dabei geht es um Darlehen an staatliche Stellen, die mit uns vereinbarte Politik implementieren. Je intensiver der Austausch mit den Partnern läuft, je genauer die Ziele mit ihnen abgestimmt werden und je präziser die Kriterien formuliert sind, die für die Auszahlung der jeweils nächsten Tranche gelten, desto besser sind die Ergebnisse. Solche Einsichten sind unmittelbar praxisrelevant.

Links
KfW-Entwicklungsbank: Evaluierungsbericht 2019/2020.
https://www.kfw-entwicklungsbank.de/Evaluierungsbericht/

MapMe
https://mapme-initiative.org

Jochen Kluve ist Professor für VWL an der Humboldt-Universität zu Berlin und leitet seit Oktober 2019 die Evaluierungsabteilung der KfW Entwicklungsbank.
jochen.kluve@kfw.de
https://www.kfw-entwicklungsbank.de