\n eins: 09_006_01
Von Wirkungen und Nebenwirkungen

Evaluierung nach der Millenniumserklärung und der Pariser Erklärung

Michaela Zintl

Die Millenniumserklärung als internationaler Kontrakt über gemeinsame Ziele sowie die Pariser Erklärung, die Verfahren regelt, eben diese Ziele zu erreichen, sind nicht ohne Folgen auch für die Evaluierung. Vor allem drei Prinzipien sind von grundlegender Bedeutung, und zwar im Hinblick darauf, was Evaluierungseinheiten tun und wie sie es tun: 1. Wirkungen der Entwicklungszusammenarbeit, und nicht mehr Leistungen stehen auf dem Prüfstand; 2. Harmonisierung, inklusive neuer Instrumente, wird zum durchgängigen Gestaltungsprinzip der Entwicklungszusammenarbeit; 3. gemeinsame Verantwortung von Geber- und Partnerländern gegenüber ihren jeweiligen Bürgern und Parlamenten verlangt neue Perspektiven in Fragen der Transparenz und Erfolgskontrolle. Dieser Beitrag beleuchtet, welche Auswirkungen diese drei Prinzipien auf Evaluierung haben.
 
Angesichts der allgegenwärtigen Diskussion um Wirkungen entsteht der Eindruck, Wirkungsorientierung wäre etwas völlig Neues, in der Entwicklungszusammenarbeit (EZ) bisher nicht Bedachtes. Ein Blick zurück zeigt jedoch, dass Wirkungen schon früh im Zentrum der EZ und auch ihrer Überprüfungen standen. Veränderungen des Projektportfolios haben jedoch Wirkungsuntersuchungen schwieriger werden lassen, die in der Folge zunehmend durch Leistungsnachweise ersetzt wurden: Der Erfolg von Strukturanpassungsmaßnahmen wurde an der Erfüllung von Konditionalitäten gemessen, der von Schulbauten bestenfalls anhand ihre Nutzung, der von Beratung von Forstbehörden anhand von fertig gestellten Handbüchern. Nicht, dass man Wirkungen dabei vergessen hätte – sie wurden bloß nicht ausreichend untersucht, von Ausnahmen abgesehen (vgl. z.B. BMZ 2000 sowie 2005a). Die Fragmentierung von EZ hat diesem Trend Vorschub geleistet, da Wirkungsuntersuchungen oft nicht billig zu haben sind.

Wirkungen – das neue Zauberwort der EZ

Die allseits einsetzenden Veränderungen hin zu wirkungsorientierter Planung und entsprechendem Monitoring schaffen die Voraussetzungen für bessere Belege von Wirkungen. Die Realität ist allerdings komplizierter, als dass damit alle Probleme gelöst wären und wir demnächst mit Zahlen belegen könnten, welchen Beitrag die deutsche EZ zu einzelnen Millennium-Entwicklungszielen (MDGs) geleistet hat. Einige Hinweise sollen dies erläutern. Ausgangspunkt ist dabei die Definition von Wirkungen durch den Entwicklungsausschuss der OECD (DAC 2002). Wirkungen sind danach die „voraussichtlich oder tatsächlich erreichten Effekte von Leistungen einer EZ- Intervention" (outcomes) und die „positiven und negativen, primären und sekundären längerfristigen Effekte einer EZ- Intervention, direkt oder mittelbar, beabsichtigt oder unbeabsichtigt" (impact).

1. Es genügt nicht, nur die Leistung von EZ-Leistungen zu untersuchen. Selbst die Nutzung der Leistung gibt unter Umständen ein unzureichendes Bild: Wenn beispielsweise der Bau von Schulen (Leistung) mehr Kindern die Teilnahme am Unterricht ermöglicht (Nutzung), kann das Bildungsniveau (Wirkung) insgesamt sinken, wenn die Zahl und Qualifikation der Lehrer nicht Schritt hält. Gerade am Beispiel Schule (vgl. die Diskussion um PISA) wird darüber hinaus deutlich, dass manchmal die Bestimmung einer angemessenen Wirkungsebene alles andere als einfach ist (Kenntnisse vs. Kompetenzen).

2. Entscheidend ist die kausale Zuordnung von Veränderungen zu den Leistungen, um von Wirkungen überhaupt sprechen zu können. Wenn mehr Kinder Lesen und Rechnen können, so liegt das vielleicht nicht (nur) an neuen Schulgebäuden, sondern an einer besseren Ausbildung der Lehrer oder der Einführung von Schulspeisungsprogrammen. Wirkungsüberprüfungen müssen daher andere mögliche Einflussfaktoren berücksichtigen, und häufig wird man eher von einem plausiblen Beitrag unserer EZ sprechen können, als von nachgewiesenen Wirkungen.

3. Die nun allseits üblichen Wirkungsketten-Analysen sind hilfreich und sinnvoll – sie reichen jedoch nicht aus. Unbeabsichtigte, zumal negative Wirkungen – nicht nur auf Zielgruppen, sondern auch auf andere Beteiligte – dürfen nicht aus dem Auge verloren werden, ebenso wenig wie Rückkoppelungsschleifen. Evaluation muss daher über den Tellerrand schauen und soziale, ökonomische, politische und ökologische Nebeneffekte beachten.

4. Die Summe der Wirkungen einzelner Projekte ist nicht unbedingt gleich der Gesamtwirkung der EZ. Da man im Zusammenhang mit Projektevaluierung nicht alle Effekte untersuchen sowie positive Synergieeffekte ebenso wie negative kumulative Effekte möglich sind, bedarf es unterschiedlicher und sich ergänzender Herangehensweisen für Untersuchungen. Neben Projekt- und Querschnittsevaluierung gewinnen daher Schwerpunktbereich- und Länderprogrammevaluierungen an Bedeutung.

5. Wir wissen zu wenig über Wirkungen von EZ-Maßnahmen mit dem Ziel des „capacity development". Genau genommen scheint noch nicht einmal klar, was „capacity" insbesondere von Organisationen oder Systemen überhaupt bedeutet. Da ein zunehmender Teil unserer EZ in diesen Bereich fließt, besteht hier Nachholbedarf. Es könnte sich zeigen, dass, entgegen dem derzeitigen Trend, weniger Ergebnisse zählen, sondern dauerhafte Prozesse – aber auch die müssen erfasst und beurteilt werden.

6. Der Nachweis, dass Wirkungen erzielt wurden, ist wichtig – mindestens ebenso wichtig ist jedoch zu fragen, warum Wirkungen erzielt wurden oder warum nicht, um Lehren für die Zukunft ziehen zu können. Das ist vielleicht der wesentliche Unterschied zwischen Evaluation und Monitoring oder Erfolgskontrolle.

7. EZ-Maßnahmen können immer weniger isoliert von Leistungen anderer Geber und vor allem der Partner beurteilt werden. Diese gewünschte Veränderung – weg von „Inseln des Erfolgs" hin zu einer Einbettung in Programme der Partner – erfordert grundsätzliche Änderungen der Herangehensweise von Evaluation.

Die Liste ließe sich noch fortsetzen, jedoch sollte hinreichend deutlich geworden sein, dass es nicht einen Ansatz und eine Methode geben kann, um „Wirkungen der EZ" zu belegen. Ohne Zweifel gibt es noch ein Defizit, Wirkungen durch Evaluation zu belegen – andere Beurteilungskriterien, wie beispielsweise Effizienz und Nachhaltigkeit, dürfen dabei jedoch nicht aus dem Blick verloren werden. Insgesamt ist der Beleg von Wirkungen einzelner Projekte oft nur eingeschränkt möglich, zumal auf der Ebene der MDGs, wenn die Einflüsse vielfältig sind und die Wirkungskette lang ist. Statt für jede EZ- Maßnahme Wirkungsuntersuchungen vorzusehen, wäre es daher sinnvoller, zum einen gezielter, d.h. ausgewählte Fälle, und zum anderen Programme im größeren Zusammenhang zu untersuchen.

Harmonisierung und Kohärenz der Evaluierung

Auch die Evaluierung kann sich dem Harmonisierungsziel der Pariser Agenda nicht entziehen: Zur Reduzierung der Transaktionskosten der Partnerländer werden Geber künftig zunehmend Gemeinschaftsfinanzierungen gemeinschaftlich evaluieren – oder die Überprüfungsergebnisse anderer anerkennen müssen. Noch bis vor wenigen Jahren waren internationale Gemeinschaftsevaluierungen eher selten und bezogen sich vor allem auf gemeinschaftlich finanzierte Programme von UN-Organisationen (vgl. z.B. BMZ 2004 und 2005b). Mit zunehmenden Budget- und anderen Gemeinschaftsfinanzierungen ändert sich die Lage. Gemeinschaftsevaluierungen unter Beteiligung auch der Partnerregierungen, wie die soeben beendete zur Budgethilfe, zeigen, dass damit die Transaktionskosten auf Geberseite erst einmal ansteigen, jedoch durch positive Effekte, wie kollektive Lernprozesse und breitere Umsetzung von Empfehlungen, wett gemacht werden können.

Als weiterer Schritt ist eine arbeitsteilige Vorgehensweise denkbar. Zwar nimmt Evaluierung – jedenfalls unter dem Rechenschaftslegungsaspekt – eine Sonderstellung ein, die eine Delegation von Verantwortung zu verbieten scheint. Andererseits ist gerade unabhängige Evaluierung durch den DAC in hohem Maße standardisiert. Externe Überprüfungen der Qualität von Evaluierungseinheiten gewinnen zunehmend an Bedeutung. Diese Überprüfungen dienen der Transparenz und weiteren Standardisierung. Erste Versuche von Peer Reviews (mit externen Gutachtern in den Teams) sind nun bei UN-Organisationen seitens des DAC gestartet worden, weitere, auch von bilateralen Gebern, werden folgen. Damit ist der Grundstein gelegt, mit der Harmonisierung bis hin zur Delegation von Verantwortung auch in der Evaluierung ernst zu machen. Harmonisierung und Kohärenz sind auch Gegenstand von Evaluierungen. Nicht nur die Pariser Erklärung selbst, sondern auch Kohärenz (und Komplementarität) in der EU sind geplante bzw. laufende Vorhaben, an denen sich das Evaluierungsreferat des BMZ (BMZ-E) beteiligt. Darüber hinaus haben wir Harmonisierung und Kohärenz als expliziten Untersuchungsgegenstand (genauer: Evaluierungskriterium) in die Pilotphase von Länderprogrammevaluierungen aufgenommen.

Gemeinsame Rechenschaftspflicht

Die Pariser Erklärung sieht gemeinsame Überprüfungen der Umsetzungsfortschritte durch Geber- und Partnerländer vor. Dieses bereits im Zusammenhang mit Gemeinschaftsfinanzierungen eingeübte Verfahren der gemeinsamen Prozessüberprüfung soll durch unabhängige Evaluierung ergänzt werden – nicht nur im Sinne einer Überprüfung des Selbstmonitoring, sondern auch um die unterstellte Wirkungslogik der Paris-Agenda zu überprüfen. Entscheidender noch als diese Überprüfungen selbst ist die in dem Dokument anklingende Veränderung der Perspektive: Rechenschaftslegung wird nicht mehr nur als eine Einbahnstraße zwischen dem Empfänger der EZ und den Gebern gesehen, sondern als gemeinsame Verantwortung der Geber- und Partnerregierungen gegenüber ihren jeweiligen Bürgern und Parlamenten.

Von da ist es dann nur ein kleiner Schritt bis zur völligen Umkehr der Perspektive, nämlich dass Partnerregierungen selbst überprüfen wollen, was ihnen die EZ gebracht hat – China und Südafrika haben diesen Weg bereits beschritten und Evaluierungen ganz ohne Mitwirkung der Geber durchgeführt.

Es geht jedoch um mehr als die EZ und auch nicht nur um Rechenschaftslegung. Wenn EZ durch Programmfinanzierungen ununterscheidbar von Budgetmitteln des Partnerlandes wird, dann gewinnen, neben anderen Aspekten der Budgetkontrolle, Wirkungsuntersuchungen von (größeren) Regierungsprogrammen an Bedeutung. Es entsteht ein Anreiz, dass der Schwerpunkt von Evaluierungen (d.h. ihrer Ziele, Adressaten und Beteiligten) dorthin verlagert wird, wo er eigentlich hingehört, nämlich in die Partnerländer selbst. Dies ist nur möglich, wenn entsprechende Daten und Analysekapazitäten vorhanden sind oder aufgebaut werden. Die „Technik" und die Fähigkeiten sind allerdings nur ein, meist der geringere Teil, auch wenn sie in ärmeren Ländern der Förderung bedürfen. Es geht um die Einführung einer Kultur einer transparenten und ergebnisorientierten Politik, die M&E (Monitoring und Evaluation) als Management-Instrument nutzt. Datensammlungen und ausgefeilte Software helfen wenig, wenn kein Interesse besteht, durch Analyse Erkenntnisse für bessere Politik gewinnen zu wollen.

Transparenz, Rechenschaftslegung und Ergebnisorientierung kommen nicht alleine durch Auflagen und Vereinbarungen zwischen Regierungen zu Stande. Die Vermittlung von M&E-Kapazitäten und gemeinsame Überprüfungen reichen nicht aus. Vielmehr gilt es institutionelle Vorkehrungen in den Ländern selbst, wie Rechnungshöfe, Parlament, Ombudsleute etc. zu stärken ebenso wie zivilgesellschaftliche Teilhabe. Welchen Beitrag die EZ dazu leistet, wollen wir in den nächsten beiden Jahren untersuchen. Gleichzeitig wird BMZ-E seinen Beitrag zum „capacity building" für Evaluierung im Rahmen der Möglichkeiten fortsetzen, durch konsequente Beteiligung lokaler Gutachter an Evaluierungen, auch in verantwortlichen Rollen, und durch verstärkte Beteiligung und Förderung von Evaluierungspartnern.

EZ aus einem Guss – Evaluierung aus einem Guss?

Harmonisierung beginnt zu Hause – diesen Hinweis hat, wenn auch mit anderen Worten, der DAC Peer Review ergeben, verbunden mit der Empfehlung an die BMZ-Evaluierung, für einen besseren Nachweis von projekt- und instrumentenübergreifenden Resultaten sowie EZ-weites Lernen Sorge zu tragen. Wie sich zeigt, ist die Aufteilung der Evaluierungsverantwortung – wonach KfW und GTZ eigenverantwortlich Projektevaluierungen durchführen, während das BMZ sich auf strategische Evaluierungen (Instrumenten-, sektorale/thematische und große Programmevaluierungen) konzentriert – weiterhin sinnvoll; Effektivität und Effizienz des Gesamtsystems können allerdings verbessert werden durch eine „Evaluierung aus einem Guss". Die Evaluierungsabteilungen der staatlichen EZ-Organisationen (neben GTZ und KfW auch DED und InWEnt) haben sich daher unter Leitung von BMZ-E zusammengeschlossen, um die EZ aus einem Guss von Evaluierungsseite her voranzutreiben.

Ein erster Schritt ist, dass alle die gleiche Sprache sprechen – wo von Wirkungen, Nachhaltigkeit etc. die Rede ist, soll ein gleiches Verständnis von Wirkungen und Nachhaltigkeit dahinter stehen. Wenn Projekte nach Erfolgskriterien bewertet werden, dann sollen die Kriterien für gleichartige EZ- Maßnahmen auch gleich sein. Wichtiger noch: Es gilt vorhandenes Evaluierungspersonal und -budgets besser in Wert zu setzen, um jenseits von „Erfolgsquoten" vertiefte Aussagen zu Stärken und Schwächen der EZ in einzelnen Bereichen und zur entwicklungspolitischen Wirksamkeit der EZ von instrumentenübergreifenden Programmen treffen zu können. Der nächste Schritt wird daher eine gemeinsame Planung von Evaluierungen sein, die nicht nur den Informationsbedarf von (und zu) einzelnen EZ- Organisationen, sondern den der EZ insgesamt aus strategischer Sicht in den Vordergrund stellt. Wirkungen der EZ im Sinne eines messbaren Einflusses auf Veränderungen von MDG-Indikatoren werden wir dann zwar noch immer nicht belegen können, aber tiefer gehende und belastbarere Aussagen treffen können, ob wir auf dem richtigen Weg dahin sind.


Literatur: BMZ (2000): Langfristige Wirkungen der Entwicklungszusammenarbeit und ihre Erfolgsbedingungen. Bonn. BMZ (2004): Addressing the Reproductive Needs and Rights of Young People since ICPD – the Contribution of UNFPA and IPPF. Bonn. BMZ (2005a): Ex-Post Evaluation „Nachhaltigkeit von Ländlichen Regionalvorhaben", Bonn. BMZ (2005b): Joint Evaluation of Effectiveness and Impact of the Enabling Development Policy of the World Food Programme (WFP). Bonn. DAC (2002): Glossary of Key Terms in Evaluation and Results Based Management. Paris. Tekülve, Maria/Vorwerk, Kerstin: BMZ legt weitere Ex-Post-Evaluation vor. In: eins Entwicklungspolitik, Heft 3-4 2006, S. 53 -55.
 
Michaela Zintl leitet das Referat „Evaluierung der Entwicklungszusammenarbeit" im Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung. Die Autorin vertritt in diesem Beitrag ihre persönliche Meinung.