Theory of Change oder Logical Framework: Was braucht Ihr Programm?

Wer Projektanträge schreibt oder soziale Programme leitet, wurde wahrscheinlich schon nach einer Theory of Change, einem Logical Framework (Logframe) oder beidem gefragt. Die beiden werden leicht verwechselt: Eine Studie von 2012 für das britische Department for International Development (DFID) stellte fest, dass viele Menschen sie nur schwer auseinanderhalten können, auch weil beide zur Familie der Programmtheorien gehören

Dieser Artikel erklärt jedes Werkzeug, wie sie sich unterscheiden und ergänzen und wie Sie beide gemeinsam mit den Menschen erarbeiten, für die Ihr Programm da ist

Was ist eine Theory of Change?

Eine Theory of Change beschreibt, wie und warum ein Programm erwartet, dass seine Arbeit zu einer langfristigen Veränderung führt. Eine Leitlinie der UN Development Group von 2017 definiert sie als Methode, die erklärt, wie eine Intervention zu einer bestimmten entwicklungspolitischen Veränderung führen soll, gestützt auf eine kausale Analyse der verfügbaren Evidenz

Die Arbeit beginnt am Ende. Das Team benennt das langfristige Ziel und arbeitet sich rückwärts zu den Bedingungen vor, die zuerst erfüllt sein müssen und die das Center for Theory of Change Vorbedingungen nennt, bevor es Aktivitäten wählt, um sie herbeizuführen. Jede Verbindung beruht auf einer Annahme, die nach der UN Leitlinie als „wenn X, dann Y, weil Z“ formuliert und an der Evidenz geprüft werden sollte

Das Ergebnis ist meist ein Diagramm aus Kästen und Pfeilen mit einem kurzen Text. Die DFID Studie von Isabel Vogel fand breite Übereinstimmung bei den Grundelementen: der Kontext, die angestrebte langfristige Veränderung, die erwartete Abfolge der Veränderung, die Annahmen sowie ein Diagramm mit zusammenfassendem Text. Wichtige Annahmen kommen oft erst zum Vorschein, wenn die Gruppe das Diagramm gemeinsam zeichnet

Der Ansatz ist aus der Programmtheorie der Evaluation hervorgegangen, und die Evaluatorin Carol Weiss machte den Begriff bekannt: In einem Buch von 1995 aus einem Runden Tisch zum Wandel in Gemeinschaften, den das Aspen Institute einberufen hatte, vertrat sie die Ansicht, dass komplexe Gemeinschaftsinitiativen vor allem deshalb schwer zu evaluieren sind, weil die Annahmen hinter ihnen schlecht ausformuliert sind. Heute verlangt die UN Leitlinie, eine Theory of Change mit Stakeholdern zu entwickeln, auf Evidenz zu gründen und zu überarbeiten, wenn das Programm dazulernt, während die DFID Studie sie zugleich als Prozess und als Produkt bezeichnet

Was ist ein Logical Framework?

Der Logical Framework Approach (LFA) wurde Ende der 1960er Jahre für die United States Agency for International Development (USAID) entwickelt. Laut den Project Cycle Management Guidelines der Europäischen Kommission (2004) sollte er drei Probleme lösen: vage Planung, unklare Verantwortlichkeiten im Management und Evaluationen, die konfrontativ wurden, weil niemand sich einig war, was das Projekt erreichen wollte. NORAD veröffentlichte 1990 sein viel genutztes LFA Handbuch, und die Kommission führte 1992 das auf dem LFA beruhende Project Cycle Management ein

Die Leitlinien unterscheiden den LFA, einen analytischen Prozess aus Stakeholderanalyse, Problemanalyse, Zielbestimmung und Strategiewahl, von seinem Produkt, der Logframe-Matrix. Die Matrix hat meist vier Zeilen, vom Oberziel über das Projektziel und die Ergebnisse (Outputs) bis zu den Aktivitäten, und vier Spalten: Interventionslogik, Indikatoren, Quellen oder Mittel der Nachprüfung sowie Annahmen. Die Bezeichnungen unterscheiden sich zwischen Organisationen, die Logik ist dieselbe

Von unten nach oben gelesen ist die Matrix eine Kette von Wenn-dann-Aussagen: Wenn die Aktivitäten durchgeführt werden, entstehen die Ergebnisse; wenn die Ergebnisse entstehen, wird das Projektziel erreicht, sofern die Annahmen in der letzten Spalte zutreffen. Quer gelesen zeigt jede Zeile, wie der Fortschritt gemessen wird und woher die Daten kommen. Nach der Planung leitet sie Vergabe, Arbeitsplanung und Monitoring und dient später als Nachweis dessen, was für die Evaluation geplant war

Theory of Change und Logical Framework: die wichtigsten Unterschiede

Die Wirkungskette, die beide Werkzeuge nutzen

Beide Werkzeuge beruhen auf derselben Wirkungskette, die das Evaluationsglossar der OECD als kausale Abfolge einer Intervention definiert:

1. Inputs
2. Aktivitäten
3. Outputs
4. Outcomes
5. Wirkung

• Inputs: die Mittel, Menschen, Materialien und institutionellen Ressourcen, die ein Programm einsetzt
• Aktivitäten: die Arbeit, die Inputs in Outputs verwandelt, etwa die Durchführung eines Kurses
• Outputs: die gelieferten Produkte und Leistungen, etwa 50 geschulte Bauern, über die das Umsetzungsteam selbst bestimmt
• Outcomes: die kurz- und mittelfristigen Effekte der Outputs, etwa dass Bauern neue Methoden übernehmen
• Wirkung: die übergeordnete, langfristige Veränderung, beabsichtigt oder nicht, etwa stabilere Haushaltseinkommen

Im direkten Vergleich

Wie die beiden Werkzeuge zusammenspielen

Wie Julian Barr von ITAD in der DFID Studie sagt, ist der Logframe „gut, um Erfolg zu definieren, aber nicht, um die Wirklichkeit zu definieren“. Entwickeln Sie daher zuerst die Theory of Change mit Menschen, die den Kontext kennen, um sich auf den Pfad zu einigen und die Annahmen zu prüfen. Entscheiden Sie dann, für welchen Teil des Pfades Ihr Programm verantwortlich ist, und schreiben Sie ihn in den Logframe: Die langfristige Veränderung wird zum Oberziel, die wichtigsten Vorbedingungen werden zu Projektziel und Outputs, und die entscheidenden Annahmen wandern in die letzte Spalte. Auch die UN Leitlinie verlangt, dass die Theory of Change die Ergebnismatrix mit ihren Indikatoren, Risiken und Annahmen prägt

Beide fließen dann in Ihr System für Monitoring, Evaluation und Lernen (MEL) ein. Die Indikatoren des Logframes und ihre Quellen werden zum Monitoringplan, und die Annahmen der Theory of Change zeigen, welche Fragen eine Evaluation prüfen sollte. Wenn Sie eine Analyse des Social Return on Investment (SROI) planen, zahlt sich dieselbe Arbeit erneut aus: Der SROI Leitfaden verlangt, mit den Stakeholdern eine Wirkungslandkarte oder Theory of Change zu erstellen, die zeigt, wie Inputs zu Outputs und Outcomes führen

Typische Fehler

• Eine Theory of Change, die nur Aktivitäten auflistet. Springt das Diagramm von „Schulung durchgeführt“ zu „Armut verringert“, fehlt die Mitte. Das Center for Theory of Change merkt an, dass manche sogenannte Theories of Change im Kern nur Logframes sind
• Annahmen, die niemand prüft. Die DFID Studie stellte fest, dass die Annahmenspalte in schwachen Logframes fast zu einer „zu schwierig“-Spalte geworden ist, in der ein Eintrag wie „Entscheidungsträger werden die Forschung lesen“ das Problem aus dem Projekt verbannt. Prüfen Sie zentrale Annahmen an der Evidenz und beobachten Sie sie
• Nachträglich geschriebene Logframes, um einen Geber zufriedenzustellen. Die EU Leitlinien warnen davor, die Matrix getrennt von den übrigen Projektdokumenten als Nachgedanken zu erstellen, weil sie dann nicht mehr zum Plan passt
• Indikatoren, die nur Outputs zählen. Die Zahl der geschulten Personen zeigt Lieferung, nicht Veränderung. Die EU Leitlinien verlangen, dass Indikatoren für Ergebnisse (Outputs) die messbare Folge der Aktivitäten beschreiben, statt sie zu wiederholen; ergänzen Sie daher Outcome-Indikatoren mit einer Ausgangsbasis

Beide in einem partizipativen Workshop erarbeiten

Das NORAD Handbuch empfiehlt, LFA Workshops im Projektgebiet mit allen Beteiligten und einer unabhängigen Moderation abzuhalten und die vorgesehenen Begünstigten direkt oder über einfachere Sitzungen einzubeziehen. Ein praktischer Ablauf:

1. Vorbereiten. Vorhandene Evidenz sammeln (Bedarfsanalysen, frühere Evaluationen, Ausgangsdaten) und Menschen aus der Gemeinschaft, lokale Verwaltung, Umsetzungsteam und Geldgeber einladen
2. Das Problem analysieren. Einen Problembaum aus Ursachen und Wirkungen erstellen, mit einer Idee pro Karte, damit alle sie sehen und verschieben können
3. Die Veränderung abbilden. Den Problembaum in einen Lösungsbaum verwandeln, sich auf die langfristige Veränderung einigen und rückwärts die nötigen Vorbedingungen abbilden
4. Die Annahmen sichtbar machen. Für jeden Pfeil „wenn X, dann Y, weil Z“ schreiben und die Verbindungen markieren, denen Evidenz fehlt
5. Den eigenen Anteil wählen. Entscheiden, welche Pfade Ihr Programm übernimmt und welche zu Partnern gehören
6. Den Logframe schreiben. Den gewählten Pfad in die Matrix übertragen und Indikatoren, Ausgangswerte und Datenquellen festlegen, einschließlich wer was wie oft erhebt
7. Überprüfungen planen. Termine festlegen, um beide Dokumente mit Monitoringdaten zu überprüfen und anzupassen

Fazit

Was braucht Ihr Programm also? Meist beides. Eine Theory of Change erklärt, warum das Programm funktionieren sollte; ein Logical Framework legt fest, was es liefert und wie der Fortschritt geprüft wird. In dieser Reihenfolge mit den Betroffenen erarbeitet, geben sie Geldgebern einen Plan und Teams einen Pfad, den sie prüfen und verbessern können. Wie die DFID Studie rät, sollten Theories of Change im Verhältnis zur Größe der Initiative stehen

Die Leistung Wirkungsorientierte Programmgestaltung von SIDIA arbeitet mit Partnern von der Bedarfsanalyse in der Gemeinschaft über Theory of Change und Logical Framework bis zu Partnerschaftsplänen, Umsetzungs-Roadmaps und SROI Messung