Theory of Change와 Logical Framework: 우리 프로그램에는 무엇이 필요할까?

제안서를 쓰거나 사회 프로그램을 운영한다면 Theory of Change, Logical Framework(로그프레임), 또는 둘 다를 요청받은 적이 있을 것입니다. 둘은 혼동하기 쉽습니다. 영국 국제개발부(DFID)를 위한 2012년 검토 보고서는 둘 다 프로그램 이론 계열에 속한다는 점도 있어 많은 사람이 둘을 구분하기 어려워한다고 밝혔습니다

이 글은 각 도구, 둘의 차이와 결합 방식, 그리고 프로그램이 함께하는 사람들과 두 도구를 만드는 방법을 설명합니다

Theory of Change란 무엇인가

Theory of Change는 프로그램의 활동이 어떻게, 왜 장기적 변화로 이어질 것으로 보는지를 설명합니다. 2017년 유엔개발그룹 지침은 이를 이용 가능한 근거에 대한 인과 분석을 바탕으로 개입이 특정한 개발 변화로 어떻게 이어질 것으로 기대되는지 설명하는 방법으로 정의합니다

작업은 끝에서 시작합니다. 팀은 장기 목표를 정하고, 거꾸로 거슬러 올라가 먼저 갖춰져야 할 조건을 찾은 뒤 그것을 이룰 활동을 고릅니다. Center for Theory of Change는 이 조건을 전제 조건이라고 부릅니다. 각 연결은 가정 위에 서 있으며, 유엔 지침은 이를 "X이면 Y이다, 왜냐하면 Z이기 때문이다"라는 형태로 쓰고 근거와 대조해 보라고 권합니다

결과물은 보통 상자와 화살표로 된 도표와 짧은 설명글입니다. Isabel Vogel이 작성한 DFID 검토 보고서는 기본 요소에 대해 폭넓은 합의가 있음을 확인했습니다. 맥락, 추구하는 장기적 변화, 기대되는 변화의 순서, 가정, 그리고 요약 설명이 붙은 도표입니다. 중요한 가정은 그룹이 함께 도표를 그리는 과정에서 드러나는 경우가 많습니다

이 접근법은 평가 분야의 프로그램 이론에서 발전했으며, 평가자 Carol Weiss가 이 용어를 널리 알렸습니다. Aspen Institute가 소집한 지역사회 변화에 관한 원탁회의에서 나온 1995년 책에서, 그녀는 복잡한 지역사회 사업을 평가하기 어려운 주된 이유 중 하나가 그 뒤에 있는 가정이 제대로 표현되지 않았기 때문이라고 지적했습니다. 오늘날 유엔 지침은 Theory of Change를 이해관계자와 함께 만들고, 근거에 기반하게 하며, 프로그램이 배우는 대로 고치도록 요구하고, DFID 검토 보고서는 이를 과정이자 결과물이라고 부릅니다

Logical Framework란 무엇인가

Logical Framework Approach(LFA)는 1960년대 말 미국 국제개발처(USAID)를 위해 개발되었습니다. 유럽연합 집행위원회의 Project Cycle Management Guidelines(2004)에 따르면 LFA는 세 가지 문제를 해결하려 했습니다. 모호한 계획, 불분명한 관리 책임, 그리고 프로젝트가 무엇을 이루려 하는지 아무도 합의하지 않아 대립적으로 흘러가던 평가입니다. NORAD는 1990년에 널리 쓰이는 LFA 핸드북을 펴냈고, 집행위원회는 1992년에 LFA에 기반한 Project Cycle Management를 채택했습니다

지침은 이해관계자 분석, 문제 분석, 목표 설정, 전략 선택이라는 분석 과정인 LFA와 그 결과물인 로그프레임 매트릭스를 구분합니다. 매트릭스는 보통 네 개의 행으로 이루어지며, 상위 목표에서 프로젝트 목표와 성과(산출)를 거쳐 활동으로 내려갑니다. 열도 네 개로, 개입 논리, 지표, 정보원 또는 검증 수단, 가정입니다. 명칭은 기관마다 다르지만 논리는 같습니다

아래에서 위로 읽으면 매트릭스는 "만약 ~라면"의 연쇄입니다. 활동이 수행되면 성과가 만들어지고, 성과가 만들어지면 프로젝트 목표가 달성됩니다. 단, 마지막 열의 가정이 유지되는 한에서입니다. 가로로 읽으면 각 행은 진행 상황을 어떻게 측정하고 데이터를 어디서 얻을지 보여 줍니다. 설계 이후에는 계약, 업무 계획, 모니터링의 지침이 되고, 나중에는 평가를 위해 무엇이 계획되었는지를 보여 주는 기록이 됩니다

Theory of Change와 Logical Framework의 핵심 차이

두 도구가 함께 쓰는 결과 사슬

두 도구 모두 같은 결과 사슬에 기반하며, OECD 평가 용어집은 이를 개입의 인과적 순서로 정의합니다

1. 투입
2. 활동
3. 산출
4. 성과
5. 임팩트

• 투입: 프로그램이 사용하는 자금, 인력, 물자, 기관 자원
• 활동: 교육 과정 운영처럼 투입을 산출로 바꾸는 일
• 산출: 농민 50명 교육처럼 제공된 제품과 서비스로, 실행 팀이 통제할 수 있는 것
• 성과: 농민이 새로운 방법을 받아들이는 것처럼 산출이 가져오는 단기·중기 효과
• 임팩트: 가구 소득 안정처럼 의도했든 아니든 나타나는 더 높은 수준의 장기적 변화

나란히 비교하기

두 도구를 함께 쓰는 방법

ITAD의 Julian Barr가 DFID 검토 보고서에서 말했듯, 로그프레임은 "성공을 정의하는 데는 좋지만 현실을 정의하는 데는 적합하지 않습니다". 그러므로 먼저 맥락을 잘 아는 사람들과 Theory of Change를 만들어 경로에 합의하고 가정을 검증하십시오. 그다음 경로 중 어느 부분을 프로그램이 책임질지 정하고, 그것을 로그프레임에 옮깁니다. 장기적 변화는 상위 목표가 되고, 핵심 전제 조건은 프로젝트 목표와 산출이 되며, 가장 중요한 가정은 마지막 열로 갑니다. 유엔 지침 역시 Theory of Change가 결과 매트릭스와 그 지표, 위험, 가정을 형성하도록 요구합니다

그다음 두 도구는 모니터링, 평가, 학습(MEL) 체계로 이어집니다. 로그프레임의 지표와 정보원은 모니터링 계획이 되고, Theory of Change의 가정은 평가가 검증해야 할 질문을 알려 줍니다. Social Return on Investment(SROI) 분석을 계획한다면 같은 작업이 다시 쓸모를 발휘합니다. SROI 가이드는 투입이 어떻게 산출과 성과로 이어지는지 보여 주는 임팩트 맵이나 변화 이론을 이해관계자와 함께 만들라고 요구하기 때문입니다

흔한 실수

• 활동만 나열한 Theory of Change. 도표가 "교육 실시"에서 "빈곤 감소"로 건너뛴다면 중간이 빠진 것입니다. Center for Theory of Change는 이른바 변화 이론 가운데 일부는 사실상 로그프레임에 불과하다고 지적합니다
• 아무도 검증하지 않는 가정. DFID 검토 보고서는 부실한 로그프레임에서 가정 열이 거의 "너무 어려운 것" 열이 되어, "정책 입안자가 연구를 읽을 것이다" 같은 기재로 문제를 범위 밖으로 밀어낸다고 지적했습니다. 핵심 가정을 근거와 대조하고 모니터링하십시오
• 공여 기관을 만족시키려고 사후에 작성한 로그프레임. 유럽연합 집행위원회 지침은 매트릭스를 다른 프로젝트 문서와 따로, 나중에 덧붙이듯 만드는 것을 경계합니다. 그러면 계획과 어긋나기 때문입니다
• 산출만 세는 지표. 교육받은 인원 수는 제공을 보여 줄 뿐 변화를 보여 주지 않습니다. 집행위원회 지침은 성과(산출) 지표가 활동을 되풀이하지 말고 활동의 측정 가능한 결과를 나타내도록 요구하므로, 기초선이 있는 성과 지표를 추가하십시오

참여형 워크숍에서 두 도구 만들기

NORAD 핸드북은 LFA 워크숍을 프로젝트 지역에서 모든 당사자와 독립적인 진행자와 함께 열고, 대상 수혜자를 직접 또는 더 간단한 세션을 통해 참여시키라고 권합니다. 실용적인 순서는 다음과 같습니다

1. 준비한다. 기존 근거(수요 조사, 과거 평가, 기초선 데이터)를 모으고 주민, 지방 정부, 실행 직원, 재원 제공자를 초청합니다
2. 문제를 분석한다. 원인과 결과로 된 문제 나무를 만들고, 모두가 보고 옮길 수 있도록 카드 한 장에 아이디어 하나만 씁니다
3. 변화를 그린다. 문제 나무를 해결 나무로 바꾸고, 장기적 변화에 합의한 뒤 거기에 이르는 데 필요한 전제 조건을 거꾸로 그립니다
4. 가정을 드러낸다. 화살표마다 "X이면 Y이다, 왜냐하면 Z이기 때문이다"라고 쓰고 근거가 부족한 연결에 표시합니다
5. 우리 몫을 정한다. 어떤 경로를 프로그램이 맡고 어떤 경로를 파트너가 맡을지 정합니다
6. 로그프레임을 쓴다. 선택한 경로를 매트릭스로 옮기고 지표, 기초선, 데이터 출처를 정하며, 누가 무엇을 얼마나 자주 수집할지도 포함합니다
7. 검토를 계획한다. 모니터링 데이터로 두 문서를 다시 살펴보고 조정할 날짜를 정합니다

결론

그렇다면 우리 프로그램에는 무엇이 필요할까요? 대개는 둘 다입니다. Theory of Change는 프로그램이 왜 효과가 있어야 하는지 설명하고, Logical Framework는 무엇을 제공하며 진행 상황을 어떻게 점검할지 정합니다. 영향을 받는 사람들과 함께 이 순서로 만들면, 재원 제공자에게는 계획을, 팀에게는 검증하고 개선할 경로를 줍니다. DFID 검토 보고서의 조언처럼, 변화 이론은 사업 규모에 맞게 유지하십시오

SIDIA의 임팩트 프로그램 설계 서비스는 지역사회 수요 조사에서 시작해 Theory of Change와 Logical Framework, 나아가 파트너십 청사진, 실행 로드맵, SROI 측정까지 파트너와 함께합니다