교육은 효과가 있을까? 출석부 너머의 성과 측정

교육이 끝나면 보고서가 옵니다. 출석부, 사진, 그리고 5점 만점에 4.5점인 만족도 점수입니다. 많은 인사 부서, 정부 교육 기관, NGO, CSR 팀에게는 그것이 근거의 전부입니다. 이는 교육이 열렸다는 것을 증명할 뿐, 누군가 배웠는지, 일하는 방식이 바뀌었는지, 더 나은 결과를 냈는지는 증명하지 못합니다. 교육 성과를 측정한다는 것은 바로 이 질문들에 답하는 일입니다

이 글은 커크패트릭 모델과 필립스 모델, 평가 계획, 그리고 BUM Desa 장부 교육을 예로 든 가상 사례를 다룹니다

출석부와 만족도 설문만으로는 부족한 이유

출석부는 산출, 즉 교육받은 사람의 수를 셉니다. 교육에 돈을 쓰는 이유는 그다음에 따라와야 할 성과, 예컨대 기록을 정확히 하는 직원 때문입니다. Logical Framework도 프로그램이 제공하는 것과 그 결과로 달라지는 것 사이에 같은 선을 긋습니다

만족도 설문에는 고유한 한계가 있습니다. Donald Kirkpatrick은 반응을 참가자가 프로그램을 얼마나 마음에 들어 했는지로 정의하고, 그것이 학습을 측정하지는 않는다고 강조했습니다. 잘 설계된 반응 조사라도 누군가 배웠다거나 행동이 바뀔 것이라는 보장은 되지 않습니다

연구도 같은 결론입니다. 1997년 Personnel Psychology에 실린 34개 연구에 대한 검토는, 교육이 얼마나 유용했는지에 대한 참가자의 평가가 얼마나 마음에 들었는지보다 학습 및 업무 성과와 더 강하게 관련된다는 것을 발견했습니다

커크패트릭 모델: 교육 평가의 네 단계

Donald Kirkpatrick은 1954년 위스콘신대학교 박사 논문을 바탕으로 이 모델을 만들었고, 1959년에 시작된 네 편의 논문에서 단계별로 하나씩 제시했습니다. 그의 작업을 이어 가는 Kirkpatrick Partners는 이 모델이 분야를 출석과 만족도 너머로 이끌었다고 말합니다

2010년대에 Donald의 아들 Jim Kirkpatrick과 Wendy Kayser Kirkpatrick은 이를 New World Kirkpatrick Model로 개정했습니다. 1단계에는 몰입과 관련성, 2단계에는 자신감과 의지, 3단계에는 핵심 행동과 필요한 동인(새로운 행동을 뒷받침하는 코칭, 업무 보조 도구, 인정), 4단계에는 행동이 제대로 가고 있다는 단기 신호인 선행 지표가 더해졌습니다. 계획은 4단계에서 시작해 거꾸로 짭니다. 이 회사의 2026년 개정은 모든 단계에서 진전을 돕거나 막는 업무 현장의 조건인 성과 환경을 추가했습니다

다섯 번째 단계 더하기: 필립스 ROI 방법론

커크패트릭의 네 번째 단계는 결과를 확인하지만 금전 가치를 매기지는 않습니다. 현재 ROI Institute 회장인 Jack Phillips는 1983년 핸드북에서 다섯 번째 단계로 투자수익률(ROI)을 추가했습니다. 그의 단계는 반응과 실행 계획, 학습, 적용과 실행, 사업 임팩트, 그리고 ROI입니다. 연구소에 따르면 지금은 비영리 단체, NGO, 공공 기관도 이를 씁니다

이 방법은 개선 가운데 얼마가 프로그램에서 비롯되었는지를 (비교 집단, 추세 분석, 추정을 통해) 분리하고, 이를 금액으로 환산해 요구 진단, 참여, 평가를 포함한 전체 비용과 비교합니다. 신뢰할 만하게 환산할 수 없는 편익은 무형의 편익으로 보고합니다. ROI는 순편익을 비용으로 나눈 값을 백분율로 나타낸 것입니다. 설명을 위한 예일 뿐이지만, 비용이 Rp 1억인 프로그램이 Rp 1억 5,000만의 편익을 낸다면 ROI는 50%입니다

ROI를 계산할 가치가 있을 때

ROI 조사에는 시간과 돈이 들기 때문에, ROI Institute는 반응은 프로그램의 90~100%에서 평가하되 ROI는 5~10%만 평가하라고 권하며, 비용이 크거나, 장기간 운영되거나, 전략적이거나, 주목도가 높거나, 규모가 크거나, 경영진이 면밀히 지켜보는 프로그램을 고르라고 합니다. 짧은 일회성 워크숍이나, 신뢰나 자신감처럼 주요 편익을 신뢰할 만하게 금액으로 매길 수 없는 프로그램은 대개 그만한 가치가 없습니다. 연구소 스스로도 무형의 편익이 많은 경우 양의 ROI보다 더 중요하다고 말합니다

Kirkpatrick Partners는 성공이 무엇인지를 이해관계자와 미리 합의하고(Return on Expectations), 교육이 단독으로 성과를 냈다고 주장하기보다 그 기여를 보고하라고 권합니다. 편익이 주로 지역사회에 돌아간다면 SROI가 더 적합할 수 있습니다

설계 단계에서 교육 평가를 계획하는 방법

평가는 프로그램의 모니터링, 평가, 학습 계획의 일부로서 교육과 함께 계획할 때 가장 잘 작동합니다. 다섯 단계입니다

1. 교육 요구를 분석한다. 성과 문제에서 출발하십시오. Kirkpatrick Partners는 낮은 성과가 지식이나 기술 부족 탓으로 돌려지기 쉽지만, 더 흔한 원인은 동기나 업무 환경이며 이는 교육만으로 해결되지 않는다고 경고합니다
2. 목표를 업무와 연결한다. 무엇을 알아야 하는지뿐 아니라 "모든 현금 거래를 당일에 기록한다"처럼 참가자가 무엇을 다르게 해야 하는지를 쓰십시오
3. 단계마다 한두 개의 지표를 고르고 처음에 재원 제공자나 경영진과 합의하십시오
4. 기초선을 수집한다. 교육 전에 지식을 테스트하고 현재의 업무 방식을 기록합니다
5. 후속 점검 일정을 잡는다. Kirkpatrick Partners는 90일을 기다리지 말라고 조언하므로 첫 몇 주 안에 연락하십시오. 3~6개월 후에 행동을(커크패트릭의 원래 조언은 3개월 이상), 6~12개월 후에 결과를 다시 검토합니다

인도네시아 공무원 규정은 이미 출석 너머를 봅니다. 국가행정청 LAN이 정한 Peraturan LAN Nomor 10 Tahun 2018은 교육을 포함한 역량 개발이 공무원의 역량과 성과를 높였는지 평가하도록 정부 기관에 요구합니다(제38조). 공무원 후보자(CPNS)의 기초 교육에 대해서는 Peraturan LAN Nomor 1 Tahun 2021이 참가자가 배운 것을 업무에서 계속 적용하는지 보기 위해 교육 6~12개월 후 평가를 하도록 정합니다(제37조). 둘 다 BPK 법령 데이터베이스에 유효한 것으로 올라 있습니다

가볍게 유지하기: 교육 성과를 측정하는 도구

작은 프로그램에 필요한 것은 연구 설계가 아니라, 잘 고른 몇 가지 지표를 꾸준히 수집하는 것입니다

• 긴 만족도 설문을 관련성, 유용성, 활용 의향에 관한 서너 개의 질문으로 바꾸십시오
• 실제 현금 출납부를 작성하는 것처럼 실습 과제로 실무 능력을 테스트하십시오
• 행동 점검은 기존 방문이나 통화에 끼워 넣고, 상사나 동료에게도 물어보십시오
• 새로운 설문을 설계하기 전에 보고서나 프로그램 데이터 같은 기존 기록을 활용하십시오
• 큰 집단이라면 모두를 허술하게 조사하기보다 무작위 표본을 제대로 추적하십시오

ROI Institute의 조언처럼, 상위 단계를 보고할 때는 항상 하위 단계도 함께 측정하십시오. 그렇지 않으면 결과가 왜 나타났는지 또는 왜 나타나지 않았는지 설명할 수 없습니다

가상 사례: BUM Desa 운영자를 위한 장부 교육

이 사례는 설명을 위한 가상 사례입니다. 한 군 단위 프로그램이 마을 소유 기업(BUM Desa) 운영자 30명에게 3일간 기초 장부 교육을 합니다. 교육 전 30개 BUM Desa 중 현금 출납부를 최신 상태로 유지하는 곳은 8곳입니다. 지표는 다음과 같을 수 있습니다

• 반응: 매일 교육이 끝날 때 짧은 설문에서 참가자의 80% 이상이 내용을 자기 BUM Desa와 관련 있다고 평가한다
• 학습: 예시 거래 20건을 기록하고 월간 요약을 작성하는 실습 테스트의 평균 점수가 100점 만점에 40점에서 75점으로 오른다
• 행동: 3개월 후 30개 BUM Desa 중 최소 20곳이 매주 현금 출납부를 갱신한다. 방문 시 BUM Desa 감독자나 마을장과 함께 확인한다
• 결과: 12개월 안에 최소 20개 BUM Desa가 장부와 일치하는 현금 잔액으로 연간 재무 보고서를 기한 내에 완성한다

군 퍼실리테이터의 월례 통화와 간단한 양식이 새로운 습관을 뒷받침합니다. 참여하지 않은 BUM Desa도 개선되었다면 프로그램은 개선 전체를 자기 몫으로 주장해서는 안 됩니다. 이 경우 본격적인 ROI 조사는 그만한 가치가 없습니다. 마을에 대한 더 분명한 책임성 같은 주요 편익은 금액으로 매기기 어렵기 때문입니다

결론

교육 성과를 측정한다는 것은 누가 참석했고 만족했는지를 넘어 묻는 것입니다. 필요한 결과에서 출발하고, 기초선을 수집하며, 몇 주 안에 그리고 3~6개월 후 다시 행동을 점검하고, ROI는 그럴 가치가 있는 소수의 프로그램을 위해 남겨 두십시오. 단계마다 한두 개의 지표만으로도 출석부보다 훨씬 나은 근거가 됩니다

교육 및 역량 개발은 SIDIA의 여섯 가지 프로그램 분야 중 하나로, 정부 기관, 지역사회, NGO, 민간 부문을 위한 역량 기반 맞춤형 교육에 중점을 둡니다