Apakah Pelatihan Berhasil? Mengukur Hasil di Luar Daftar Hadir

Pelatihan selesai, lalu laporannya datang: daftar hadir, foto kegiatan, dan skor kepuasan 4,5 dari 5. Bagi banyak tim SDM, unit pelatihan pemerintah, LSM, dan tim CSR, hanya itulah bukti yang ada. Bukti itu menunjukkan bahwa pelatihan sudah berlangsung, tetapi belum menunjukkan apakah peserta benar-benar belajar, bekerja dengan cara yang berbeda, atau mencapai hasil yang lebih baik. Mengukur hasil pelatihan berarti menjawab pertanyaan-pertanyaan tersebut

Artikel ini membahas model Kirkpatrick dan Phillips, cara merencanakan evaluasi, serta contoh hipotetis dari pelatihan pembukuan bagi pengelola BUM Desa

Mengapa Daftar Hadir dan Formulir Kepuasan Tidak Cukup

Daftar hadir menghitung keluaran (output), yaitu jumlah orang yang dilatih. Padahal, pelatihan dibiayai demi hasil (outcome) yang semestinya menyusul, misalnya staf yang mencatat keuangan dengan rapi. Logical Framework menarik garis yang sama antara apa yang dihasilkan program dan apa yang berubah karenanya

Formulir kepuasan punya keterbatasan sendiri. Donald Kirkpatrick mendefinisikan reaksi sebagai seberapa jauh peserta menyukai sebuah program dan menegaskan bahwa reaksi tidak mengukur pembelajaran: survei reaksi yang dikerjakan dengan cermat sekalipun tidak menjamin peserta belajar, apalagi mengubah perilakunya

Riset pun sejalan. Tinjauan atas 34 studi yang terbit di jurnal Personnel Psychology pada 1997 menemukan bahwa penilaian peserta tentang seberapa berguna sebuah pelatihan lebih erat kaitannya dengan pembelajaran dan kinerja di tempat kerja dibandingkan seberapa senang mereka mengikutinya

Model Kirkpatrick: Empat Level Evaluasi Pelatihan

Donald Kirkpatrick menyusun model ini dari disertasi doktoralnya pada 1954 di University of Wisconsin, lalu menuangkannya dalam empat artikel berseri yang mulai terbit pada 1959, satu artikel untuk setiap level. Kirkpatrick Partners, lembaga yang meneruskan karyanya, menyebut model ini membawa dunia pelatihan melampaui urusan kehadiran dan kepuasan

Pada dekade 2010-an, Jim Kirkpatrick, putra Donald, bersama Wendy Kayser Kirkpatrick memperbaruinya menjadi New World Kirkpatrick Model. Versi ini menambahkan keterlibatan dan relevansi pada Level 1, rasa percaya diri dan komitmen pada Level 2, perilaku kunci serta pendorong wajib (required drivers), yaitu pendampingan, alat bantu kerja, dan pengakuan yang memperkuat perilaku baru, pada Level 3, serta indikator awal (leading indicators), yaitu tanda jangka pendek bahwa perilaku sudah berada di jalur yang benar, pada Level 4. Perencanaannya dimulai dari Level 4, lalu bergerak mundur. Pembaruan lembaga itu pada 2026 menambahkan lingkungan kinerja (performance environment), yakni kondisi tempat kerja yang mendukung atau menghambat kemajuan di setiap level

Level Kelima: Metodologi ROI Phillips

Level keempat Kirkpatrick mengidentifikasi hasil, tetapi tidak mengukurnya dalam nilai uang. Jack Phillips, kini ketua ROI Institute, menambahkan level kelima, yaitu ROI (return on investment atau tingkat pengembalian investasi), dalam buku panduan yang terbit pada 1983. Kelima levelnya adalah Reaksi dan Rencana Tindakan, Pembelajaran, Penerapan dan Implementasi, Dampak Bisnis, serta ROI. Menurut lembaga itu, organisasi nirlaba, LSM, dan instansi pemerintah kini juga memakainya

Metode ini memisahkan seberapa besar perbaikan yang benar-benar berasal dari program (melalui kelompok pembanding, analisis tren, atau estimasi), mengubahnya ke nilai uang, lalu membandingkannya dengan biaya penuh, termasuk biaya analisis kebutuhan, partisipasi, dan evaluasi. Manfaat yang tidak dapat dikonversi secara kredibel dilaporkan sebagai manfaat tak berwujud. ROI adalah manfaat bersih dibagi biaya, dinyatakan dalam persen. Sekadar ilustrasi: program senilai Rp100 juta yang menghasilkan manfaat Rp150 juta memiliki ROI 50%

Kapan ROI Layak Dihitung

Karena studi ROI menyita waktu dan biaya, ROI Institute menyarankan agar 90 sampai 100% program dievaluasi pada level reaksi, tetapi hanya 5 sampai 10% yang dibawa sampai level ROI. Pilihlah program yang mahal, berjangka panjang, strategis, banyak disorot, berskala besar, atau diawasi ketat oleh manajemen. Lokakarya singkat yang hanya sekali jalan jarang sepadan dengan upayanya, demikian pula program yang manfaat utamanya, seperti kepercayaan atau rasa percaya diri, tidak dapat diberi harga secara kredibel. Lembaga itu sendiri mencatat bahwa dalam banyak kasus manfaat tak berwujud justru lebih penting daripada ROI yang positif

Kirkpatrick Partners menawarkan jalan lain: sepakati sejak awal bersama pemangku kepentingan seperti apa keberhasilan itu (Return on Expectations), lalu laporkan kontribusi pelatihan alih-alih mengklaimnya sebagai satu-satunya penyebab. Bila manfaatnya terutama dirasakan masyarakat, SROI mungkin lebih cocok

Merancang Evaluasi Pelatihan sejak Tahap Desain

Evaluasi paling efektif bila direncanakan bersama pelatihannya, sebagai bagian dari rencana monitoring, evaluasi, dan pembelajaran program. Ada lima langkah:

1. Analisis kebutuhan pelatihan. Mulailah dari masalah kinerja. Kirkpatrick Partners mengingatkan bahwa kinerja yang buruk sering dianggap akibat kurangnya pengetahuan atau keterampilan, padahal penyebab yang lebih umum adalah motivasi atau lingkungan kerja, yang tidak dapat diatasi dengan pelatihan saja
2. Kaitkan tujuan dengan pekerjaan. Rumuskan apa yang harus dilakukan peserta secara berbeda, misalnya “mencatat setiap transaksi kas pada hari yang sama”, bukan hanya apa yang harus mereka ketahui
3. Pilih satu atau dua indikator untuk setiap level dan sepakati bersama donor atau manajemen sejak awal
4. Kumpulkan data dasar (baseline). Uji pengetahuan dan catat praktik yang berjalan sebelum pelatihan
5. Jadwalkan tindak lanjut. Pantau sejak minggu-minggu pertama, karena Kirkpatrick Partners tidak menyarankan menunggu 90 hari. Tinjau kembali perilaku setelah 3 sampai 6 bulan (saran awal Kirkpatrick adalah 3 bulan atau lebih) dan hasil setelah 6 sampai 12 bulan

Aturan kepegawaian di Indonesia pun sudah melihat lebih jauh daripada daftar hadir. Peraturan LAN Nomor 10 Tahun 2018 tentang Pengembangan Kompetensi Pegawai Negeri Sipil meminta instansi menilai apakah pengembangan kompetensi, yang mencakup pelatihan, bermanfaat bagi peningkatan kompetensi dan kinerja pegawai (Pasal 38). Untuk pelatihan dasar calon pegawai negeri sipil (CPNS), Peraturan LAN Nomor 1 Tahun 2021 mengatur evaluasi pascapelatihan 6 sampai 12 bulan setelah pelatihan berakhir untuk menilai apakah peserta tetap menerapkan hasil belajarnya di tempat kerja (Pasal 37). Keduanya tercatat berstatus berlaku di basis data peraturan BPK

Tetap Ringan: Alat untuk Mengukur Hasil Pelatihan

Program kecil tidak memerlukan desain riset, cukup beberapa ukuran yang dipilih dengan cermat dan dikumpulkan secara konsisten:

• Ganti formulir kepuasan yang panjang dengan tiga atau empat pertanyaan tentang relevansi, kegunaan, dan niat menerapkan
• Uji keterampilan praktis dengan tugas praktik, misalnya mengisi buku kas sungguhan
• Satukan pemeriksaan perilaku dengan kunjungan atau telepon yang memang sudah terjadwal, dan tanyakan juga kepada atasan atau rekan kerja
• Manfaatkan catatan yang sudah ada, seperti laporan atau data program, sebelum merancang survei baru
• Untuk kelompok besar, tindak lanjuti sampel acak dengan baik daripada menyurvei semua orang secara asal-asalan

Seperti saran ROI Institute, ukur juga level di bawahnya setiap kali Anda melaporkan level yang lebih tinggi. Tanpa itu, Anda tidak dapat menjelaskan mengapa hasil muncul atau tidak muncul

Contoh Hipotetis: Pelatihan Pembukuan bagi Pengelola BUM Desa

Contoh ini hipotetis dan hanya untuk ilustrasi. Sebuah program kabupaten melatih 30 pengelola badan usaha milik desa (BUM Desa) tentang pembukuan dasar selama tiga hari. Sebelum pelatihan, hanya 8 dari 30 BUM Desa yang buku kasnya selalu mutakhir. Indikatornya dapat berupa:

• Reaksi: sedikitnya 80% peserta menilai materi relevan bagi BUM Desa mereka, melalui formulir singkat di akhir setiap hari
• Pembelajaran: rata-rata skor tes praktik, yaitu mencatat 20 contoh transaksi dan menyusun ringkasan bulanan, naik dari 40 menjadi 75 dari skala 100
• Perilaku: setelah 3 bulan, sedikitnya 20 dari 30 BUM Desa memperbarui buku kas setiap minggu, diperiksa saat kunjungan dan melalui pengawas BUM Desa atau kepala desa
• Hasil: dalam 12 bulan, sedikitnya 20 BUM Desa menyelesaikan laporan keuangan tahunan tepat waktu, dengan saldo kas yang sesuai dengan pembukuan

Telepon bulanan dari pendamping kabupaten dan templat sederhana membantu kebiasaan baru ini bertahan. Jika BUM Desa yang tidak ikut pelatihan ternyata juga membaik, program tidak boleh mengklaim seluruh kemajuan itu sebagai hasilnya. Studi ROI lengkap tidak sepadan di sini, karena manfaat utamanya, seperti akuntabilitas yang lebih jelas kepada desa, sulit dinilai dengan uang

Kesimpulan

Mengukur hasil pelatihan berarti bertanya lebih dari sekadar siapa yang hadir dan apakah mereka puas. Mulailah dari hasil yang dibutuhkan, kumpulkan data dasar, periksa perilaku dalam beberapa minggu dan sekali lagi setelah 3 sampai 6 bulan, serta simpan perhitungan ROI untuk segelintir program yang memang layak. Satu atau dua indikator per level saja sudah memberi bukti yang jauh lebih kuat daripada daftar hadir

Pelatihan & Pengembangan Keterampilan adalah salah satu dari enam bidang program SIDIA yang berfokus pada pelatihan berbasis kompetensi yang disesuaikan dengan kebutuhan instansi pemerintah, komunitas, LSM, dan sektor swasta