¿Funciona la capacitación? Medir resultados más allá de la lista de asistencia

Termina una capacitación y llega el informe: una lista de asistencia, fotos y un puntaje de satisfacción de 4,5 sobre 5. Para muchos equipos de recursos humanos, unidades de capacitación del gobierno, ONG y equipos de RSE, esa es toda la evidencia que hay. Demuestra que la capacitación se realizó, no que alguien aprendió, trabaja de otra manera o logró mejores resultados. Medir los resultados de la capacitación significa responder a esas preguntas

Este artículo trata los modelos de Kirkpatrick y Phillips, la planificación de la evaluación y un ejemplo hipotético de una capacitación en contabilidad para BUM Desa

Por qué no bastan las listas de asistencia y las encuestas de satisfacción

Una lista de asistencia cuenta un producto: el número de personas capacitadas. La capacitación se financia por los resultados que deberían seguir, como personal que lleva registros precisos. Un Logical Framework traza la misma línea entre lo que entrega un programa y lo que cambia como consecuencia

Las encuestas de satisfacción tienen su propio límite. Donald Kirkpatrick definió la reacción como cuánto les gustó un programa a los participantes y subrayó que no mide el aprendizaje: incluso una encuesta de reacción bien hecha no garantiza que alguien haya aprendido ni que el comportamiento vaya a cambiar

La investigación coincide. Una revisión de 34 estudios publicada en Personnel Psychology en 1997 encontró que la opinión de los participantes sobre cuán útil fue una capacitación se relacionaba más con el aprendizaje y el desempeño en el trabajo que cuánto les gustó

El modelo Kirkpatrick: cuatro niveles de evaluación de la capacitación

Donald Kirkpatrick basó el modelo en su tesis doctoral de 1954 en la Universidad de Wisconsin y lo expuso en cuatro artículos que comenzaron en 1959, uno por nivel. Kirkpatrick Partners, la firma que continúa su trabajo, afirma que el modelo llevó el campo más allá de la asistencia y la satisfacción

En la década de 2010, Jim Kirkpatrick, hijo de Donald, y Wendy Kayser Kirkpatrick lo actualizaron como New World Kirkpatrick Model. Añade compromiso y pertinencia al nivel 1, confianza y compromiso al nivel 2, comportamientos críticos e impulsores necesarios (el acompañamiento, las ayudas de trabajo y el reconocimiento que refuerzan el nuevo comportamiento) al nivel 3, e indicadores adelantados, señales de corto plazo de que los comportamientos van por buen camino, al nivel 4. La planificación empieza por el nivel 4 y retrocede. La actualización de la firma de 2026 añade el entorno de desempeño, las condiciones del lugar de trabajo que apoyan o bloquean el avance en cada nivel

Un quinto nivel: la metodología ROI de Phillips

El cuarto nivel de Kirkpatrick identifica resultados, pero no les asigna valor monetario. Jack Phillips, hoy presidente del ROI Institute, añadió en un manual de 1983 un quinto nivel, el retorno de la inversión (ROI). Sus niveles son reacción y acción planificada, aprendizaje, aplicación e implementación, impacto en el negocio y ROI. Según el instituto, hoy también lo usan organizaciones sin fines de lucro, ONG y entidades públicas

El método aísla qué parte de una mejora se debe al programa (mediante un grupo de comparación, análisis de tendencias o estimaciones), la convierte en dinero y la compara con los costos totales, incluidos el diagnóstico de necesidades, la participación y la evaluación. Los beneficios que no se pueden convertir de forma creíble se informan como intangibles. El ROI es el beneficio neto dividido entre los costos, expresado en porcentaje. Solo como ilustración: un programa que cuesta Rp 100 millones y genera Rp 150 millones en beneficios tiene un ROI del 50 %

Cuándo vale la pena calcular el ROI

Como un estudio de ROI exige tiempo y dinero, el ROI Institute sugiere evaluar la reacción en el 90 al 100 % de los programas, pero el ROI solo en el 5 al 10 %, eligiendo programas costosos, de larga duración, estratégicos, muy visibles, grandes o seguidos de cerca por la dirección. Un taller corto y único rara vez lo justifica, ni tampoco un programa cuyos principales beneficios, como la confianza o la seguridad, no pueden valorarse de forma creíble. El propio instituto señala que los beneficios intangibles son en muchos casos más importantes que un ROI positivo

Kirkpatrick Partners sugiere acordar de antemano con los actores qué significa el éxito (Return on Expectations) e informar la contribución de la capacitación en lugar de atribuirse todo el mérito. Cuando los beneficios recaen sobre todo en una comunidad, el SROI puede encajar mejor

Cómo planificar la evaluación de la capacitación en la etapa de diseño

La evaluación funciona mejor cuando se planifica junto con la capacitación, como parte del plan de monitoreo, evaluación y aprendizaje del programa. Cinco pasos:

1. Analizar la necesidad de capacitación. Parta del problema de desempeño. Kirkpatrick Partners advierte que el bajo desempeño suele atribuirse a la falta de conocimientos o habilidades cuando la causa más común es la motivación o el entorno de trabajo, que la capacitación sola no resolverá
2. Vincular los objetivos al trabajo. Indique qué deben hacer distinto los participantes, como «registra cada transacción en efectivo el mismo día», y no solo qué deben saber
3. Elegir uno o dos indicadores por nivel y acordarlos al inicio con el financiador o la dirección
4. Recoger una línea de base. Evaluar los conocimientos y registrar la práctica actual antes de la capacitación
5. Programar el seguimiento. Haga un primer contacto en las primeras semanas, ya que Kirkpatrick Partners desaconseja esperar 90 días. Revise de nuevo el comportamiento a los 3 a 6 meses (el consejo original de Kirkpatrick era 3 meses o más) y los resultados a los 6 a 12 meses

Las normas indonesias del servicio civil ya miran más allá de la asistencia. El Peraturan LAN Nomor 10 Tahun 2018, emitido por la agencia de administración estatal LAN, pide a las entidades públicas evaluar si el desarrollo de competencias, que incluye la capacitación, mejoró la competencia y el desempeño de los funcionarios (artículo 38). Para la formación básica de los aspirantes a funcionarios (CPNS), el Peraturan LAN Nomor 1 Tahun 2021 prevé una evaluación de 6 a 12 meses después de la capacitación para ver si los participantes siguen aplicando en el trabajo lo aprendido (artículo 37). Ambos figuran como vigentes en la base de datos jurídica de la BPK

Mantenerlo simple: herramientas para medir resultados de la capacitación

Los programas pequeños necesitan unas pocas medidas bien elegidas y recogidas con constancia, no un diseño de investigación:

• Reemplace los formularios de satisfacción largos por tres o cuatro preguntas sobre pertinencia, utilidad e intención de uso
• Evalúe las habilidades prácticas con una tarea práctica, como llenar un libro de caja real
• Incorpore las revisiones de comportamiento a visitas o llamadas ya previstas, y pregunte también a un jefe o colega
• Use registros existentes, como informes o datos del programa, antes de diseñar nuevas encuestas
• En grupos grandes, haga un buen seguimiento a una muestra aleatoria en lugar de encuestar mal a todos

Como aconseja el ROI Institute, mida también los niveles inferiores cada vez que informe uno superior. De lo contrario, no podrá explicar por qué aparecieron o no los resultados

Un ejemplo hipotético: capacitación contable para gestores de BUM Desa

Este ejemplo es hipotético y solo sirve para ilustrar. Un programa distrital capacita durante tres días en contabilidad básica a 30 gestores de empresas de propiedad de la aldea (BUM Desa). Antes de la capacitación, 8 de las 30 BUM Desa llevan un libro de caja al día. Los indicadores podrían ser:

• Reacción: al menos el 80 % de los participantes califica el contenido como pertinente para su BUM Desa, en un formulario breve al final de cada día
• Aprendizaje: el puntaje promedio en una prueba práctica, que consiste en registrar 20 transacciones de ejemplo y preparar un resumen mensual, sube de 40 a 75 sobre 100
• Comportamiento: a los 3 meses, al menos 20 de las 30 BUM Desa actualizan su libro de caja cada semana, verificado en una visita y con la supervisión de la BUM Desa o el jefe de la aldea
• Resultados: en 12 meses, al menos 20 BUM Desa completan a tiempo su informe financiero anual, con saldos de caja que coinciden con los libros

Una llamada mensual de un facilitador del distrito y una plantilla sencilla sostienen la nueva rutina. Si las BUM Desa que no participaron también mejoraron, el programa no debe atribuirse toda la mejora. Aquí no valdría la pena un estudio completo de ROI: los principales beneficios, como una rendición de cuentas más clara ante la aldea, son difíciles de valorar en dinero

Conclusión

Medir los resultados de la capacitación significa preguntar más que quién asistió y si le gustó. Parta de los resultados que necesita, recoja una línea de base, revise el comportamiento en pocas semanas y de nuevo a los 3 a 6 meses, y reserve el ROI para los pocos programas que lo justifiquen. Incluso uno o dos indicadores por nivel dan una evidencia mucho mejor que una lista de asistencia

Capacitación y desarrollo de habilidades es una de las seis áreas programáticas de SIDIA y se centra en capacitación a la medida y basada en competencias para entidades públicas, comunidades, ONG y el sector privado