A capacitação funciona? Como medir resultados além da lista de presença

Uma capacitação termina e chega o relatório: uma lista de presença, fotos e uma nota de satisfação de 4,5 de 5. Para muitas equipes de RH, unidades de capacitação do governo, ONG e equipes de RSE, essa é toda a evidência que existe. Ela prova que a capacitação aconteceu, não que alguém aprendeu, passou a trabalhar de outro jeito ou alcançou resultados melhores. Medir os resultados da capacitação significa responder a essas perguntas

Este artigo trata dos modelos de Kirkpatrick e Phillips, do planejamento da avaliação e de um exemplo hipotético de uma capacitação em contabilidade para BUM Desa

Por que listas de presença e formulários de satisfação não bastam

Uma lista de presença conta um produto: o número de pessoas capacitadas. A capacitação é financiada pelos resultados que devem vir depois, como funcionários que mantêm registros corretos. Um Logical Framework traça a mesma linha entre o que um programa entrega e o que muda em consequência

Os formulários de satisfação têm o seu próprio limite. Donald Kirkpatrick definiu a reação como o quanto os participantes gostaram de um programa e ressaltou que ela não mede a aprendizagem: mesmo uma pesquisa de reação bem feita não garante que alguém aprendeu nem que o comportamento vai mudar

A pesquisa concorda. Uma revisão de 34 estudos publicada na Personnel Psychology em 1997 constatou que a avaliação dos participantes sobre quão útil foi uma capacitação tinha relação mais forte com a aprendizagem e o desempenho no trabalho do que o quanto eles gostaram dela

O modelo Kirkpatrick: quatro níveis de avaliação da capacitação

Donald Kirkpatrick baseou o modelo em sua tese de doutorado de 1954 na Universidade de Wisconsin e o apresentou em quatro artigos iniciados em 1959, um por nível. A Kirkpatrick Partners, empresa que dá continuidade ao seu trabalho, diz que o modelo levou a área além da presença e da satisfação

Nos anos 2010, Jim Kirkpatrick, filho de Donald, e Wendy Kayser Kirkpatrick o atualizaram como New World Kirkpatrick Model. Ele acrescenta engajamento e relevância ao nível 1, confiança e compromisso ao nível 2, comportamentos críticos e fatores de sustentação necessários (o acompanhamento, os materiais de apoio e o reconhecimento que reforçam o novo comportamento) ao nível 3, e indicadores antecedentes, sinais de curto prazo de que os comportamentos estão no rumo, ao nível 4. O planejamento começa pelo nível 4 e volta para trás. A atualização da empresa de 2026 acrescenta o ambiente de desempenho, as condições do local de trabalho que apoiam ou bloqueiam o avanço em cada nível

Um quinto nível: a metodologia ROI de Phillips

O quarto nível de Kirkpatrick identifica resultados, mas não lhes atribui valor monetário. Jack Phillips, hoje presidente do ROI Institute, acrescentou em um manual de 1983 um quinto nível, o retorno sobre o investimento (ROI). Seus níveis são reação e ação planejada, aprendizagem, aplicação e implementação, impacto nos negócios e ROI. Segundo o instituto, organizações sem fins lucrativos, ONG e órgãos públicos também o usam hoje

O método isola quanto de uma melhoria veio do programa (por meio de um grupo de comparação, análise de tendência ou estimativas), converte isso em dinheiro e compara com os custos totais, incluindo diagnóstico de necessidades, participação e avaliação. Benefícios que não podem ser convertidos de forma confiável são relatados como intangíveis. O ROI é o benefício líquido dividido pelos custos, em porcentagem. Só para ilustrar: um programa que custa Rp 100 milhões e gera Rp 150 milhões em benefícios tem ROI de 50%

Quando vale a pena calcular o ROI

Como um estudo de ROI exige tempo e dinheiro, o ROI Institute sugere avaliar a reação em 90% a 100% dos programas, mas o ROI só em 5% a 10%, escolhendo programas caros, de longa duração, estratégicos, muito visíveis, grandes ou acompanhados de perto pela direção. Uma oficina curta e pontual raramente justifica o esforço, nem um programa cujos principais benefícios, como confiança ou segurança, não podem ser valorados de forma confiável. O próprio instituto observa que os benefícios intangíveis são, em muitos casos, mais importantes do que um ROI positivo

A Kirkpatrick Partners sugere combinar antes com as partes interessadas o que significa sucesso (Return on Expectations) e relatar a contribuição da capacitação, em vez de reivindicar todo o mérito. Quando os benefícios recaem principalmente sobre uma comunidade, o SROI pode ser mais adequado

Como planejar a avaliação da capacitação na fase de desenho

A avaliação funciona melhor quando é planejada junto com a capacitação, como parte do plano de monitoramento, avaliação e aprendizagem do programa. Cinco passos:

1. Analisar a necessidade de capacitação. Parta do problema de desempenho. A Kirkpatrick Partners alerta que o baixo desempenho costuma ser atribuído à falta de conhecimento ou habilidade, quando a causa mais comum é a motivação ou o ambiente de trabalho, que a capacitação sozinha não resolve
2. Ligar os objetivos ao trabalho. Diga o que os participantes devem fazer de diferente, como “registra cada transação em dinheiro no mesmo dia”, e não só o que devem saber
3. Escolher um ou dois indicadores por nível e combiná-los no início com o financiador ou a direção
4. Coletar uma linha de base. Testar os conhecimentos e registrar a prática atual antes da capacitação
5. Agendar o acompanhamento. Faça contato nas primeiras semanas, já que a Kirkpatrick Partners desaconselha esperar 90 dias. Revise o comportamento de novo após 3 a 6 meses (o conselho original de Kirkpatrick era 3 meses ou mais) e os resultados após 6 a 12 meses

As regras do serviço público indonésio já olham além da presença. O Peraturan LAN Nomor 10 Tahun 2018, editado pelo órgão de administração pública LAN, pede que os órgãos públicos avaliem se o desenvolvimento de competências, que inclui a capacitação, melhorou a competência e o desempenho dos servidores (artigo 38). Para a formação básica dos candidatos a servidor (CPNS), o Peraturan LAN Nomor 1 Tahun 2021 prevê uma avaliação de 6 a 12 meses após a capacitação, para ver se os participantes continuam aplicando no trabalho o que aprenderam (artigo 37). Os dois constam como vigentes na base de dados jurídica do BPK

Mantendo a leveza: ferramentas para medir resultados da capacitação

Programas pequenos precisam de poucas medidas bem escolhidas e coletadas com constância, não de um desenho de pesquisa:

• Substitua formulários longos de satisfação por três ou quatro perguntas sobre relevância, utilidade e intenção de uso
• Teste habilidades práticas com uma tarefa prática, como preencher um livro-caixa real
• Inclua as verificações de comportamento em visitas ou ligações já previstas e pergunte também a uma chefia ou colega
• Use registros existentes, como relatórios ou dados do programa, antes de criar novas pesquisas
• Em grupos grandes, acompanhe bem uma amostra aleatória em vez de pesquisar mal todo mundo

Como aconselha o ROI Institute, meça também os níveis inferiores sempre que relatar um superior. Do contrário, não será possível explicar por que os resultados apareceram ou não

Um exemplo hipotético: capacitação em contabilidade para gestores de BUM Desa

Este exemplo é hipotético e serve só para ilustrar. Um programa distrital capacita 30 gestores de empresas de propriedade da aldeia (BUM Desa) em contabilidade básica durante três dias. Antes da capacitação, 8 das 30 BUM Desa mantêm um livro-caixa atualizado. Os indicadores poderiam ser:

• Reação: pelo menos 80% dos participantes avaliam o conteúdo como relevante para a sua BUM Desa, em um formulário curto no fim de cada dia
• Aprendizagem: a nota média em um teste prático, que consiste em registrar 20 transações de exemplo e preparar um resumo mensal, sobe de 40 para 75 em 100
• Comportamento: após 3 meses, pelo menos 20 das 30 BUM Desa atualizam o livro-caixa toda semana, o que é verificado em uma visita e com a supervisão da BUM Desa ou o chefe da aldeia
• Resultados: em até 12 meses, pelo menos 20 BUM Desa concluem o relatório financeiro anual no prazo, com saldos de caixa que batem com os livros

Uma ligação mensal de um facilitador do distrito e um modelo simples sustentam a nova rotina. Se as BUM Desa que não participaram também melhoraram, o programa não deve reivindicar todo o ganho. Um estudo completo de ROI não valeria a pena aqui: os principais benefícios, como uma prestação de contas mais clara à aldeia, são difíceis de valorar em dinheiro

Conclusão

Medir os resultados da capacitação significa perguntar mais do que quem participou e se gostou. Parta dos resultados de que você precisa, colete uma linha de base, verifique o comportamento em poucas semanas e de novo após 3 a 6 meses, e reserve o ROI para os poucos programas que o justificam. Mesmo um ou dois indicadores por nível dão uma evidência muito melhor do que uma lista de presença

Capacitação e desenvolvimento de competências é uma das seis áreas de programa da SIDIA e se concentra em capacitação sob medida e baseada em competências para órgãos públicos, comunidades, ONG e o setor privado