培训有效吗？超越签到表衡量培训成果

培训结束后，报告随之而来：一份签到表、几张照片，以及满分 5 分中 4.5 分的满意度。对许多人力资源团队、政府培训部门、NGO 和 CSR 团队来说，这就是全部证据。它证明培训办过了，却不能证明有人学到了东西、改变了工作方式或取得了更好的结果。衡量培训成果，就是要回答这些问题

本文介绍柯克帕特里克模型和菲利普斯模型、评估规划，以及一个以 BUM Desa 记账培训为背景的假设示例

为什么签到表和满意度问卷不够

签到表统计的是产出：接受培训的人数。而培训之所以获得资助，是为了随之而来的成果，例如员工能准确记账。Logical Framework在项目交付的东西和由此带来的变化之间，划出了同样的界线

满意度问卷也有其局限。Donald Kirkpatrick 把反应定义为学员对项目的喜欢程度，并强调它并不衡量学习：即使是设计良好的反应调查，也不能保证有人学到了东西或行为会改变

研究也得出同样的结论。1997 年发表在 Personnel Psychology 上的一项涵盖 34 项研究的综述发现，学员对培训有多大用处的看法，比他们有多喜欢培训，与学习和工作绩效的关系更为密切

柯克帕特里克模型：培训评估的四个层级

Donald Kirkpatrick 以他 1954 年在威斯康星大学完成的博士论文为基础建立了这一模型，并在 1959 年开始发表的四篇文章中逐一阐述每个层级。延续其工作的公司 Kirkpatrick Partners 表示，该模型推动这一领域超越了出勤和满意度

在 21 世纪 10 年代，Donald 的儿子 Jim Kirkpatrick 和 Wendy Kayser Kirkpatrick 将其更新为 New World Kirkpatrick Model。它在第 1 级加入参与度和相关性，在第 2 级加入信心和投入，在第 3 级加入关键行为和必要驱动因素（强化新行为的辅导、工作辅助工具和认可），在第 4 级加入先行指标，即显示行为步入正轨的短期信号。规划从第 4 级开始倒推。该公司 2026 年的更新又加入了绩效环境，即在每个层级上支持或阻碍进展的工作场所条件

加上第五级：菲利普斯 ROI 方法

柯克帕特里克的第四级能识别结果，但不给结果赋予货币价值。现任 ROI Institute 主席的 Jack Phillips 在 1983 年的一本手册中加入了第五级，即投资回报率（ROI）。他的层级是：反应与行动计划、学习、应用与实施、业务影响以及 ROI。该研究所表示，如今非营利组织、NGO 和公共机构也在使用这一方法

该方法剥离出改进中有多少来自项目（通过对照组、趋势分析或估算），将其换算为货币，并与包括需求评估、参与和评估在内的全部成本相比较。无法可信地换算的收益作为无形收益报告。ROI 等于净收益除以成本，以百分比表示。仅作说明：一个花费 Rp 1 亿、带来 Rp 1.5 亿收益的项目，ROI 为 50%

什么时候值得计算 ROI

由于 ROI 研究费时费钱，ROI Institute 建议对 90% 至 100% 的项目评估反应，但只对 5% 至 10% 的项目评估 ROI，并选择成本高、周期长、具有战略意义、关注度高、规模大或受管理层密切关注的项目。短期的一次性工作坊很少值得这样做，主要收益（如信任或信心）无法可信定价的项目也是如此。该研究所自己也指出，在许多情况下，无形收益比正的 ROI 更重要

Kirkpatrick Partners 建议事先与利益相关方商定成功的含义（Return on Expectations），并报告培训的贡献，而不是把功劳全部归于培训。如果收益主要落在社区，SROI 可能更合适

如何在设计阶段规划培训评估

评估最好与培训一起规划，作为项目监测、评估与学习计划的一部分。五个步骤如下

1. 分析培训需求。 从绩效问题出发。Kirkpatrick Partners 提醒，绩效不佳常被归咎于知识或技能不足，而更常见的原因是动机或工作环境，单靠培训无法解决
2. 把目标与工作挂钩。 写明学员应当做出哪些不同，例如“当天记录每一笔现金交易”，而不只是写他们应当知道什么
3. 每个层级选一到两个指标，并在开始时与出资方或管理层商定
4. 收集基线。 在培训前测试知识并记录当前做法
5. 安排跟踪。 在头几周内就进行联系，因为 Kirkpatrick Partners 不建议等待 90 天。在 3 至 6 个月后再次检查行为（柯克帕特里克最初的建议是 3 个月或更久），在 6 至 12 个月后检查结果

印度尼西亚的公务员规定已经着眼于出勤之外。国家行政机构 LAN 发布的 Peraturan LAN Nomor 10 Tahun 2018 要求政府机构评估包括培训在内的能力发展是否提升了公务员的能力和绩效（第 38 条）。对于公务员候选人（CPNS）的基础培训，Peraturan LAN Nomor 1 Tahun 2021 规定在培训后 6 至 12 个月进行评估，以了解学员是否在工作中持续应用所学（第 37 条）。两者在 BPK 法规数据库中均列为有效

保持轻量：衡量培训成果的工具

小型项目需要的不是研究设计，而是几项精心挑选、持续收集的衡量指标

• 用三四个关于相关性、实用性和应用意愿的问题，取代冗长的满意度问卷
• 用实操任务检验实际技能，例如填写一本真实的现金账
• 把行为检查融入已有的走访或电话中，也问问上级或同事
• 在设计新的调查之前，先利用报告或项目数据等现有记录
• 对于大群体，宁可认真跟踪一个随机样本，也不要草率地调查所有人

正如 ROI Institute 所建议的，每当报告较高层级时，也要同时衡量较低层级。否则就无法解释结果为什么出现或没有出现

一个假设示例：BUM Desa 管理者记账培训

本示例为假设，仅用于说明。一个县级项目为 30 名村有企业（BUM Desa）管理者开展为期三天的基础记账培训。培训前，30 家 BUM Desa 中有 8 家的现金账是及时更新的。指标可以是

• 反应： 在每天结束时的简短问卷中，至少 80% 的学员认为内容与自己的 BUM Desa 相关
• 学习： 在记录 20 笔示例交易并编制月度汇总的实操测试中，平均分从 40 分提高到 75 分（满分 100 分）
• 行为： 3 个月后，30 家 BUM Desa 中至少 20 家每周更新现金账，通过走访并与 BUM Desa 监督者或村长共同核实
• 结果： 12 个月内，至少 20 家 BUM Desa 按时完成年度财务报告，且现金余额与账目相符

县级辅导员每月一次电话联系，加上一个简单的模板，可以帮助巩固新的习惯。如果没有参加培训的 BUM Desa 也有改善，项目就不应把全部进步算作自己的功劳。在这里做完整的 ROI 研究并不值得：主要收益，例如对村庄更清晰的问责，很难用货币衡量

结论

衡量培训成果，意味着要问的不只是谁来参加、是否满意。从您需要的结果出发，收集基线，在几周内并在 3 至 6 个月后再次检查行为，把 ROI 留给少数值得做的项目。哪怕每个层级只有一两个指标，也比一份签到表有力得多

培训与技能发展是 SIDIA 的六个项目领域之一，重点为政府机构、社区、NGO 和私营部门提供基于胜任力的定制培训