研修は効果があるのか？出席簿の先にある成果の測り方

研修が終わり、報告が届きます。出席簿、写真、そして5点満点中4.5点の満足度です。多くの人事部門、政府の研修部門、NGO、CSRチームにとって、根拠はそれだけです。それは研修が行われたことを証明しますが、誰かが学んだこと、働き方が変わったこと、よりよい成果を上げたことは証明しません。研修の成果を測るとは、こうした問いに答えることです

本記事では、カークパトリック・モデルとフィリップス・モデル、評価の計画、そしてBUM Desaの帳簿研修を題材にした仮の例を取り上げます

出席簿と満足度アンケートでは足りない理由

出席簿が数えるのは産出、つまり研修を受けた人数です。研修に資金が出されるのは、その後に続くべき成果、たとえば正確な記録をつける職員のためです。Logical Frameworkも、プログラムが提供するものと、その結果として変わるものとの間に同じ線を引いています

満足度アンケートにも独自の限界があります。Donald Kirkpatrickは、反応を参加者がプログラムをどれだけ気に入ったかと定義し、それは学習を測るものではないと強調しました。よく設計された反応調査であっても、誰かが学んだことや行動が変わることを保証するものではありません

研究も同じ結論です。Personnel Psychologyに掲載された34の研究に関する1997年のレビューは、研修がどれだけ役に立ったかについての参加者の見方のほうが、どれだけ気に入ったかよりも、学習や職場での成果と強く関係していることを示しました

カークパトリック・モデル：研修評価の四つの段階

Donald Kirkpatrickは、1954年のウィスコンシン大学での博士論文をもとにこのモデルを作り、1959年に始まった4本の論文で、段階ごとに一つずつ示しました。彼の仕事を受け継ぐKirkpatrick Partnersは、このモデルが分野を出席と満足度の先へと進めたと述べています

2010年代に、Donaldの息子のJim KirkpatrickとWendy Kayser Kirkpatrickは、これをNew World Kirkpatrick Modelとして改訂しました。段階1には関与と関連性、段階2には自信と意欲、段階3には重要行動と必要な推進要因（新しい行動を後押しするコーチング、業務支援ツール、承認）、段階4には先行指標、つまり行動が順調であることを示す短期的な兆候が加わりました。計画は段階4から始めて逆算します。同社の2026年の改訂では、あらゆる段階で進展を支えたり妨げたりする職場の条件である業務環境が加えられました

5番目の段階を加える：フィリップスのROI手法

カークパトリックの4番目の段階は成果を特定しますが、金銭価値は付けません。現在ROI Instituteの会長を務めるJack Phillipsは、1983年のハンドブックで5番目の段階として投資収益率（ROI）を加えました。彼の段階は、反応と行動計画、学習、適用と実施、事業へのインパクト、そしてROIです。同研究所によれば、現在は非営利組織、NGO、公的機関もこれを使っています

この手法は、改善のうちどれだけがプログラムによるものかを（比較グループ、傾向分析、推計によって）切り分け、それを金銭に換算し、ニーズ評価、参加、評価を含む全費用と比較します。信頼できる形で換算できない便益は無形の便益として報告します。ROIは純便益を費用で割り、百分率で示したものです。あくまで説明のための例ですが、費用1億ルピアのプログラムが1億5,000万ルピアの便益を生めば、ROIは50%です

ROIを計算する価値があるのはどんなときか

ROIの調査には時間と費用がかかるため、ROI Instituteは、反応についてはプログラムの90〜100%を評価し、ROIについては5〜10%だけを評価するよう勧めています。対象には、費用が大きい、長期にわたる、戦略的、注目度が高い、規模が大きい、または経営陣が注視しているプログラムを選びます。短い単発のワークショップや、信頼や自信のように主な便益を信頼できる形で金額にできないプログラムでは、まず見合いません。同研究所自身も、無形の便益は多くの場合、プラスのROIよりも重要だと述べています

Kirkpatrick Partnersは、何をもって成功とするかを事前にステークホルダーと合意し（Return on Expectations）、研修が単独で成果を上げたと主張するのではなく、その貢献を報告するよう勧めています。便益が主に地域社会に及ぶ場合は、SROIのほうが適しているかもしれません

設計段階で研修評価を計画する方法

評価は、プログラムのモニタリング・評価・学習計画の一部として、研修と一緒に計画するのが最も効果的です。五つの手順を示します

1. 研修ニーズを分析する。 パフォーマンスの問題から出発します。Kirkpatrick Partnersは、成果が上がらない原因は知識や技能の不足にされがちだが、より多い原因は意欲や職場環境であり、それは研修だけでは解決しないと警告しています
2. 目標を仕事と結びつける。 何を知るべきかだけでなく、「すべての現金取引をその日のうちに記録する」のように、参加者が何を変えて行うべきかを書きます
3. 段階ごとに一つか二つの指標を選び、最初に資金提供者や経営陣と合意します
4. ベースラインを集める。 研修前に知識をテストし、現在のやり方を記録します
5. フォローアップの日程を決める。 Kirkpatrick Partnersは90日待たないよう助言しているので、最初の数週間のうちに確認します。3〜6か月後に行動を（カークパトリックの当初の助言は3か月以上）、6〜12か月後に成果を改めて見直します

インドネシアの公務員規則は、すでに出席の先を見ています。行政機関LANが定めたPeraturan LAN Nomor 10 Tahun 2018は、研修を含む能力開発が公務員の能力と業績を高めたかどうかを評価するよう政府機関に求めています（第38条）。公務員候補者（CPNS）の基礎研修については、Peraturan LAN Nomor 1 Tahun 2021が、参加者が学んだことを職場で使い続けているかを確かめるため、研修の6〜12か月後に評価を行うと定めています（第37条）。どちらもBPKの法令データベースで有効とされています

負担を軽くする：研修の成果を測るツール

小規模なプログラムに必要なのは、研究デザインではなく、うまく選んだ少数の指標を一貫して集めることです

• 長い満足度アンケートを、関連性、有用性、活用の意向についての三つか四つの質問に置き換えます
• 実際の現金出納帳を記入するなど、実技の課題で実務能力をテストします
• 行動の確認は既存の訪問や電話に組み込み、上司や同僚にも尋ねます
• 新しい調査を設計する前に、報告書やプログラムのデータなど既存の記録を活用します
• 大きなグループでは、全員を雑に調べるより、無作為に選んだ一部をしっかり追跡します

ROI Instituteが助言するように、上の段階を報告するときは必ず下の段階も測りましょう。そうしないと、成果が出た理由も出なかった理由も説明できません

仮の例：BUM Desa運営者向けの帳簿研修

この例は仮のもので、説明のためだけのものです。ある県のプログラムが、村落所有企業（BUM Desa）の運営者30人に3日間の基礎的な帳簿研修を行います。研修前、30のBUM Desaのうち最新の現金出納帳をつけているのは8つです。指標は次のようになります

• 反応： 毎日の終わりの短いアンケートで、参加者の80%以上が内容を自分のBUM Desaに関連があると評価する
• 学習： 20件の取引例の記録と月次の要約作成からなる実技テストの平均点が、100点満点中40点から75点に上がる
• 行動： 3か月後、30のBUM Desaのうち少なくとも20が毎週現金出納帳を更新している。訪問時に、BUM Desaの監督者または村長とともに確認する
• 成果： 12か月以内に、少なくとも20のBUM Desaが、帳簿と一致する現金残高で年次財務報告を期限内に作成する

県のファシリテーターによる毎月の電話と簡単なひな形が、新しい習慣を支えます。参加しなかったBUM Desaも改善していたなら、プログラムは改善のすべてを自分の成果と主張すべきではありません。ここでは本格的なROI調査は見合いません。村に対する説明責任が明確になるといった主な便益は、金額にするのが難しいからです

まとめ

研修の成果を測るとは、誰が出席し、楽しんだかを超えて問うことです。必要な成果から出発し、ベースラインを集め、数週間以内と3〜6か月後に行動を確認し、ROIはそれに見合う少数のプログラムに取っておきましょう。段階ごとに一つか二つの指標でも、出席簿よりはるかに確かな根拠になります

研修・スキル開発はSIDIAの六つのプログラム分野の一つで、政府機関、地域社会、NGO、民間部門のための、能力に基づくオーダーメイドの研修に重点を置いています