В 1959 г. Дональдом Киркпатриком была предложена модель оценки эффективности обучения, которая на сегодняшний день является классической. По мнению автора, данная оценка позволяет решить три основные задачи организации (рис. 2.1.6).

Рис. 2.1.6.

Данная модель строится на четырех уровнях оценки эффективности обучения персонала (рис. 2.1.7) :

• 1) реакции слушателей на программу обучения, которая проводится путем анкетирования или оценки листов реагирования;
• 2) знаний и опыта, полученных слушателем на программе обучения - определение степени усвоенности полученных знаний с помощью тестов, задач, симуляции;
• 3) поведения на рабочем месте - данный этап является одним из наиболее сложных в оценке, поскольку эффект от обучения может быть заметен не сразу. Однако проведение обследования работы сотрудников на рабочем месте, проверки планов действий, степени понимания целей и задач как всей организации, так и отдельного сотрудника, позволяет выявить успешность обучения;
• 4) влияния программы обучения на деятельность организации. Происходит путем определения ключевых факторов, которые выявляют эффективность обучения (повышение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров). При этом важно знать точные данные этих показателей до обучения, т.е. к результатам относятся лишь те изменения, которые произошли после обучения сотрудников.

Рис. 2.1.7.

Несмотря на то, что Д. Киркпатрик был против финансового измерения эффективности обучения, в 1991 г. Джек Филипс предложил пятый уровень оценки, который определяет результаты четвертого уровня в денежном эквиваленте. Его модель - возврат на инвестиции - позволяет оценить разницу между полученной от программы обучения прибылью и затратами на обучение и определяется по формуле 1

Поскольку для многих работодателей решающим фактором в определении программ обучения сотрудников являются стоимостные показатели, то именно оценка ROI пользуется спросом ввиду возможности оценить образовательную программу как бизнес-инструмент, а также оправдать все затраты на обучение.

Как уже говорилось, современные работодатели рассматривают затраты на обучение персонала в качестве капиталовложений в будущий рост конкурентоспособности предприятия. Однако, чтобы затраты полностью оправдывали себя, необходимо качественно оценить показатели эффективности системы обучения. Кроме того, можно проанализировать внутренние и внешние факторы, способствующие использованию технологии оценки в организации, а также вероятные риски, сопряженные с проведением оценки эффективности обучения. При этом каждая группа рисков подвергается ощутимому влиянию со стороны организации-работодателя.

Например, снизить риски, связанные с несоответствием целей обучения запросам компании, позволит процедура их согласования с перспективами развития компании, окружающей средой, оценкой потребности в обучении на начальном этапе утверждения договора об обучении.

Снизить риски, связанные с низким качеством обучения, помогут оценка программ обучения специалистами отдела по работе с персоналом, оценка соответствия данных программ необходимым для выработки компетенциям, стандартам обучения (рис. 2.1.8). Проверке также могут подлежать специалисты, проводящие обучение, путем изучения их сертификатов, опыта работы в других компаниях, результатов деятельности.

Риски низкой мотивации сотрудников в обучении могут быть решены путем разработки качественной системы мотивации и стимулирования, определяющей зависимость между уровнем квалификации сотрудника и его карьерным ростом, а также материальным поощрением.

Виханский О.С. Стратегическое управление: учебник. 2-е изд., перераб. и доп. М.: Гардарики, 2003. 296 с.

Рис. 2.1.8.

Для уменьшения вероятности ухода специалиста из компании после прохождения обучения может быть заключен договор об обязательном сотрудничестве на определенный период. Кроме того, в рамках системы мотивации сотрудники, успешно прошедшие обучение, могут быть направлены для реализации или координации крупных проектов внутри компании, управления филиалами компании или другими структурными подразделениями 1 . Анализ возможных рисков при обучении персонала организации и способы их минимизации представлены на рис. 2.1.9.

Успешность осуществления обучения персонала в организации зависит не только от проведенной оценки эффективности обучения, но и от качества реализации каждого из этапов в определенной последовательности.

• 1. Подготовительный этап - определение стратегических целей организации в работе с персоналом, уровня готовности организации к инвестированию в собственное развитие, формирование ожидаемых результатов от обучения и методов их использования.
• 2. Определение потребности в обучении предполагает оценку информации о сотрудниках (стаж работы, рабочий опыт, базовое образование, принимал ли работник ранее участие в программах обучения или повышения квалификации); анализ данных о прове-

Лксенова О.Л. Проблемы и приоритетные направления при создании корпоративной системы обучения персонала организации. URL: http://www. treko.ru/show_article_1009

денных аттестациях; оценка существующих проблем в работе персонала, причиной которых служит отсутствие достаточных знаний и навыков; сбор заявок на обучение от руководителей подразделений, а также сбор предложений по обучению от сотрудников путем анкетирования; работа с кадровым резервом; планирование карьеры.

• 3. Обучение руководителей и сотрудников исходя из поставленных целей обучения, планируемых результатов в рамках стратегии развития компании.
• 4. Оценка эффективности обучения.
• 5. Анализ полученных результатов, корректировка учебных программ.

Рис. 2.1.9.

В условиях конкуренции на рынке труда стало очевидным, что проверка эффективности обучения лишь посредством субъективного оценивания изменения поведения сотрудника на рабочем месте не является достаточной и достоверной.

На наш взгляд, данная методика является несовершенной и поэтому требует доработки. Подходя к процессу обучения и его оценке как к формальной процедуре, работодатели забывают о том, что вкладывают в это немалые средства, хотя могли бы получать реальный положительный эффект от роста компетентности своих сотрудников.

Важным этапом в системе оценки должна стать оценка практических навыков (см. п. 4-5), а точнее - способность и возможность сотрудника применять полученные теоретические знания на практике. В организации должны быть созданы условия для реализации этих способностей, т.е. система обучения персонала должна строиться не по формальным признакам, а исходя из реальных потребностей развития тех или иных компетенций сотрудников, требуемых компании на данном этапе работы.

Методика оценки обучения персонала на основе интеграции оценки по модели Киркпатрика

На основе модели Киркпатрика представляем процедуру оценки эффективности обучения и разработанную нами методику оценки обучения.

Реализация процедуры оценки обучения включает в себя шесть основных этапов (рис. 2.1.10).

• 1. Оценка реакции слушателей или оценка удовлетворенности процессом обучения чаще всего проводится путем анализа листов реагирования или простого анкетирования, главными целями которого является определение уровня полезности тренинга, удовлетворенности от процесса обучения, работы тренера.
• 2. Оценка знаний и навыков подразумевает оценку степени достижения поставленных перед обучением целей. Главными инструментами на данном этапе выступают профессиональное тестирование, которое проводится и до обучения, а также экзамены в устной или письменной форме.
• 3. Оценка поведения на рабочем месте , является одним из наиболее сложных этапов, поскольку подразумевает оценку изменения поведения участников обучения на рабочем месте. Работа оценщика может заключаться в собеседовании в стиле коучинга, позволяющем определить понимание сотрудником своих трудовых целей и вклада в общее дело, а также в оценке общего социальнопсихологического климата коллектива.
• 4. Проверка владения полученных навыков путем обучения других сотрудников, проведение презентации для руководителей по вопросам учебной сессии, помощь в адаптации и обучении новых сотрудников, проведение презентаций с коллегами из других подразделений.
• 5. Поскольку владение знаниями не всегда сопряжено с возможностью их практического применения, то важным этапом оценки является оценка практических навыков. Она должна определять, насколько сотрудник готов к выполнению новых задач по результатам обучения. Вариантами проверки могут быть: создание плана мероприятий по совершенствованию какого-либо направления деятельности компании, создание типового документа, положения, стандарта работы, разработка и реализация проекта, направление в другие филиалы и подразделения для обмена опытом и др.
• 6. Оценка влияния программы обучения определяет, насколько изменились бизнес-показатели компании. Наиболее сложным является определение ключевых показателей, которые подвергаются влиянию со стороны проведенного обучения. Если речь идет о финансовых данных, таких как объем продаж, прибыль, затраты, то вклад тренинга измерить довольно сложно, поскольку проведенный тренинг не является единственным фактором, влияющим на эти показатели. То есть оценке подлежат производственные показатели (улучшение качества, увеличение производительности труда персонала, рост продаж, уменьшение количества несчастных случаев и производственных травм, снижение времени обслуживания клиентов, уменьшение производственных затрат и др.).

В условиях кризиса важным является также постсопровождение программы обучения, поскольку в динамично изменяющихся условиях возможность использования навыков, полученных в процессе работы образовательных программ, в практической деятельности может быть утеряна. В такой ситуации оптимально проведение доверительной беседы с сотрудником, объяснение причин сложившейся ситуации, совместная разработка альтернативных методов практического применения знаний (стажировка, управление проектом, получение опыта в других филиалах или разработка системы наставничества). Это позволит избежать демотивации сотрудников, падения уровня вовлеченности в трудовую деятельность, а также уровня лояльности по отношению к руководству и пониманию стратегии развития организации .

Рис. 2.1.10.

Таким образом, реализация всех этапов позволит провести качественную оценку эффективности обучения персонала организации. Однако нельзя забывать, что оценка - не самоцель, а лишь средство поиска недочетов в работе всей системы, зон совершенствования и развития или технология, доказывающая полезность обучения с экономической точки зрения.

Поскольку обучение персонала является довольно затратной процедурой, работодатели стали ответственно подходить как к выбору методик обучения, так и к формированию системы обучения в целом. Важным ее элементом стала оценка эффективности системы обучения персонала, которая позволяет соотнести затратность обучения с его эффективностью.

Использование усовершенствованной модели оценки эффективности обучения позволяет обосновать значимость обучения в общей системе работы с персоналом, определить рациональность использования тех или иных методов обучения, а также выявить недочеты на разных этапах проведения обучения и скорректировать программы для дальнейшей успешной работы компании.

• Удовидненко Р.С., Киреева В.С. Сравнительный анализ моделей оценки эффективности обучения персонала // Современные проблемы науки и образования. 2014. № 6.
• Турчинов Л.И. Кадровая политика и управление персоналом: проблемы теории и практики // Коммуникология. 2014. Т. 7. № 5. С. 103-117.

Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3. Определение предметного содержания.

4. Выбор участников обучения.

5. Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7. Подбор соответствующих преподавателей.

8. Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .

· Уровень 1 - Реакция (Reaction)

· Уровень 2 - Научение (Learning)

· Уровень 3 - Поведение (Behavior)

· Уровень 4 - Результаты (Results)

1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

3. Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

4. Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Результаты не следует измерять в деньгах.

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· проводить оценку до и после программы (если это возможно),

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:

1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;

2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;

3) не учитывается влияние внешних факторов;

4) не ясно, как выделить «чистый эффект» от обучения».

Без оценки эффективности процесса обучения невозможно выстроить систему обучения и развития, которая обеспечивает необходимые бизнес-результаты. Потенциал наиболее распространенной модели оценки - Д. Киркпатрика пока, к сожалению, не полностью используется практиками. А с особенностями ее последней версии большинство наших HR-менеджеров вовсе не знакомо.

В 1954 году Дональд Киркпатрик (Donald Kirkpatrick) защитил кандидатскую диссертацию в Университете штата Висконсин (США) по теме «Оценка эффективности управления программами». Он предложил краткую формулу для описания цикла обучения: реакция - обучение - поведение - результаты . Разделение процесса обучения на этапы помогло объяснить, как обеспечить применение новых навыков на рабочем месте, без чего нельзя достичь желаемых результатов. Кроме того, практики получили инструменты для оценки эффективности каждого из этапов обучения. В 1959 году Д. Киркпатрик написал цикл статей для ASTD Journal*, в которых четко сформулировал критерии для всех четырех уровней оценки (таблица ).

Четыре уровня оценки обучения Д. Киркпатрика

Уровни	Что оценивается	Ключевые вопросы
Уровень 1: «Реакция»	Как участники реагируют на обучающее событие	Понравился ли участникам процесс обучения? Что они планируют делать с новыми знаниями и навыками?
Уровень 2: «Обучение»	Насколько участники усвоили знания, навыки и сформировали необходимые отношения по завершении обучающего мероприятия	Какие навыки, знания, установки изменились после обучения? Насколько значительны эти изменения?
Уровень 3: «Поведение»	Как участники применяют на рабочем месте то, что они узнали во время обучения	Изменили ли участники свое поведение на рабочем месте после обучения?
Уровень 4: «Результаты»	В какой степени по итогам обучения достигнуты намеченные результаты	Оказывают ли изменения в поведении участников положительное влияние на организацию?

Первые статьи Киркпатрика стимулировали дальнейшие исследования в области оценки эффективности обучения (в основном на уровнях 1 и 2). В 1970-е годы четыре уровня Киркпатрика уже широко использовались многими организациями во всем мире, со временем они были оформлены в целостную модель оценки (Four Levels TM Evaluation Model) и приняты в качестве стандарта для оценки профессионального обучения. На протяжении 1980-х было разработано множество различных оценочных методов и инструментов, но внимание практиков по-прежнему концентрировалось на уровнях 1 и 2.

Только в 2005 году Дональд Киркпатрик предложил инструментарий для оценки уровня 3 (поведение), который описал в книге «От обучения к поведению» (Transferring Learning to Behavior) - в соавторстве с сыном Джимом (Dr. James D. Kirkpatrick). Обеспечение эффективного применения результатов обучения в реальной деятельности (перенос знаний и навыков) и сегодня продолжает оставаться одной из самых важных задач для многих обучающих организаций.

Изменения последних лет: Количество и качество исследований в сфере обучения и развития человеческих ресурсов постоянно растет. Для практиков предлагается все больше подходов, методов и инструментов. Настоящую революцию произвело применение в области обучения и развития понятий когнитивной психологии и концепции организационного развития. Область обучения и развития становится междисциплинарной. Широкое использование современных технологий радикально изменяет наши представления не только о формах и видах, но и о сути, и даже о целях обучения. Функция обучения признана неотъемлемой (и важнейшей) частью организационной системы.

В 2006 году, в третьем издании книги «Оценка тренинговых программ» (Evaluating Training Programs), Киркпатрик значительно расширил сферу применения модели, базирующейся на четырех уровнях. Теперь основной акцент в ней делается на уровне 4 (результаты), поэтому модель может использоваться для оценки эффективности как программ обучения, так и процесса управления изменениями, и кроме того - для демонстрации ценности для бизнеса функции обучения в целом . Что важно, был пересмотрен алгоритм работы с моделью: сейчас предлагается начинать оценку «сверху» - с уровня 4, после чего последовательно продвигаться «вниз» - к менее сложным уровням (рис. 1 ). По мнению автора, это позволит сосредоточить усилия специалистов по обучению на достижении запланированных бизнес-результатов и поддержке необходимого поведения.

Нажмите на изображение для увеличения

Рис. 1. Измененная модель Киркпатрка: «Конец - это начало»

В 2007 году Дональд и Джим Киркпатрики развили свои идеи в работе «Применение четырех уровней» (Implementing the Four Levels), в которой предложили практикам принципиально новый подход: формирование «цепочки доказательств» (chain of evidence) для руководителей. Этот алгоритм позволяет специалистам по обучению собрать убедительные свидетельства, помогающие показать топ-менеджерам, какая ценность создается для бизнеса.

Алгоритм «цепочка доказательств»:

• концентрирует внимание руководителей на уровнях 3 и 4, где речь идет о влиянии обучения на достижение запланированных результатов и создании ценности для бизнеса;
• помогает использовать модель четырех уровней для измерения полученного результата , причем - на всех этапах, начиная с момента возникновения инициативы по обучению.

В этом его принципиальное отличие от традиционного подхода, в большей степени оценивающего эффективность процесса обучения (поскольку он сфокусирован на уровнях 1 и 2, внимание менеджеров в основном сосредоточено на затратах на обучение ).

По мнению разработчиков новой концепции, для того чтобы гарантировать результаты, необходимо еще до начала обучения определить:

• ожидаемые результаты;
• ключевые показатели;
• методы измерения и оценки.

И это еще не все изменения! Авторы добавили в модель еще один - пятый уровень оценки (уровень 5: «Рентабельность инвестиций»). Оценка эффективности обучения на этом уровне позволяет получить ответ на ключевой для бизнеса вопрос: «А стоило ли тратить деньги на обучение»?

Сильные стороны модели Киркпатрика (с точки зрения экспертов): легкость понимания - для всех людей, не только для специалистов в области обучения; хорошая проработка; широкое использование (в промышленности, в вузах и др.); основа для разработки других моделей оценки (например, уровни Кауфмана и Келлера, модель ROI Филипса и др.). Ограничения модели: слишком упрощенный подход; не доказана причинно-следственная связь между различными уровнями; уровни 1 и 2 могут смешиваться (совмещаться), тогда вероятны ошибочные выводы; многие организации реализуют программы обучения, соответствующие лишь уровням 1 и 2, игнорируя необходимость формирования поведенческих моделей, которые нужны для переноса навыков и знаний в рабочие ситуации; уровни оценки не выходят за рамки обучения (не включают меры по повышению производительности).

Модель Киркпатрика успешно работает уже более 50 лет. Но существенные изменения в методах управления и организации бизнеса потребовали переосмысления роли функции обучения в организации. В то же время, как отмечают Киркпатрики, многие специалисты по обучению до сих пор не готовы принять на себя ответственность за все, что выходит за рамки подготовки и реализации учебных программ (особенно за результаты, которые прошедшие обучение люди демонстрируют на рабочих местах).

Продолжая творчески развивать свой подход, Джим Киркпатрик - теперь уже в соавторстве с женой Венди (Wendy Kayser Kirkpatrick) написал книгу Training on Trial: How Workplace Learning Must Reinvent Itself to Remain Relevant. Фактически это «руководство по изменениям» для корпоративных тренеров и специалистов тренинговых компаний. Эксперты настоятельно рекомендуют практикам в условиях кризиса:

• переосмыслить свою роль;
• активно расширять сферы своей компетентности за счет приобретения опыта работы в бизнес-подразделениях;
• усиливать свое влияние за пределами учебных аудиторий - предлагать решения, которые приносят ощутимые (измеримые) бизнес-результаты.

Но пока изменения «в головах» внутренних и внешних тренеров происходят очень медленно: многие из них все еще пытаются доказать свою незаменимость, используя показатели «уровень посещаемости» и «данные об оценках» (уровень 1), а также «результаты тестирования» (уровень 2). При этом бенчмаркинговые исследования убедительно демонстрируют: тот, кто начинает с уровня 1, очень редко доходит до самых высоких уровней оценки.

Авторы убеждены: подобное упорство специалистов по обучению наглядно иллюстрирует живучесть мифа о том, что само по себе участие в обучающем мероприятии автоматически способствует улучшению бизнес-результатов (уровень 4). Но сегодня стейкхолдеры расценивают подобную «наивность» как свидетельство неадекватности, что буквально провоцирует их задаться вопросами: «Сколько стоит это удовольствие? Какую пользу приносит?».

Джим и Венди Киркпатрики считают, что ситуация с репутацией функции обучения в глазах менеджеров очень серьезна. Чтобы исправить положение, специалистам по обучению уже недостаточно «просто» разрабатывать новые программы и методы обучения - сегодня они должны изменить принципы своей работы, научиться создавать реальные ценности для бизнеса и убедительно демонстрировать важность этих ценностей .

Авторы предлагают новый принцип, который поможет в корне пересмотреть подход к планированию и разработке обучающих программ: «Конец - это начало!» В качестве исходного пункта они советуют тренерам обсудить с руководителями:

1) ожидания бизнес-лидеров;
2) их понимание успеха (как желаемый результат «будет выглядеть»);
3) какие наблюдаемые и измеримые показатели успеха будут использоваться для оценки результата (уровень 4).

Итогом работы на этом этапе должны стать наборы HR-метрик, на основе которых рассчитывается новый показатель: возврат на ожидания - return on expectations, ROE (по аналогии с ROI - возврат на инвестиции). Затем специалисты по обучению должны обсудить с руководителями среднего звена, какое именно поведение критически важно для того, чтобы добиться намеченных результатов (уровень 3). Только после этого они могут приступить к проектированию учебных мероприятий (уровни 1 и 2), которые обеспечат формирование критически важных сценариев поведения сотрудника, необходимых для повышения его эффективности на рабочем месте.

Лишь на этой основе можно обеспечить:

• эффективное применение новых навыков и закрепление изменений в поведении на рабочем месте (уровень 3);
• достижение бизнес-целей (уровень 4);
• реализацию задач в области управления талантами (уровень 4).

Таким образом, метрики уровня 4 становятся краеугольным камнем в определении объема ответственности всех заинтересованных сторон. В свою очередь, четкое разграничение сфер ответственности является базовым условием для успешной реализации модели бизнес-партнерства.

Еще одно усовершенствование Д. Киркпатрика - разработка новой «Модели достижения целей». Особое место в ней занимают «драйверы» (или «усилители»). Драйверами выступают все процессы и системы (рис. 2 ), которые:

• усиливают действия (поведение);
• контролируют процедуры (мониторинг);
• вознаграждают демонстрацию критически важного поведения на рабочем месте.

Рис. 2. Драйверы («усилители») - поощряют или препятствуют закреплению новых поведенческих моделей

Эффективное выполнение рабочих задач обеспечивает совместное воздействие процесса оценки поведения (уровень 3) и драйверов. Без этой поддержки успешно применяется на практике всего около 15% новых знаний, навыков и установок, что снижает ценность обучения для бизнеса.

Новая «Модель достижения целей» Киркпатрика также позволяет специалистам выйти за рамки собственно обучения. Она помогает людям разрабатывать планы достижения целей, предусматривающие конкретные мероприятия/ действия (и измерение эффективности на всех четырех уровнях). Поэтапное планирование, ясное представление о конечных целях/ результатах, тщательный мониторинг выполнения мероприятий плана и объективная оценка каждого этапа процесса повышают вероятность достижения успеха.

Кроме того, модель Киркпатрика предоставляет консультантам в области обучения и провайдерам консалтинговых услуг методологию и инструментарий для того, чтобы они могли убедительно продемонстрировать своим клиентам, какие результаты получатся при реализации предлагаемых программ обучения и развития.

Новые разработки семьи Киркпатриков дают эйчарам эффективные инструменты, позволяющие им действительно стать бизнес-партнерами, наглядно продемонстрировать силу бизнес-партнерства тренеров, линейных руководителей и топ-менеджеров. (Опросник Д. Киркпатрика «Бизнес-партнерство» см. в приложении ).

Приложение Опросник «Бизнес-партнерство» (Kirkpatrick SM) Шкала оценки: низкий - редко соответствует; средний - иногда соответствует; высокий - соответствует всегда (или почти всегда). Утверждение Оценка (уровень) Низкий Средний Высокий 1 Наша функция обучения часто получает обоснованные просьбы о помощи от линейных бизнес-лидеров, связанные с задачами, потребностями или возможностями для развития бизнеса 2 У нас есть процессы, которые позволяют определить - связаны ли запросы со стороны бизнеса с необходимостью в профессиональной подготовке (или с другими проблемами) 3 Наши процессы разработки обучающих программ хорошо согласованы с потребностями бизнеса 4 Собирая информацию для оценки потребностей в обучении от внутренних клиентов (бизнес-стейкхолдеров), для ключевых инициатив, мы выясняем «как будет выглядеть успех» 5 Мы привлекаем экспертов в предметных областях к разработке и развитию программ 6 До начала программ профессиональной подготовки линейные менеджеры обсуждают с участниками обучения ожидания и перспективы использования результатов по возвращению на работу 7 Мы привлекаем бизнес-лидеров к определению ключевых направлений обучения и обучающих программ 8 Мы определяем и развиваем специфические для каждого вида работ компетенции 9 Мы согласуем компетенции с реальными требованиями к поведению на рабочем месте 10 Мы эффективно оцениваем Уровень 1: «Реакция» 11 Мы эффективно оцениваем Уровень 2: «Обучение» 12 Мы эффективно оцениваем Уровень 3: «Поведение» 13 Мы эффективно оцениваем Уровень 4: «Результаты» 14 Мы проводим оценку эффективности результатов обучения, чтобы продемонстрировать его ценность для бизнеса 15 Менеджеры обеспечивают своим подчиненным обратную связь и коучинг, чтобы максимизировать результаты обучения 16 Мы выявляем и контролируем ключевые факторы, которые способствуют или препятствуют закреплению результатов обучения в поведении 17 Мы разработали эффективные пособия для участников обучения и их руководителей, чтобы закрепить то, чему они научились на рабочем месте 18 Мы эффективно используем новые технологии для того чтобы усовершенствовать обучение и оценку 19 Мы эффективно демонстрируем бизнес-лидерам ценность, которую добавляет обучение и его влияние на бизнес-результаты 20 Я считаю, что в целом в нашей организации сформирована «культура обучения» X 1 X 2 X 3 Умножьте сумму баллов в каждой колонке на соответствующий множитель (X 1 - низкие, X 2 - средние, X 3 - высокие) Суммируйте все оценки Σ = Интерпретация результатов Чтобы оценить, насколько хорошо отвечающее за обучение подразделение (специалист) соответствует интересам бизнеса, используйте шкалу: 60–50 - отлично; 49–42 - очень хорошо; 41–34 - хорошо; 33–26 - средне; 2–20 - плохо.

Среди специалистов в области обучения и менеджеров широко распространен упрощенный взгляд на обучение. Этот подход породил ряд мифов, устойчиво циркулирующих среди менеджеров: Миф 1: «Каждый, кто когда-нибудь чему-нибудь учился, является экспертом в области обучения». На самом деле: Обучающее мероприятие/тренинг - это поведенческое и когнитивное событие, которое может быть структурировано и исследовано эмпирически. Существует специальная научная дисциплина, достижения которой должны использоваться для оптимизации плана обучающих программ. Разработаны методы и процедуры, правильное и последовательное применение которых способствует повышению эффективности обучения. Миф 2: «Эксперты могут определить потребности в обучении». На самом деле: Личного опыта экспертов не всегда достаточно; чтобы понять истинные потребности в обучении, необходимо собрать данные из многих источников. Эксперты в определенной предметной области не обязательно понимают суть и особенности процесса обучения. Привлекать экспертов в предметных областях очень важно, однако они должны работать в партнерстве со специалистами по обучению. Миф 3: «Реакция на обучение = обучение». На самом деле: Если слушателям весело, это не означает, что они чему-то научатся. «Инструментальность» обучения слабо связана с его эффективностью, но оказывает влияние на мотивацию обучаемых. Простые методы измерения результатов обучения недостаточны для оценки качества подготовки. Миф 4: «Обучение непосредственно (само по себе) ведет к изменению поведения». На самом деле: Перенос навыков на рабочее место - очень сложный процесс, на который влияет множество факторов, например: поддержка руководителя и коллег, культура обучения в компании, возможности для применения новых знаний/навыков на практике и т. п. Даже если слушатели демонстрируют хорошие результаты обучения после завершения учебной программы, это не означает, что они смогут успешно применить новые знания и навыки на своем рабочем месте.

Зачем оценивать обучение?

В статье «Методы оценки тренинговых программ» (Techniques for Evaluating Training Programs) Дон Киркпатрик писал: «Я бы рекомендовал директорам по обучению проявлять инициативу в оценке учебных программ - до того, как придет день расплаты». Что удивительно, так это дата написания статьи в ASTD Journal - ноябрь 1959 года! За прошедшие полвека тезис о том, что процесс обучения, затраты на него и результаты должны оцениваться, казалось бы, стал банальностью. Но, несмотря на это, поэтапная оценка обучения, к сожалению, так и не изменила «модус вивенди» корпоративных тренеров.

• усовершенствование учебных программ;
• повышение эффективности подготовки сотрудников;
• демонстрация ценности функции обучения для топ-менеджеров.

Традиционно усилия специалистов по обучению были сфокусированы на наиболее очевидных результатах: эмоциональной реакции участников после завершения тренинговой программы. К сожалению, многие из сложившихся практик не соответствуют требованиям и нуждаются в усовершенствовании.

Чтобы проанализировать мнение участников о программе обучения (Уровень 1: «Реакция»), тренеры разработали множество инструментов. Их называют по-разному: «анкеты комментариев», «анкеты реакции», «листы улыбок» или «листы счастья» и т. п. Какой же должна быть форма, которая позволит получить максимум информации и в то же время потребует минимум ресурсов? Предлагаем несколько советов. Составьте перечень вопросов для участников (мы рекомендуем 8–15), на которые хотите получить ответы. Разработайте специальную форму для оценки мнений участников тренинга. Чаще всего в таких случаях используется «пятибалльная шкала» или хорошо всем известная «шкала Ликерта»: Можно начинать с отрицательных или положительных отзывов - это не принципиально. Оставьте место для комментариев. В конце анкеты предусмотрите место для предложений участников по улучшению курса. (Например, задайте вопрос: «Какие изменения улучшили бы программу?») Анкеты должны быть анонимными. (Конечно, знать автора бывает важно в том случае, если в анкете встретится интересное предложение по улучшению курса, но в целом гарантия анонимности позволяет получить более искренние отзывы.) Убедитесь в том, что для оценки выбраны подходящие вопросы. Постарайтесь получить ответы от всех участников курса. Если оценивается электронный курс обучения, разошлите участникам удобную форму для обратной связи (обязательно подчеркните значимость ответов каждого из участников программы). Если оценивается очная учебная программа, предусмотрите в конце занятий специальное время для заполнения участниками анкеты. Почему обязательно следует разрабатывать специальную форму? Во-первых , речь идет о клиентах (не имеет значения, внутренних или внешних), поэтому важно, чтобы они остались довольны программой. Некоторые коллеги, руководители или будущие участники учебных программ, наверное, спросят у тех, кто уже прошел обучение: «Что вы думаете об этом курсе?» Трудно представить себе. Какой урон будет нанесен функции обучения, если люди будут давать негативные отзывы о приобретенном опыте: «Только зря потерял время!», «Ничего, что пригодилось бы в работе» или «Откажитесь от этого, если сможете»… Во-вторых , скорее всего, негативно окрашенные слухи дойдут до кого-то из топ-менеджеров. Последствия этого могут стать трагическими для отдела обучения: скорее всего, руководитель не станет утруждать себя анализом общего мнения о курсе, а сделает вывод о его неэффективности (со всеми вытекающими последствиями). Поэтому поинтересоваться мнением участников важно в первую очередь для самих тренеров! Фрагмент из книги «Четыре ступеньки к успешному тренингу», Дональд Л. Кирпатрик и Джеймс Д. Кирпатрик, М. - Эйч Ар Медиа, 2008.

С усложнением условий ведения бизнеса (рост конкуренции, увеличение роли человеческого фактора, финансовый кризис и т. д.) предприятия все больше стремятся к сокращению расходов и финансированию мероприятий, которые дают прогнозируемые результаты и наивысшую отдачу. В конечном итоге:

1. Топ-менеджеры требуют оценить эффективность обучения на более высоких уровнях - Уровень 3: «Поведение» и Уровень 4: «Результаты».
2. Многие компании отказываются от учебных программ, ценность которых не может быть обоснована с финансовой точки зрения (и, к сожалению, «до улучшения ситуации» увольняют специалистов по обучению персонала).

Это говорит о том, что сегодня в серьезной опасности оказались уже не отдельные тренеры/ тренинговые компании - во многих случаях под сомнение ставится необходимость самой функции обучения! Разрабатывая «стратегию спасения», Киркпатрики предлагают тренерам срочно изменять свое представление о мире бизнеса и осваивать в организации новые роли. Важнейшие условия изменения:

• выявлять потребности бизнеса;
• достигать практических (!), не просто выдающихся (!), но превосходящих ожидания (!) результатов;
• оценивать (в цифрах) свой вклад в достижение успеха и развитие компании и убедительно демонстрировать его всем ключевым заинтересованным сторонам.

Самое главное для тренеров - научиться действовать в «проектной рамке», как это принято в других функциях: предоставлять экономическое обоснование для получения средств (инвестиций) на проекты, заблаговременно планировать и бюджетировать их реализацию.
__________
* ASTD Journal - журнал Американской ассоциации обучения и развития (American Society for Training & Development, ASTD)

Статья предоставлена нашему порталу
редакцией журнала

Игра стоит свеч. Как оценить эффективность бизнес-тренинга? Макота Елена Михайловна

Глава 1 Классическая модель Дональда Киркпатрика

Классическая модель Дональда Киркпатрика

Четыре уровня оценки эффективности тренинга

Самый верный способ успеть как можно больше – рвануть с места в карьер. Время – деньги! Если вы еще не поняли, моя задача – сэкономить для вас как можно большее их количество. Поэтому приступаем к работе немедленно!

Совершенно очевидно, что вы всегда можете измерить тот или иной показатель несколькими способами. Но есть ли среди них тот самый, эталонный? Тот, который гарантирует вам наибольшую точность?

Вовсе нет – такой гарантии вам не может дать никто. Особенно это становится явным, когда речь заходит о неточных величинах: вы сможете вычислить их лишь приблизительно. Попробуйте убедить себя, что в стограммовом куске сыра из магазина именно 28 граммов белка и ни граммом меньше. Вы действительно в это верите?

Но – даже с поправкой на неточности и погрешности – в основе каждой системы оценки все равно лежит некая классическая методология или теория, признанная большинством специалистов в той или иной области.

Теория системообразующая. Фундаментальная. Выверенная. Та самая, которая позволяет с большой долей уверенности говорить об истинности полученных с ее помощью показателей. И, представьте себе – такая модель существует и для оценки эффективности тренингов! Более того, в этой книге мы разберем ее наиподробнейшим образом. Но ответит ли она на все наши вопросы?

Для начала зайдем в гости к классикам. Как Филипп Котлер стал иконой для маркетинга, так и Дональд Киркпатрик удостоился аналогичного статуса в американском кадровом менеджменте. Его четырехуровневая модель оценки эффективности тренинга увидела свет в 1959 году – уже в те времена американцы подходили к лозунгу «кадры решают все» более щепетильно, чем плановики Советского Союза. Чертовски дальновидно!

Оглянитесь – и поймете, что истинные знания не поддаются времени. Прошло больше 50 лет, бал правят транснациональные корпорации, фрилансеры все чаще и эффективнее заменяют наемных работников, а модель Киркпатрика до сих пор остается одной из базовых при оценке эффективности тренингов для персонала. В чем соль?

Никакого секрета здесь нет, зато есть грамотная группировка информации. По сути, в своей модели Кирк-патрик упорядочил и разделил всю сумму эффектов проведенного тренинга на четыре отдельных уровня. Оценки каждого из них, сложенные воедино, и дают нам информацию о необходимости и эффективности проведенного обучения.

Как я уже упоминала ранее, эта модель имеет четыре уровня. Вот они:

Уровень 1: «Реакция». Главный вопрос: «Какова реакция сотрудника на обучение»?

Уровень 2: «Обучение». Главный вопрос: «Что именно сотрудник усвоил в процессе проведения тренинга»?

Уровень 3: «Поведение». Анализируется то, как полученные на тренинге навыки и знания применяются в работе. После этого вы сможете дать ответ на главный вопрос этого уровня: «Как изменилось профессиональное поведение обучавшихся»?

Уровень 4: «Результаты». Оцениваются непосредственно показатели эффективности компании – насколько они изменились после обучения персонала? Главный вопрос: «Что получила компания от проведенного тренинга»?

Однако упомянутыми четырьмя уровнями исследование вопроса не ограничилось. В 1991 году модель Кирк-патрика была дополнена Джеком Филипсом, который включил в нее пятый, заключительный уровень – «отдачу на инвестиции» (ROI).

Это была осознанная попытка перевести измерение эффективности тренинга в материальную плоскость. Удалось ли это Филипсу или нет, мы выясним чуть позже. А пока вновь обратимся к классике, которая, оказывается, далеко не безгрешна.

Да-да! Оказывается, у модели Киркпатрика есть свой серьезный недостаток – она оценивает эффективность тренинга уже после его проведения. Причем не сразу: сбор данных на всех четырех уровнях может растянуться на несколько месяцев. Есть ли у вас и вашего бизнеса время ждать?

Многие руководители отвечают на этот вопрос отрицательно, предпочитая ограничиваться оценкой лишь на первом уровне – это позволяет сэкономить временные и финансовые затраты. Но будет ли такая оценка объективной, покажет ли она конкретные результаты обучения, даст ли необходимую информацию для управленцев? Разумеется, нет – и доказательства тому вы будете получать на всем протяжении этой книги.

Из книги Уши машут ослом [Современное социальное программирование. 1-е издание] автора Матвейчев Олег Анатольевич

Из книги Менеджмент автора Дорофеева Л И

5. Классическая школа в управлении Управленческие знания появились задолго до нашей эры и задолго до того, как управление оформилось в самостоятельную научную дисциплину и профессию. Самостоятельной областью деятельности управление было признано только в XX веке.

Из книги Менеджмент: конспект лекций автора Дорофеева Л И

1. Классическая школа в управлении Управленческие знания появились задолго до нашей эры и задолго до того, как управление оформилось в самостоятельную научную дисциплину и профессию. Самостоятельной областью деятельности управление было признано только в ХХ веке.

Из книги Компетентность в современном обществе автора Равен Джон

Модель компетентности и психологическая модель способностей Прежде чем перейти к дальнейшему обсуждению данной модели компетентности, рассмотрим ее фундаментальные отличия от многофакторной модели способностей, столь популярной в психологической литературе.

Из книги Маркетинг 3.0: от продуктов к потребителям и далее – к человеческой душе автора Котлер Филип

Глава 2 Модель маркетинга 3.0 Краткий исторический обзор последних 60 лет маркетинга На протяжении последних шести десятков лет маркетинг был одной из самых волнующих тем в бизнесе. Коротко говоря, маркетинг охватывает три основные дисциплины: управление товаром,

Из книги Активные продажи 3.1: Начало автора Рысев Николай Юрьевич

Классическая техника – «Предположим» Техника заключается в том, что вы предлагаете клиенту представить, будто проблема, о которой он заявляет, уже решена, будто ее нет.П: А если бы место на прилавке все-таки было, тогда бы вы какую колбасу заказали?И вот тут наступает

Из книги Психология как бизнес. Как психологу раскрутить себя автора Черников Юрий Николаевич

Модель 1.0 и модель 2.0 – найдите тысячу отличий Модель 1.0 – это модель старшего поколения, схема вчерашнего дня. В этом случае мы заканчиваем вуз, затем повышаем свою квалификацию до уровня тренера-психотерапевта, психолога-консультанта, потом становимся

Из книги 100% брэнд. Как продавать счастье автора Ляпоров Владимир Николаевич

Из книги Стили менеджмента – эффективные и неэффективные автора Адизес Ицхак Калдерон

Из книги Функциональный менеджмент. Как из хаоса создать порядок, преодолеть неопределенность и добиться успеха автора Рятов Кадирбай

Глава 1 Функциональная модель человека 1.1. Человек и мир вокруг. Действия как источник познания На протяжении тысячелетий человек накапливает знания об окружающем мире, оттачивая самые важные и необходимые для жизни навыки и умения. Приобретаемые знания и опыт

Из книги Как стать богатым автора Макивер Мередит

Часть 1 Школа бизнеса и управления Дональда Дж. Трампа В книге «Искусство заключать сделки» я упоминал мою Немезиду – наставника из Нью-Йоркской военной академии Теодора Добиаса (слева от меня). Справа от меня – генерал-майор Джон

Из книги Как сэкономить на маркетинге и не потерять его автора Монин Антон Алексеевич

Часть 2 Время вашего ученичества (советы Дональда по продвижению по службе) Сами управляйте ходом собеседования За многие годы у меня накопилось немало любопытного опыта в том, что касается собеседований о приеме на работу. Хороший пример – Норма Фёрдерер. После первого

Из книги Великолепная команда. Что нужно знать, делать и говорить для создания великолепной команды автора Миллер Дуглас

Из книги Практика управления человеческими ресурсами автора Армстронг Майкл

Из книги Универсум. Общая теория управления автора Масликов Владислав Иванович

Из книги автора

5.1. Классическая и универсумная схемы Мысль о единстве алгоритмики, свойственной самым различным объектам, явлениям и процессам, относящимся к психологии, социологии, философии, информационным системам и многим другим областям знаний, давно высказывалась различными

Четырёхшаговая модель Киркпатрика

по оценке результатов обучения

Позволяет оценить результаты обучения персонала, используя четыре шага и задавая соответствующие вопросы:

• Первый шаг модели Д Киркпатрика: Как участники реагируют на обучающее событие? Понравился ли участникам процесс обучения? Что они планируют делать с новыми знаниями и навыками?
• Второй шаг модели Дональда Киркпатрика: Насколько участники усвоили знания, навыки и сформировали необходимые отношения по завершении обучающего мероприятия? Какие навыки, знания, установки изменились после обучения? Насколько значительны эти изменения?
• Третий шаг модели Киркпатрика: Как участники применяют на рабочем месте то, что они узнали во время обучения? Изменили ли участники свое поведение на рабочем месте после обучения?
• Четвёртый шаг модели Д Киркпатрика: В какой степени по итогам обучения достигнуты намеченные результаты? Оказывают ли изменения в поведении участников положительное влияние на организацию?

Задавая вопросы, можно понять, какого качества обучение компания получила от провайдеров. Самым эффективным будет считаться обучение четвёртого шага.

При этом необходимо понимать, что в случае если ответы на вопросы будут оцифрованы, то это касается 2, 3, 4 шага. В таком случае идеальным обучением будет считаться обучение 4 шага, имеющее экономические характеристики эффективности предприятия.

Эффективная позволяет проводить объективную оценку обучения персонала с определением основных неточностей и проблем.