Оценка эффективности электронного обучения посредством 3 уровня модели Киркпатрика

Одна из главных проблем в корпоративном дистанционном образовании – адекватная оценка эффективности онлайн обучения. На сегодняшний момент существует не так много моделей, позволяющих достоверно оценить результаты учебы, модель Киркпатрика – одна из них.

Эта модель состоит из четырех уровней. Мы остановимся на третьем, самом оптимальном по нашему мнению. На этом уровне можно измерить, насколько успешно знания полученные слушателями применяются ими в текущей деятельности. Кроме того, здесь видны усилия по разработке учебного проекта и его внедрению, так как оцениваются все участники проекта – и слушатели, и руководители проекта, и менеджеры с экспертами.

Если руководство компании требует показать вклад профинансированных онлайновых программ обучения в хозяйственную деятельность организации, в производительность труда сотрудников, один из способов решений данной задачи – применение оценки по 3 уровню модели Киркпатрика. Но необходимо помнить, что помимо 3 модели, необходимо задействовать некоторые критерии из 1 и 2 уровней, что в совокупности позволит учащимся применять новые KSA(knowledge - знания, skills - навыки, attitudes – взгляды) в своей деятельности. Хотим сразу предупредить, что внедрение данной концепции будет непростой задачей и для ее успешного решения потребуются немалые усилия всей команды департамента обучения.

Культура обучения должна быть под стать культуре производства

Сначала нужно провести ревизию в организации существующей культуры обучения. Для этого нужно ответить на следующие вопросы:

· менеджеры полномасштабно и в срок заполняют вопросники обратной связи, что помогает оценить, какая из полученной в процессе обучения информации применяется в их работе;

· эксперты периодически публикуют в электронных ресурсах показатели производительности по итогам прохождения очередного этапа обучения;

· имеется инструментарий, позволяющий оценивать получение новых онлайн знаний в свете производственной деятельности организации:

o ежегодный и ежеквартальные отчеты производительности труда;

o проведение инструктажа;

o карьерный рост;

o наставничество;

o корпоративное дистанционное обучение (обучение-тестирование-результат);

· сотрудникам, прошедшим обучение, создаются благоприятные условия для применения полученных знаний в своей деятельности;

· стимулируется интерес к получению новых знаний путем дистанционного обучения с помощью морального и материального вознаграждения.

Если на все вопросы получен ответ «Да», можно Вас поздравить – это идеальная организация. В противном случае, могут возникнуть проблемы по какому-либо направлению. Здесь придется провести предварительную подготовку для исправления полученных негативных результатов.

Как правильно выбрать обучающие курсы для оценки

Не все курсы нужно включать в список для измерения эффективности по третьему уровню. Необходимо отбирать только наиболее важные, которые действительно влияют на результат обучения.

Нужно в первую очередь определить те направления бизнеса, которые имеют плохие показатели и нуждаются в оценке. Можно опросить руководителей подразделений и составить список показателей, на которые они укажут. Например:

· длительность рабочего цикла одной операции;

· удельная стоимость изготовления конкретной детали/процесса;

· дефекты, появившиеся в процессе производства, в результате чего получился брак и последующая переделка;

· повреждения оборудования, приводящие к сбоям технологического процесса или его полной остановке;

· задачи повышения производительности;

· задачи увеличения продаж продукции;

· задачи повышения трудовой дисциплины и т. д.

Если, к примеру, безопасные условия труда является одним из основных приоритетов организации, то курс по охране труда должен быть обязательно включен в оценку по третьему уровню модели Киркпатрика. Для этого направления необходимо получить от экспертов следующую информацию:

· Для бизнеса.

Работник, не проинструктированный по технике безопасности, выполняет свою работу с большей вероятностью неверных действий, которые могут привести к травме или даже гибели. При возникновении несчастного случая происходит уменьшение производительности труда, возникают издержки на лечение, штрафы и прочие юридические неприятности. Ухудшается моральный климат в коллективе.

· Установка качественных показателей.

Качественные показатели показывают соответствие действительного уровня с желаемым. Они могут определяться по неизмеряемым и по измеряемым данным.

Для примера возьмем опять безопасность и, конкретно, монтажников-высотников. Вот список качественных показателей, которые представили по ним эксперты:

o обязательное и грамотное использование защитного снаряжения;

o на незащищенные области должны быть составлены протоколы безопасности;

o протоколы безопасности на подъемные механизмы;

o протоколы безопасности на перемещаемые по высоте грузы и материалы.

Каждый из этих показателей качества должен определять правила использования, методы измерения, нормы расхода и последовательный алгоритм действий. Кроме того, желательно представить этот список инспекторам по охране труда на рабочих местах, чтобы они уточнили содержание каждого из этих показателей.

На следующем этапе нужно задать правильное соотношение между показателями качества и задачами курса обучения.

Качественные показатели используются и после завершения учебы. С их помощью оценивают, насколько качественно прошел процесс передачи знаний учащимся.

Разработка методики сбора и анализа полученных результатов

При разработке данной методики необходимо придерживаться следующей концепции:

· Тестирование.

Тестирование нужно проводить до и после обучения. Это поможет измерить уровень усвоения вновь полученных знаний.

· Опросы.

Опрос всех участников (учащиеся, эксперты, менеджеры и т. д.) поможет в корректировке качественных показателей в сторону большей эффективности процесса оценки.

· Время.

Определение максимально допустимого времени, необходимого для изменения в поведении обучаемых сотрудников.

· Контрольные группы.

Можно использовать метод контрольных групп для выявления разницы между группой, не участвовавшей в онлайн обучении и группой вовлеченных в электронное обучение. В результате будут получены два варианта качественных показателей. Но будьте осторожны, не забывайте об эффекте Хоторна.

o Методика с одной группой.

При этом методе проводят предварительное тестирование и послекурсовое. Затем измеряют уровень полученных знаний у каждого учащегося.

o Методика контрольной группы.

Также проводят тестирование до и после обучения. Затем определяют, какова подготовка прошедших обучения – хуже, лучше или такая же, как и у не проходивших обучение.

Отберите те методики, которые наиболее подходят Вашей конкретной ситуации. Измерьте и документально оформите результаты. Они будут контрольными точками, которые помогут в измерении качественных результатов обучения.

Разработка учебных курсов

Как показывает практика, при оценке качества обучения третьего уровня модели Киркпатрика неудовлетворительные результаты могут быть получены по двум главным причинам – малая эффективность контента в учебном курсе и несоответствие бизнес требованиям. Возможные решения данных проблем приведены в таблице 1.

Таблица 1

Во время реализации процесса оценки по третьему уровню, на различных его этапах также могут возникнуть определенные проблемы. Возможные пути их решения представлены в таблице 2.

Таблица 2