Методики оценки программ корпоративного обучения

Оценка является составной частью любого корпоративного учебного проекта (instructional design - ID). Педагогическая эффективность обучения напрямую зависит от средств оценки. Но, несмотря на такую значимость, во многих проектах процесс оценивания не полон или вовсе отсутствует. В оправдание такой ситуации приводят следующие объяснения: недостаток средств, отсутствие экспертов, нехватка времени, отсутствие подходящей методики.

Действительно, адекватная оценка обучения очень сложная задача. Необходимо учитывать большое количество факторов не только педагогического характера, но и организационного. Причем все эти факторы динамично изменяются и взаимодействуют друг с другом.

Сложность оценки заключается и в том, что необходимо оценивать множество целей на различных уровнях:

· оценка успеваемости учащихся;

· оценка контента;

· оценка процесса обучения;

· возврат от инвестиций (ROI) и т. д.

Методики оценки в корпоративном дистанционном обучении

Наибольшее применение получили методики оценки, которые выросли из систематических методик учебных проектов (СПД модели), появившихся в США еще в 60-х годах. В систематических методиках рассматриваются три цели:

1. Улучшение процесса обучения – формативная оценка.

2. Насколько ценный и эффективный процесс обучения – суммативная оценка.

3. Оценка непосредственного течения процесса обучения.

Всего существует шесть основных методик, служащих для оценки образовательного процесса:

1. Оценка по конкретной цели.

2. Общая оценка (не привязанная к конкретной цели).

3. Системная оценка.

4. Квазилегальная оценка.

5. Профессиональное интервью.

6. Оценка реакции.

Наиболее часто при оценке обучения применяются системные и целевые методики. Самая известная и авторитетная система была предложена Киркпатриком. Его модель следует целевой методике и основана на четырех вопросах:

1. Первый уровень - Реакция.

Собираются данные по окончании учебной программы о реакции учащихся.

2. Второй уровень - Усвоение.

Определяется, какие задачи обучения полностью выполнены.

3. Третий уровень - Поведение.

Оценивается, какие произошли изменения в таком показателе, как производительность труда, по окончании процесса обучения.

4. Четвертый уровень - Результат.

Оцениваются экономические зависимости матрицы «затраты/выгода» по окончании учебного курса.

Модель Киркпатрика помогает практикующим педагогам разработать модель оценки для обучения в широком диапазоне целей – от технических вопросов до конспирологии политических идей. Недостатком данной модели является то, что она не определяет конкретные шаги, направленные на достижение цели и у нее нет обратной связи между результатом и мерами, направленными на улучшение обучения.

В основном, учебные учреждения применяют на практике первый или второй уровень и не используют оценочную модель Киркпатрика целиком. Это обусловлено тем, что начиная с третьего уровня, резко повышается сложность реализации модели.

Системные модели оценки, например, TVS, IPOили CIPP, больше подходят для оценки контента и ситуационных характеристик. С другой стороны они не дают необходимой детализации процесса, в них не отражается динамика взаимодействия между оценкой обучения и учебным проектом. Не дают они в руки аналитиков и инструментов, позволяющих оценить учебный процесс.

Для примера приведем описание системной модели TVS. Ее структура схожа с моделью Киркпатрика и также отвечает на четыре вопроса:

1. Ситуация.

На этом уровне происходит сбор данных перед началом обучения. Эти данные служат материалом для анализа и определения параметров качества и производительности в компании, а также необходимых будущих изменений в уровнях обучения.

2. Интервенция.

Определяется действительная разница в уровне планируемой и текущей производительности и происходит поиск оптимальной программы обучения для решения этого несоответствия.

3. Влияние.

Оценка данных, полученных до и после обучения.

4. Значение.

Измеряются наиболее значимые для предприятия параметры, которые можно выразить в денежном исчислении (качество, продажи, продуктивность, сервис и т. д.).

Практические аспекты оценки обучения

По данным ASTD(«Американское общество обучения и развития») только 45% опрошенных компаний оценивают реакцию обучающихся. 93% учебных программ оцениваются по первому уровню; по второму - 1,62%; 2,31% по третьему и всего 2,8% по четвертому. Налицо движение тренда оценки в сторону наиболее простого анализа.

По опросам респондентов, в основном они оценивали влияние обучения на производительность работников предприятия (усвоение) и на компанию (уровень результата).

Автоматизация процессов оценки

В связи с ростом значения корпоративного онлайн обучения для предприятий, на первый план выходит оценка эффективности учебных программ закупаемых на стороне или разрабатываемых собственными силами. Использование внешних оценщиков с одной стороны будет гарантом истинности результатов, но с другой – временные и финансовые издержки могут стать слишком обременительны для организации. Решением может стать привлечение к оценочным процессам собственных специалистов и внутренних ресурсов. Но это также может занять довольно много времени и не факт, что внутренняя команда экспертов будет обладать нужной квалификацией.

Разработка и внедрение автоматизированных экспертных систем является следующим логическим шагом в развитии процессов оценки программ корпоративного обучения. Определены два набора функций автоматизированных систем, которые успешно внедрены в оценочные категории:

1. Автоматизация планирования (автоматическое оповещение экспертов и снабжение их соответствующими указаниями).

2. Автоматизация сбора данных.

Большое значение для правильной работы автоматической работы оценочной процедуры имеет экспертная программа автоматического сбора данных. Она собирает данные от оценщиков и дает конкретные рекомендации в зависимости от принятой стратегии. Экспертная программа собирает и обрабатывает следующие виды информации:

· целевые оценки (поведенческая, аффективная, когнитивная, оценка влияния);

· типы оценки (суммативная, формативная);

· вид целей (процедуральное (алгоритмическое) обучение, поведенческое обучение, декларативное знание);

· оценочные уровни (от «реакции» до «влияния»);

· тип учебного курса (аудитория, смешанное, электронное);

· тип групп слушателей (индивидуальное, удаленное среднее, удаленное сверхбольшое).

Проанализировав эти данные, экспертная система выдает рекомендации по учебному процессу, набор методов обучения, технические моменты по учету данных, отчетные формы и т. д. В целом экспертные заключения представляют собой общую стратегию оценки обучающей программы и руководящих указаний (так называемая «мягкая» методика).

Если к экспертной системе подключить опцию автоматического сбора необходимых для ее работы данных, эффективность работы можно значительно повысить. Такая опция будет подсчитывать оценочные результаты тестирования, интерпретировать по заданному алгоритму личные профили слушателей, выдавать в автоматическом режиме советы и рекомендации учащимся во время обучения. Будет полезным также внедрение в систему модуля оценки, который функционирует, анализируя данные каналов обратной связи от слушателей. Кроме того, в результате функционирования этих систем появляется возможность диагностирования учебных программ, исправления ее недостатков и развитие сильных сторон.

Включение экспертных программ в учебные платформы оказывает положительное воздействие при выборе формативной оценки. Это позволяет непрерывно улучшать ее функции на протяжении всего срока проектирования и внедрения учебной программы.

Выводы

Из принципов действия рассмотренных выше методик следует, что оценка обучения процесс сложный, трудно поддающийся структурной систематизации. На сегодняшний день не существует универсальной модели оценки систем корпоративного обучения. Поэтому приходится создавать модели, включающие несколько различных задач, которые должны соответствовать определенным уровням в процессе обучения. Адекватная система оценки видится как совместный продукт внешних и внутренних экспертов, преподавателей, менеджеров и других специалистов.