Оценка эффективности дистанционного обучения при помощи системы сбалансированных показателей

Если вы не понимаете, каков вообще смысл такой информации, то все просто: с этими сведениями вы сможете понять, каким именно образом можно определить действенность дистанционного обучения.

Между прочим, обозначенный вопрос намного чаще чем остальные, задают разработчикам на разнообразных презентациях электронных решений. При ответах на него многие сразу же начинают ссылаться на известнейшие методы Д. Филипса, Д. Киркпатрика, Тайлера и прочих. Другие же объясняют по-своему, во многом непонятно для окружающих.

Можно задаться иным вопросом: "До какой степени будет оправданным применение таких методов? Существуют ли какие-то альтернативы стандартных методик оценки эффективности дистанционного обучения?" То есть насколько будут релевантными используемые способы оценки?

Критерии, по которым выбирают способ оценки.

Не так давно Ф. Нихолс решил сформулировать перечень вопросов, посредством которых возможно выявить задачи по оценке тренингов:

- Нужно ли оценивать или этого делать не стоит?

- С какой именно целью нужно осуществлять оценку?

- Кого или что необходимо оценить?

- Когда давать оценку?

- Как нужно оценивать?

- Существуют ли данные, необходимые для оценки и до какой степени они точные?

- Как и где именно впоследствии придется использовать итоговые оценки?

- Какие резервы потребует себе оценка, и будет ли она после этого еще иметь смысл?

Некоторые из вопросов оригинальной анкеты было решено исключить, потому что они затрагивали не целевую аудиторию, а персонал, который проходит обучение, при этом другие вопросы были добавлены с учетом приобретенного опыта.

Стоит отталкиваться от того, что именно цели оценки и задачи людей будут диктовать непосредственный выбор метода. Это достаточно значимое утверждение, потому что как раз эти вопросы и будут определять критерии для данных методик. При этом всем вполне очевидно, что разнообразные способы будут использоваться для того, чтобы отыскать верные ответы на конкретные вопросы. Причем некоторые из них будут давать больше информации, чем другие.

В отдельном порядке нужно отметить, что все вопросы по оценке эффективности будут обязательно взаимосвязаны. Более качественным будет то дистанционное обучение, которое должным образом оценено и дает прекрасные результаты по заявленным аспектам. Кроме этого, достоверно известно, что оценки некоторым образом искажают правдивые итоги. То есть с определенной стороны оно не сможет отследить множество важнейших показателей, а с другой будет выступать неким средством руководства системы, подвергающейся оценке, задавая ей при этом определенное направление для развития.

Для того чтобы можно было все это подтвердить и пояснить наглядно, стоит рассмотреть следующий пример. Две организации (они будут названы "Мастер-телеком" и "ФУД") решили внедрить систему дистанционного образования для того, чтобы обучить персонал, занимающийся отделом продаж. Естественно, обе компании желают знать, насколько эффективно они смогли проинвестировать средства в обучение. Для этой цели в обеих фирмах смогли выделить несколько основных критериев. В "Мастер-телеком" особенно ценятся фискальные средства, а потому их менеджер проектов ведет подсчет, насколько же увеличился оборот организации при внедрении системы дистанционного обучения. В итоге определился средний диапазон продаж на одного работника отдела как до, так и после начала обучения. Итоги оказались достаточно неутешительными: прыжок продаж был совсем невелик, а проект в целом абсолютно нерентабельным.

В фирме "ФУД" аналогичным образом ценят капитал, однако они смотрят гораздо дальше. Поэтому менеджер проекта должен был оценить влияние системы дистанционного образования на организацию в совокупности. Их менеджер, естественно, затратил на оценивание этого почти на неделю больше, чем коллега из фирмы "Мастер-телеком", однако и итоги оказались отличными от ранее рассмотренных. Несмотря на то, что продажи выросли не так уж значительно на момент оценивания, но они обладали явной тенденцией стабильного роста. Как оказалось, после того, как была введена система дистанционного обучения, текучесть кадров существенно понизилась. Руководитель кадрового отдела выяснил, что персонал отмечает положительную заинтересованность своего руководства и полагает, что компания о них проявляет заботу и более не является эгоистичной. Помимо этого HR-руководитель сумел подсчитать, до какой степени понизились издержки организации на наем новых сотрудников.

Так как менеджер обладал этими сведениями, он смог наглядно продемонстрировать руководителям, что проект дистанционного обучения был очень полезен для фирмы.

Однако в "Мастер-телеком" оценивали лишь рост своих продаж...

В "ФУД" оценивание велось по всем главнейшим параметрам имеющейся деятельности. Ориентировались они не на получение краткосрочного итога, а на устойчивый длительный рост. Оценивались многочисленные параметры, включая и численность дополнительных сделок, удовлетворенность клиентуры и общую атмосферу в коллективе сотрудников. Менеджеры "ФУД" осознавали, что их успешность будет оцениваться по многим критериям, и от них впоследствии будет напрямую зависеть собственное вознаграждение. Все эти факторы стимулировали их на то, что нужно придерживаться некоторых правил поведения, которые и определили стратегический успех организации.

Спустя шесть месяцев на важной конференции, названной "EXPO-Trainings", произошла случайная встреча менеджеров проектов, занимающихся внедрением системы дистанционного образования в компании "ФУД" и "Мастер-телеком". После того, как они разговорились, все свелось в итоге к обсуждению их проектов. Менеджер из "Мастер-телеком" покинул конференцию в очень расстроенных чувствах, завидуя успеху своего коллеги. А менеджер из "ФУД" смог проанализировать состоявшийся разговор в деталях и сравнил подходы, которые были использованы в обоих проектах. В результате чего он пришел к выводу, что посредством видоизменения параметров оценивания возможно прекрасно управлять персоналом, одновременно стимулируя сотрудников на конкретное поведение.

В системе дистанционного обучения организация "ФУД" спустя некоторое время реализовала два новых учебных курса по занимательному тайм-менеджменту и руководству разрешения конфликтных ситуаций для "чайников". При этом, для того чтобы было возможно проверить собственную гипотезу, их менеджер решил распустить слух, что руководители станут оценивать всех менеджеров в том числе и по итогам прошедшего обучения. Особое же внимание будет уделено руководителями на вторую дистанционную программу обучения.

После этого стало известно, что завершенность обучающих курсов в процентном соотношении была в два раза больше, чем обычно. Как ни странно, именно второй курс был изучен почти каждым работником компании.

Из этого всего можно сделать логичный вывод: совершенно любые особенности в выборе тех средств, которые направлены на мотивацию сотрудников, определяются спецификой объектов, на которые они воздействуют. В приведенном выше примере было ясно, что факторы при выборе метода оценивания были вызваны или попыткой оценить обучение, или тем, какую именно ее часть собираются оценить и с учетом каких целей произведут оценку.

Правда, существует дополнительное обстоятельство, которое очень часто совершенно зря игнорируют: необходимо оценивать дистанционное обучение в целом. Так как это обучение является электронным, появляется возможность использовать методы оценки проекта из области IT. И действительно, инструменты дистанционного образования являют собой стандартные комплексы программ, которые немногим отличаются, например, от Microsoft Office с концептуальной стороны.

Однако в оценивании дистанционного обучения с точки зрения образовательного мероприятия или как проекта IT, заключается немалое различие и в подходах, и во взглядах. При методике оценивания "образовательного" проекта более востребованными являются качественные и количественные критерии. В отличие от этих способов, многие методы оценивания проектов в области IT относятся к количественно-финансовым показателям.

Что используют и что можно применять

На западе, для оценки эффективности корпоративного обучения, используют следующие методы:

- Д. Филипса или Д. Киркпатрика;

- целевой способ Тайлера;

- натуралистический метод Губа;

- прикладную теорию П. Кирнса;

- способ Скривенса;

- бенч-маркинг;

- схему CIPP Стафлебима;

- модель CIRO;

- схему Б. Аарона V.

Отечественные эксперты, как правило, ограничивается из этого списка лишь пятью наименованиями. Чаще всего выбор инструментов оценивания основан (кроме некоторых исключений) на поверхностном способе поиска доступных сведений в разнообразных открытых информационных источниках и на опыте своих коллег. В большинстве из случаев, к сожалению, это может привести к необдуманному копированию разных методик и, в итоге, к бесполезному или некорректному оцениванию.

Как уже было указано выше, в практике оценивания дистанционного обучения самым большим предпочтением (а возможно, и целой монополией) пользуются методики оценивания по качеству. Через этот путь уже прошли практически все функциональные филиалы фирм: отделы продаж, управление кадрами, маркетинг, производство.

Чем сложнее поддается измерению деятельность отделов, тем больше уходит времени на поиск и адаптацию необходимых для проведения оценки инструментов.

Несмотря на то, что дистанционное образование существенно отличается от прочих процессов в фирме по мере воздействия, это отличие не такое уж и большое. Поэтому не стоит полагать, что невозможно дать количественную оценку итогам дистанционного обучения.

Однако еще до того, как ознакомить вас с примерами подобных способов, нужно рассмотреть определенные базовые понятия, которые могут обосновать разницу между качественным подходом, который особенно популярен среди специалистов T&D, маркетологов и руководителей кадровых отделов, и количественным, который является наиболее точным. Последний подход прекрасно прижился у специалистов в области IT и финансистов. Показатели качества позволят очень существенно упростить выявление каких-либо воздействий на конкретный исследуемый объект, но при этом всем всегда стараются оперировать более размытыми заключениями, которые затрагивают не только прямые связи, но и корреляцию. Несмотря на то, что выявление количественных показателей связано с немалыми издержками и значительными трудностями, это может окупиться посредством более высокой точности выявленных информационных данных вкупе с меньшими возможными рисками неправильного оценивания связей. В большинстве из случаев каждый способ являет собой определенный синтез между количественными и качественными оценками.

Подобные способы можно подразделять по тем факторам, которые измеряют (индикаторы или метрики), а именно:

- обращенные в будущее время (вперед по шкале времени) - предсказательные;

- показывающие непосредственный итог воздействия в прошедшем времени (обращенные в прошлое) - прошедшие.

Абсолютно все действенные методы по оцениванию включают в себя показатели качества, которые при этом служат специфическим инструментом прогнозирования, и количества, которые оценивают итоги прошедших временных периодов. Более проработанной из всех известных методик является система, учитывающая сбалансированные показатели.

Система, учитывающая сбалансированные показатели и ее достоинства

Есть очень много информационных данных и письменных трудов, базируемых на обозначенной методике. Однако, если исключить очень подробное описание, можно определить самые основные факторы и связь с прочими знаменитыми концептами.

Эта методика, именуемая системой, учитывающей сбалансированные показатели, предлагает несколько направлений оценивания, которые отвечают за все существенные и важные вопросы в организации и находятся в сложной зависимости друг от друга:

- финансовые средства;

- клиентура;

- предпринимательские процессы;

- развитие.

Все они, кстати, тесно взаимосвязаны между собой и нужны для того, чтобы любая фирма могла успешно функционировать. Но для разнообразных организаций каждое из обозначенных направлений будет обладать различной ценностью и весом. К примеру, направление, которое называется развитием, может иметь намного больший вес в одной фирме (консалтинговой), чем в другой (ресторан фэст-фуда).

Для любого из этих направлений выбирают индикаторы количества, при помощи которых можно определить действенность работы по любому из направлений. Стоит указать на несколько очень значимых отличительных особенностей системы, учитывающей сбалансированные показатели:

- гибкость сконцентрированных индикаторов.

Этот фактор будет выражаться в регулярном переоценивании целей и непосредственного набора индикаторов для оценивания. При этом предпочтение будет отдаваться тем из них, которые будут более релевантными для организации, то есть ее миссии и стратегическому подходу. Это позволит системе оценивания одновременно эволюционировать совместно с тем объектом, который и будет оцениваться. Другими словами, система, учитывающая сбалансированные показатели - единственная из всех изученных методов, которая не подвержена "моральному" старению и может видоизменяться вместе с организацией;

- концепция по управлению только тем, что возможно измерить.

Методы по оцениванию эффективности не включают в себя оценку количества показателей конкретной деятельности. Есть иногда определенные исключения, где можно отметить, что для многих показателей качества создают индикаторы количества. Но только лишь в методике, учитывающей сбалансированные показатели в качестве одной из главенствующих и основополагающих идей, выступает концепция, с учетом которой можно управлять лишь только тем, что вообще возможно как-либо измерить. Подобная доктрина будет означать то, что измерению количества будут подлежать абсолютно все известные показатели и для абсолютно каждого направления возможно выбрать нужный индикатор.

Подобные особенности очень выгодно отличают систему, которая учитывает сбалансированные показатели от прочих методик оценивания, при этом применяя эту систему оценки в целях управления. При этом можно очень существенно увеличить эффективность методики с экономической точки зрения;

- появление дополнительных показателей.

Множество традиционных фискальных индикаторов предполагают очень жесткие наборы величин, которые необходимо оценивать, а также определение важных приоритетов для развития фирмы, отрицая при этом применение в оценивании других индикаторов. Большой процент менеджеров, базируясь на собственном опыте, использует несколько наборов таких индикаторов. Очередным важнейшим преимуществом этой системы, учитывающей сбалансированные показатели и ее достоинства, является возможность включить готовые мягкие или, напротив, жесткие, индикаторы во всецелую схему оценивания. К примеру, в показатели финансов может быть включена общая стоимость владений, дополнительная экономическая цена, уровень возврата вложений и тому подобные. В тот же момент в направление, подразумевающее под собой процессы, клиентуру и развитие, можно заключить полностью метод Д. Киркпатрика, схему Б. Аарона и почти каждую методику по качеству для оценивания действенности дистанционного обучения (кроме подхода Губа, потому что включать его в обозначенную отрасль просто-напросто не имеет никакого смысла);

- увеличение "прозрачности" всех процессов.

Еще одним немаловажным преимуществом системы, учитывающей сбалансированные показатели и ее достоинства, является применяемый в ней принцип так называемого каскадирования. Именно он способен создавать иерархическую цепь и задач, и различных целей, которые объединяют абсолютно всю деятельность внутри организации в целую совокупность процессов, связанных между собой. Подобное представление о деятельности в компании позволит намного четче и более ясно осознать и представить себе целый комплекс операций, происходящих внутри, а также вклад каждой из организационных единиц или функциональных обязанностей в итоговое достижение всех конечных целей.

Важные методики и индикаторы

Как уже было отмечено немного выше, система, учитывающая сбалансированные показатели, являет собой комплексную систему, в которой составными модулями выступают и стандартные, и новые различные индикаторы, а зачастую даже целые масштабные методики. Можно привести несколько примеров, как именно можно выбирать необходимые индикаторы для рассматриваемой системы:

- способ Д. Киркпатрика. Эта модель включает в себя несколько степеней оценивания: усвоение, реакцию, результат и поведение. Каждый из, них, конечно, обладает собственным назначением и своим направлением в системе.

Реакция. Индикатором количества стандартно выступают листы оценивания, которые выдаются каждому из участников. Эта методика сбора информационных данных напрямую достаточно часто подвергается критике по причине того, что полагают недостаточную и некачественную объективность, данные искажаются, а происходит все это потому что завышают оценки. В качестве альтернативного варианта можно предложить применение индикаторов другого типа, не прямого. Кстати, многим именно этот подход кажется вполне оправданным.

Усвоение. Индикатор количества может быть результатом стандартных тестов и прочих способов проверки или аттестации. Такой уровень оценивания может дать очень важные информационные данные по обучаемому процессу, о развитии всех слушателей, о качестве выполняемых работ и требований к образованию.

Поведение. Чаще всего обозначенное направление оценивают с качественной стороны посредством опросов руководства, коллег и других субъектов, которые контактируют с конкретным сотрудником.

Итог. Результат может представляться в радикальном видоизменении всех рабочих процессов, к примеру, новейшие методики продвижения могут привести к росту определенной части рынка. Система сможет оказать влияние на взаимодействие и с внутренними, и с внешними клиентами (понижение жалоб, возрастание роста удовлетворенности), совершенствование производственных личных показателей (рост его совершенных продаж). То есть именно для этого уровня оценивания будет вполне логичным включить несколько индикаторов, а не только лишь один единственный.

- общая цена владения.

Этот метод направлен на четкое определение издержек на различные информационные системы на каждом из этапов этой системы. С предложенной методикой возможно очень четко понять все схемы, принципы и структуры затрат на подобные технологии. Затраты будут делиться при этом на прямые и косвенные.

Прямые затраты осуществляются через бухгалтера (зарплата, закупки техники, программного софта). Косвенные затраты выявить сложнее. В них нужно будет включать устранение проблем с компьютерами, командировочные, затраты на дистанционное обучение и так далее.

Как видите, методик и индикаторов довольно много, есть из чего выбирать. Возможно, спустя небольшое время, вы сможете создать абсолютно новые индикаторы лично для вашей фирмы. Не стоит переживать: очень часто именно самые новые индикаторы будут наиболее полезными. Не забывайте также и про важность дистанционного образования, какие бы индикаторы вы не включали в ваш проектный план, учитывайте этот фактор.

Важно также отметить, что предложенная система оценки не является истиной в последней инстанции, а представляет лишь один из вариантов оценивания обучения различными методиками.