Большинство найденных публикаций в он-лайн и печатных СМИ (48 из 74, т. е. 65%) написаны сотрудниками поставщиков услуг по обучению и развитию. Это говорит о том, что провайдеры занимают довольно активную позицию в вопросе оценки эффективности обучения. Другое дело, что советы, даваемые в публикациях, представляют собой винегрет, состоящий из несочетаемых компонентов или с случайно затесавшимся ингредиентом.
Некоторые предлагают оценивать эффективность по размеру бюджета на обучение 1 человека, считая, что чем больше бюджет, тем лучше работает система обучения. Другие оценивают эффективность обучения по оценкам участников тренинга (чем выше оценка, тем эффективнее обучение). Третьи считают, что показатель эффективности T&D — это оценка внутренними клиентами работы T&D отдела.
В качестве иллюстрации существующей на рынке путаницы в оценке эффективности приведу результаты исследования компании Profi Online Research «Способы повышения квалификации сотрудников как оружие в конкурентной борьбе». Респондентов просили ответить на вопрос: «Какие способы оценки [эффективности] используются в вашей компании?»
Предлагалось выбрать варианты из списка:
Авторы исследования смешали в одну кучу методы оценки (ROI и опрос сотрудников после обучения) и отслеживание ключевых бизнес-показателей компании (текучесть персонала, производительность и т. д.). Вопрос стоило разделить на два: «Какие способы оценки эффективности вы используете?» и «По каким бизнес-показателям оцениваете эффективность программ обучения?».
Другая иллюстрация — цитата из статьи Критерии эффективности кадровой работы в компании. Автор пишет: «Важно понимать, что показателем эффективности кадровой работы является рост удельного вложения в людей, в принимаемые кадровые решения: доля средств на обучение сотрудников (в расчете на 1 сотрудника), в их развитие, обучение, поощрение и т. п.». На самом деле, размер бюджета на обучение 1 сотрудника не говорит об эффективности обучения ровным счетом ничего. Автор также предлагает оценивать эффективность работы с людьми по такому показателю, как «удельная эффективность кадровых решений (т. е. стоимость этих решений в пересчете на одного кадрового сотрудника) по оценке потребителей (заказчиков) этих услуг». Смысл этого показателя, как демонстратора эффективности, также вызывает много сомнений.
В презентациях многих HR и T&D специалистов, посвященных эффективности их работы, много данных о том, сколько человек они обучили, сколько средств потратили, сколько тренингов провели. Это полезные данные, безусловно, они производят впечатление, но... они не об эффективности обучения.
Когда задают вопрос «Как оценить эффективность обучения?» сразу хочется задать встречный вопрос «Что вы подразумеваете под обучением?» Конкретную программу? Комплекс программ? Всю систему обучения в компании? Работу T&D отдела? От ответов на эти вопросы зависит выбор метрик (показателей) для измерения.
Кроме того, важно понимать, что подразумевается под эффективностью. Приводимая в данном материале классификация метрик основывается на утверждении, что «Эффективность обучения — это измеримая польза для бизнеса».
Букет идей и показателей, сгенерированный HR и T&D человечеством в вопросе оценки эффективности обучения, нужно разделять на три группы:
1 группа — показатели оперативной деятельности системы обучения и развития в целом.
Они «параметризуют» T&D систему, оцифровывают ее, демонстрируют ее габариты, например, какое количество сотрудников было обучено, сколько проведено программ, какой был выделен бюджет. К эффективности обучения они не имеют никакого отношения.
2 группа — KPI (Key Performance Indicators) T&D структуры в компании (целого T&D отдела, департамента, или одного сотрудника, или даже половины сотрудника, если он занимается еще чем-то, помимо обучения персонала).
Эти показатели показывают, как T&D отдел использует вверенные ему ресурсы, например, как быстро он реагирует на запрос бизнеса и создает программу, которая решает бизнес-задачу, или насколько внутренние клиенты довольны сервисом T&D структуры.
3 группа — показатели эффективности конкретных T&D программ (курсов, тренингов). Они показывают, полезны ли программы, которые создает и проводит T&D отдел, для бизнеса.
Какой бюджет на обучение освоен, сколько человек обучено («покрытие» персонала обучением), сколько методов обучения и развития используется — это не про эффективность, а про деятельность. В отрыве от других показателей эти ровным счетом ничего не стоят.
Показатели оперативной деятельности полезно считать в двух случаях:
1. если они отслеживаются в динамике в рамках одной компании, при этом компания осознает, к чему она стремится — к понижению или повышению показателя, на сколько процентов в год. При подсчете показателей деятельности важно создавать план конкретных действий, что нужно предпринять, если показатель пополз не туда. Это называется внутренним бенчмаркингом.
2. если показатели деятельности сравниваются с такими же по рынку (внешний бенчмаркинг). За рубежом все HR и T&D делают это. Бенчмаркинг — важнейший фактор при определении стратегии обучения, а также определении нужных ресурсов. Например, если в среднем по рынку бюджет на обучение 1 человека 20 000 рублей, а у вас меньше, вы либо увеличиваете бюджет, либо выбираете стратегию на использование внутренних ресурсов обучения. А если обнаружится, что вы инвестируете в обучение больше среднего по рынку, можно говорить об этом потенциальным кандидатам и укреплять тем самым бренд компании, как работодателя.
Примеры показателей T&D деятельности:
Придумать показатели деятельности — не проблема. Проблема их посчитать, особенно если учет данных в компании не налажен, и собрать данные по компании сложно. Но это нужно делать, чтобы хоть как-то отслеживать динамику T&D деятельности в компании.
Особенно полезен внешний бенчмаркинг. Сейчас на российском рынке есть несколько возможностей участия в бенчмаркинге T&D показателей. Например, PricewaterhouseCoopers (PwC) проводит HR Benchmarking Survey, а AXES Management - AXES Monitor. Два этих исследования представляют собой бенчмаркинги HR показателей компании, небольшая часть исследований относится к обучению и развитию.
С 2007 года компания «Амплуа-Брокер» проводит глубокий бенчмаркинг систем обучения и развития Trainings INDEX, в котором можно сравнить все возможные показатели деятельности вашей T&D системы со средними по рынку в целом и по вашей индустрии.
Вывод: понимать «габариты» системы обучения полезно. Это дает:
- понимание, как они меняются из года в год,
- возможность сравнить себя с другими компаниями,
- основу для принятия решений о корректировке размеров T&D системы.
Несмотря на то, что термин KPI переводится на русский язык, как «ключевые показатели эффективности (КПЭ), нужно иметь ввиду, что к эффективности обучения в контексте «измеримое влияние на бизнес» они имеют опосредованное отношения.
Еще раз подчеркнем — KPI демонстрируют, насколько эффективно используются имеющиеся T&D ресурсы (человеческие, временные, финансовые, ресурсы поставщиков и т. д.), т. к. при одном и том же бюджете на обучение разные T&D отделы работают по-разному. Пример: два T&D отдела разработали похожие e-learning курсы за одну и ту же стоимость, но в одной компании завершили обучение по e-learning курсу 95% сотрудников, для кого он предназначался, а в другой — 30%. В данном случае прохождение e-learning курсов — KPI T&D отдела, и первый T&D отдел эффективнее использовал свои ресурсы.
Определить KPI довольно сложно (придраться можно к каждому придуманному), но как полезно! T&D отделы терпеливо пытаются создать разумные и объективные KPI, чтобы иметь доказательства своей необходимости бизнесу.
Эксперты «Амплуа-Брокер» собрали коллекцию KPI из разных источников (книги, интернет, беседы с HR и T&D специалистами, проводимые исследования):
Отдельно рассмотрим такой KPI, как «Средний балл оценки участников тренингов после завершения». Это — оценка результатов программы (программ) по 1 му уровню Киркпатрика, которая не имеет отношения к оценке ее эффективности. Баллы в анкетах обратной связи — это обратная связь работе тренера и контенту программы, возможно, сервису во время тренинга.
Тем не менее, именно оценки обратной связи участников после тренинга считают показателями эффективности тренинга. Такая позиция распространена на рынке.
То же относится и к KPI «Количество сотрудников, успешно сдавших тесты после тренинга». Его высокие результаты не могут считаться показателями эффективности обучения в контексте измеримого влияния на бизнес. Заметим важную роль провайдера в достижении T&D отделом данного KPI — именно от него ожидается создание опросников и выходных тестов. Если провайдер уверен в силах своего тренера, можно привязать оплату части гонорара к результатам тестирования. Многие провайдеры остерегаются такого подхода, а зря. Предлагая его заказчику, можно договориться о большем гонораре, как это принято за рубежом.
Вывод: выделение KPI службы обучения — крайне полезно. Их значения говорят о том, насколько умело вы используете вверенные T&D ресурсы. Значения своих KPI также можно сравнивать (и нужно!) с другими компаниями. Это позволяет сделать внешний бенчмаркинг.
Тренинги и семинары проводятся в компаниях для решения конкретных бизнес-задач, по крайней мере, так должно быть. Именно поэтому эффективность обучающих программ нужно измерять только по изменению бизнес-показателей, которые должны быть улучшены в результате проведенного обучения.
В данную группу метрик входят специфические для каждой организации бизнес-показатели:
Подобные показатели относятся к общекорпоративной эффективности, на них влияет не только T&D. Тем не менее, во многих компаниях именно их достижение ставят во главу угла при проведении конкретных программ по обучению или комплекса программ.
Например, эффективность тренингов по производственной безопасности измеряется сокращением или полным сведением к нулю числа несчастных случаев. Эффективными тренингами по продажам принято считать те, после которых продажи вырастут. Тренинги по ведению совещаний успешны, если время проведения встреч в компании сократилось, в результате чего сократились издержки на администрирование бизнеса.
Да, на достижение этих показателей влияет не только T&D программа, но и система менеджмента или система продаж. Но реалии таковы, что если все хорошо — награды достаются всем, а если нет — первым достается T&D отделу и провайдеру, который проводил тренинг.
Эффективность в терминах влияния на бизнес-показатели можно измерять в двух направлениях:
ROI нужно считать ТОЛЬКО для длительных, комплексных (и, как правило, дорогостоящих) программ. Джек Филипс, создатель инструментария оценки эффективности программ обучения на основе модели Киркпатрика, считает, что возврат инвестиций нужно считать лишь у 5—10% всех программ обучения в компании — наиболее длительных, дорогостоящих и стратегически важных.
Наибольшее количество вопросов и сомнений вызывает подсчет ROI. Бедного Филипса ругают направо-налево. Большинство считают, что ROI субъективен, посчитать его сложно и затратно, невозможно и прочее. Это миф, созданный теми, кто не пробовал это делать и, скорее всего, даже не знает инструментов его подсчета.
Но на российском рынке популярнее другая цитата, уважаемого Д. Киркпатрика: «Меня разбирает смех, когда я слышу, что профессиональные тренеры должны уметь показывать выгоду для клиента в терминах возврата на инвестиции в тренинг». Она удобнее, комфортнее.
Основной аргумент против ROI — невозможность выделить влияние обучения на бизнес-показатели (например, рост продаж). К сожалению, в русскоязычных публикациях есть только отрывочные данные, что конкретно нужно делать, чтобы подсчитать ROI корректно. Изучение практического инструментария будет требовать от человека не только знания английского языка, но и временных инвестиций в этот процесс. В зарубежных источниках масса кейсов, статей и книг на эту тему, которые дают полноценное понимание процесса.
ROI посчитать вполне реально. Да, этот показатель не лишен субъективности, потому что, например, изоляция эффекта обучения основана на экспертных мнениях людей или предположениях о том, как бы развивался процесс, если бы не обучение. Заметим, что оценка по 1 му уровню Киркпатрика — максимально субъективная, но об этом все забывают, широко используя этот инструмент оценки и делая на его основе выводы об эффективности тренинга. Пока не придумало ничего более «денежного», чем ROI, его придется использовать, если того требует бизнес, являясь T&D инвестором.
Кроме того, нужно понимать, что провайдер в одиночку не оценить возврат инвестиций от программы, которую он проводил у заказчика. Более того, процесс подсчета ROI бесполезно начинать поле проведения программы — этот процесс закладывается еще на этапе планирования целей обучения. Вовлеченность сотрудников заказчика в процесс сбора данных, необходимых для подсчета ROI (или оценки изменения бизнес-показателей, 4й уровень по Киркпатрику) — залог успеха процесса оценки эффективности программы обучения.
Например, провайдер провел серию тренингов по ведению совещаний. Предположим, что компания поставила целью этого обучения сокращение времени на совещания и сокращение их количества. Чтобы оценить ROI этой программы обучения, нужно собрать много данных. До программы в течение, например, месяца посчитать, сколько и какой продолжительности проходит совещаний в компании, какова их средняя стоимость в пересчете на зарплаты участвующих сотрудников. После программы в течение такого же времени собирать те же данные и определить экономию компании в рублях от сокращения количества совещаний или их продолжительности. Процесс изоляции эффекта от обучения в данном случае будет основан на экспертном опросе руководителей компании и участников тренингов. Им задается вопрос: «Насколько тренинги повлияли на полученную выгоду и насколько вы уверены в этой оценке?» Допустим, средняя оценка влияния обучения на полученную выгоду составила по результатам опроса 80%, а средняя степень уверенности в ответах — 90%. В этом случае сумма экономии будет уменьшена на 0.8, а затем на 0.9. Именно скорректированная сумма должна браться для подсчета ROI.
Это небольшой и, конечно, поверхностный пример одного из многих методов выделения эффекта от обучения. Его цель — проиллюстрировать, что это возможно, не более того.
Не нужно думать, что подсчет ROI — тяжкий, изнурительный труд. Начните с легкого пути — выделите один бизнес-показатель, на который должна повлиять ваша серия тренингов, измерьте его до и после обучения, определите прибыль, изолируйте эффект обучения (например, экспертным опросом) и учтите все затраты (не забудьте включить стоимость тренинга в пересчете на зарплаты участвующих сотрудников).
Как определить бизнес-показатели, на которые должно повлиять планируемое обучение? Честно и терпеливо отвечайте на вопрос «Зачем? Что получит бизнес от тренинга?», пока не дойдете до правды. Не нужно думать, что не всегда это можно четко определить. ВСЕГДА, если тренинг действительно нужен бизнесу. Если будете настойчивы, ответ придет. Например, проанализированные «Амплуа-Брокер» зарубежные кейсы по оценке эффективности обучения лидерству показали, что чаще всего компании берут за показатель его эффективности уровень текучести персонала.
Вывод: если вы хотите оценить эффективность конкретного тренинга (программы обучения), поднимайтесь до 4 го уровня модели Киркпатрика обязательно и до 5-го уровня (ROI) — только для длительных, стратегических программ обучения.
Каждая компания, в идеале, должна определить для себя показатели из всех трех групп (о деятельности системы обучения в целом, об успешности работы T&D сотрудников и о пользе обучения для бизнеса).
Крайне полезно анализировать их в комплексе. Согласитесь, что можно добиться большой посещаемости тренингов в компании и даже не сильно раздувать бюджет на обучение, но при этом тренинг не будет эффективен для бизнеса. Можно иметь большой T&D отдел, продуманную стратегию работы с тренинговыми компаниями, но текучка персонала вырастет. С другой стороны, текучка персонала может и сократиться, но цена вопроса будет слишком велика — вы поймете, что тратите на обучение гораздо больше своих конкурентов.
Самая эффективная система обучения — та, которая наилучшим способом (высокие KPI T&D отдела) способствует достижению бизнес-результатов (высокие показатели 4 го и 5 го уровня Киркпатрика/Филлипса), имея в распоряжении ресурсы, ниже средних по рынку (оптимальные показатели оперативной деятельности системы обучения).
Источник: Trainings.ru
