Чем больше появляется форматов обучения, тем сложнее оценить, насколько вовлечены в него участники и насколько оно в принципе эффективно. Андрей Мустафаев из корпоративного института Газпрома на
форуме "Корпоративное обучение 2019" рассказал, какие параметры можно и нужно измерять в корпоративном обучении, и как это проще всего сделать.
Сначала о том, каким бывает обучение
Весь огромный пласт форматов обучения сегодня принято делить на очное и электронное.
- Электронное обучение — это электронные тесты, видео, слайды. Его могут проходить как с мобильного устройства, так и на компьютере.
- Очное обучение — это не только занятия в классе с «живым« преподавателем, но и вебинары.
Как отцифровать очное обучение
Собрать и обработать данные по цифровому электронному обучению достаточно просто. Для этого существует множество инструментов, встроенных в СДО, или самостоятельных. А как отцифровать очное обучение? Нам сложно численно проанализировать поведение слушателя и преподавателя. Пока это возможно только для вебинаров:
- Во-первых, используют функции, которые показывают, когда человек переходит с вкладки вебинара на другую вкладку — например, если он заскучал,
- Еще для оценки активности на вебинарах используют айтрекинг — отслеживание взгляда слушателя.
Компьютерное зрение в Россию пока не пришло, но активно применяется в Китае. Оно позволяет точнее оценивать очное обучение. В учебном классе устанавливают камеры, которые ведут трансляцию и запись учебного процесса. Для анализа используют искусственный интеллект, он подсказывает преподавателю, что происходит со слушателями и когда им нужно помочь.
Данные для аналитики
Система дистанционного обучения работает в Газпроме уже 20 лет. За этот период накопилось множество данных, и вот как их использует корпоративный институт.
- События. Любую активность можно разложить на события, у которых будет дата, время, число событий, ID. Эти данные можно считать «сырыми».
- Сводные данные. Данные, сгруппированные по дате, времени, определенным признакам, по которым можно посчитать сумму, среднее и распределение.
- Динамика. Сводные отчеты позволяют оценить динамику активности. Предположим, на электронный курс пригласили 3,5 тысячи человек. Тысяча человек отреагировали и зашли в него, остальные не проявили активность. Чтобы простимулировать учащихся, можно написать письмо-напоминание или провести коммуникационную кампанию и отследить активность после этих мероприятий.
- Графики. На основе динамических показателей можно построить графики и более наглядно отобразить информацию. Например, посмотреть, как меняется количество зашедших и прошедших курс во времени.
- Анализ. Проанализировав сводные данные, можно увидеть всплески или, наоборот, слишком низкую активность.
- Прогноз. Накопив определенный объем данных, можно строить прогнозы на будущее.
Что анализируем для разных форматов обучения
СЛАЙДЫ
- Гистограмма распределения времени изучения курса и слайдов
- Классификация конкретного слушателя по графику
- Гистограмма распределения количество прочтений слайдов курса (популярные, редкие).
- Номера слайдов, на которых:
- чаще всего начинают обучение
- чаще всего заканчивают обучение
- чаще всего повторно возвращаются
- дольше всего изучают материал
- меньше всего изучают материал
ТЕСТЫ
- Вопросы и варианты ответов, на которые чаще всего отвечали неверно
- Вопросы и варианты ответов, на которые чаще всего отвечали верно
- Гистограмма распределения времени ответа на тест, вопрос теста
- Аномальное непопадание в усреднённые временные показатели
- Гистограмма распределение общего результатов за тест
- Классификация результата слушателя
ВИДЕО
Гистограмма популярности отрезков видео:
- где больше просмотров, а где меньше
- где фокус на видео теряется (перекрытие другими окнами)
- где фокус на видео возвращается
- где чаще всего ставят на паузу
- участки видео, где видео перематывается
ВЕБИНАР
API:
- ФИО, контакты пользователя,
- длительность присутствия на мероприятии,
- количество сообщений,
- количество вопросов,
- результаты голосования.
Инструменты для оценки эффективности обучения
Уровень: новичок
Для начала вам хватит отчетов из системы дистанционного обучения и MS Excel, который поможет эти отчеты обсчитать и обработать. MS Excel — самый простой и универсальный инструмент для аналитики.
Уровень: средний
Если у вас мало ресурсов, посмотрите решения, которые упростят вам обработку данных.
- Для системы дистанционного обучения в облаке, доступной в интернете, используйте Я.Метрика и Google Analytics. Подключите счетчик на интересующие вас страницы и смотрите по ним отчеты.
- Для системы в закрытом контуре, отрезанной от интернета, предыдущие инструменты не подойдут, но вы можете скачать и использовать MS Power BI (он бесплатный) либо BI Tableau или QLick.
- Чтобы применять BI инструменты, нужны специалисты по работе с базами данных, которые понимают, что такое реляционные базы данных, и знают SQL.
Уровень: продвинутый
Самостоятельно установить такие инструменты вряд ли получится. Это коробочные решения, которые требуют предварительной настройки: TinCan, SCORM, xAPI. Они передают информацию на сервис LRS (learning record store), а тот собирает данные и рисует красивые графики. Для облачной системы настройку можно сделать быстрее, а для системы без доступа в интернет вам потребуются сисадмины, разработчики, программисты для установки.
Уровень: профи
Если готовые решения не работают, и вам требуются свои данные, вам подойдут сервисы анализа больших данных: DeepLearning, BigData, Hadoop, SQL, Python, ML, OpenCV. Эти инструменты еще более сложны в настройке и обслуживании и чаще всего требуют штата аналитиков. Но так как обосновать увеличение штата сложно, используются они в компаниях крайне редко, а жаль.
Если вы ищете минимальный пакет для собственной аналитики, Андрей рекомендует начать с MS Excel и Я.Метрика (либо Power BI, если ваша система закрыта от интернета).
Будущее рядом?
Для оценки активности учащихся уже сейчас используют методы, которые пока выглядят экзотическими, например, система распознавания лиц или электроэнцефалограмма. В марте на Sixthone.com вышла статья про Class Care System — систему, распознающую лица слушателей в классе и анализирующую их активность. Самообучающаяся нейросеть определяет, что делает студент: слушает преподавателя, спит, отвлекся или решает задачу.
РЕЗЮМЕ ДЛЯ КОЛЛЕГ
Чем больше готовых инструментов для аналитики эффективности обучения будет появляться, тем, с одной стороны, нам будет проще, а с другой, все сложнее нам будет найти баланс между полнотой данных и свободой, комфортом учащегося. Давайте не забывать о людях в погоне за метриками
.
Репортаж по материалам доклада Андрея Мустафаева на форуме «Корпоративное обучение и развитие персонала 2019» специально для HR-Академии подготовила Елена Давыдова - консультант в области внедрения систем обучения и развития компании Axes.Pro. 
