Время чтения: 15 минут
Как стандарт передачи данных Tin Can API обнажает все подводные камни в бизнес-процессах? Зачем компании маркетплейс и почему важно измерять эффективность обучения?
Знакомьтесь! Сергей Замараев — управляющий партнер ЦРММ, владелец продукта Course Editor.
Сергей, в твоем блоге в «Фейсбук» написано, что ты знаешь все о данных по обучению. Расскажи, как так вышло?
Начну с того, как я вообще попал в дистант. На первом курсе университета я сразу пошел работать и попал в компанию, которая занимается разработкой курсов (сейчас это наши конкуренты). Моя карьера началась с того, что я занимался анимацией и интерактивами.
Спустя 4 года я и 2 моих коллеги пришли в ЦРММ — и вот я здесь уже больше 10 лет 😊
Мы делали много обучающего контента, и в какой-то момент я задумался: раз уж я создаю обучение для людей, то оно должно быть полезным.
Я стал чаще общаться с заказчиками и заметил проблему, которая, как мне кажется, до сих пор не решилась. Менеджеры на стороне клиента, которые занимаются организацией обучения, загружены проблемами создания контента, назначения обучения и проверкой того, что все сотрудники обучение завершили.
В их зону ответственности редко входит оценка экономического или иного эффекта от электронного обучения. Насколько курс был полезен? Насколько пользователи остались довольны? Что выиграл работодатель? Окупились ли его вложения?
Некоторые компании проводили опросы, но, как правило, они не были глубинными и не давали полного представления о пользе обучения. Я насторожился: получается, что создание курсов больше служит для менеджеров, а не для учеников.
У нас не было обратной связи от учеников: что им дал наш курс, какой они получили эффект, помогло ли наше обучение их профессиональному и личностному росту, что изменилось в их жизни после прохождения нашего курса?
Мы с командой задумались, как получить конкретные показатели обученности? Так появился «Курсометр». Оказалось, что не только мы, но и разработчики дистанционного обучения заинтересованы в этих данных, наш постоянный клиент Сбер тоже был озабочен этими вопросами.
Мы нашли стандарт для передачи данных — Tin Can API, который позволял получать детальную информацию о каждом действии пользователя в курсе. Осталось только провести глубокий анализ этих данных. Так нам удалось исследовать другую сторону обучения: что в курсе делают ученики, что смотрят, как проходят, чего избегают, где возникают сложности и т. д.
Вот таким был мой путь: от простой разработки контента до понимания, что я разрабатываю курсы не просто так, а чтобы это было полезно и эффективно.
Давай поговорим про «Курсометр». Как возник этот проект и какова его миссия?
Первоначальная миссия — понять, что люди делают. У меня было такое представление: ученику дают обучающую программу, он там что-то делает, завершает обучение, а дальше менеджерам следует измерить эффективность. И «Курсометр» нужен был для того, чтобы собрать данные и понять, что в курсе было действительно полезно.
В этот момент, лет 5 назад, стало ясно, что Big Data — это важно и нужно их собирать, а потом решим, что с ними делать 🙂 Для меня примером был сервис Яндекс.Метрика, а не зарубежные решения, потому что он отражает полную картину и показывает как сильные стороны, так и слабые.
Мы решили не только выявлять, что хорошо, а что плохо, но и предлагать решения. С помощью реальных данных показать менеджерам и руководителям, где проблемы с обучением. Это и была основная идея на старте.
Тогда же появились запросы на то, чтобы люди могли оставлять комментарии или ставить оценки. А в SCORM это сделать довольно сложно. Рынок разделился на тех, кто предлагал делать дополнительный модуль в СДО, и тех, кто считал, что в курсе это легко можно сделать с помощью Tin Can. То есть мы 🙂 И мы по-прежнему придерживаемся этой позиции.
Сейчас, на мой взгляд, миссия в том, чтобы рассчитать эффективность. Ведь понятно, что данные и их качество сильно влияют на восприятие контента и в целом на развитие человека. А оценка эффективности в свою очередь приведет к необходимости некоторого профилирования людей. Звучит страшно, но, мне кажется, это возможно.
Как меняется дистанционное обучение в тех компаниях, которые уже пользуются «Курсометром»?
Чтобы быть уверенным, что система образования работает, нужна отчетность, кто сдал тест, а кто нет. И неважно — вуз это или корпоративный сегмент. Вопрос о качестве контента тут не встает. Почему? Потому что мало кого интересует, что этот курс был не такой, как планировалось. Потому что и тут и там есть эксперты, которые дают инфу, и она 10 000 раз утверждается и после превращается в контент, который все изучили. Деньги потрачены, контент интересный, красивый, там фонтан стоит, лебеди плавают, все вроде бы прекрасно 🙂 И процесс замкнулся. Где здесь история про качество контента? Нет ее. В бизнесе и в обучении все работают на результат (условно «прошли / не прошли»). Вроде бы информация донесена, а как сотрудник будет ее применять и будет ли, это не наши проблемы. Это глобальный разрыв, нет целей или каких-либо показателей, которые помогут понять, получил ли человек знания и начал ли их применять.
Эти глобальные проблемы можно решить с помощью «Курсометра». Потому что он закрывает вопрос с отчетностью и открывает новое поле в виде данных, где люди экспериментируют с эффективностью и добиваются максимальной пользы.
«Мне кажется, люди только сейчас проникаются моей идеей».
Сколько времени нужно компаниям, чтобы к этому прийти?
Сначала я думал, что, как только выйду на конференции и начну общаться с людьми, пройдет 2–3 года, и я смогу это исправить. Но потом понял, что сильно ошибался. Мне кажется, люди только сейчас проникаются моей идеей. Только сейчас они приходят к нам с кейсами.
Например: «Можно мы подключим “Курсометр” к презентации менеджера по продажам, которую он показывает клиентам?»
Презентация собрана в iSpring или в Course Editor, ключевое в этом — желание понять, по какой структуре шла продажа, как показывалась презентация, сколько времени были на слайде клиенты, где дольше останавливались, какова была реакция каждого, видеть быстрые комментарии, лайки и дизлайки аудитории.
Сейчас на это стали обращать внимание. Совсем скоро у бизнеса анализ полезности обучения перерастет в привычку. Tin Can API еще не освоен провайдерами обучения, хотя на нем все основано.
Мы помогаем. Пару лет назад мы открыто говорили о преимуществах Tin Can API, когда еще ни у кого не было таких экспериментов. Ни одна LMS не поддерживала этот формат. А сейчас WebTutor, Articulate, iSpring и пр. переходят на Tin Can. С помощью нас такая компания, как WhenSpeak, подключает к клиенту Tin Can API. Все больше компаний из EdTech переходят на этот формат. Мы начинаем заражать их, поэтому заход Tin Can API на рынок неизбежен. Вопрос только в том, как скоро.
Мой посыл — пробуйте, экспериментируйте, убедитесь в пользе и получите профит от того, что делаете в обучении.
Можно ли собирать данные в «Курсометр» не только по курсам, но и по другим системам: например, 1C, CRM, турникеты и т. д.?
Я стараюсь продукт не усложнять: всегда можно докинуть метрик, это не проблема. Но с каждой добавленной метрикой увеличивается порог входа — и в результате данных слишком много. Работать можно со всем: прокторинг с турникета «пришел / не пришел на работу или учебу». Недавно обсуждали тему, что приложенный к турникету пропуск позволяет фиксировать, что человек пришел на очное мероприятие. И это несложно: фактически у тебя будет понимание — пришел во столько-то, ушел тогда-то, какое-то время провел в аудитории. Преподаватель может даже записывать, если есть некий цифровой дневник, что с ним работали такие-то люди. В том же WhenSpeak он записывает, что люди пришли, начали какие-то действия производить, и это отправляется нам как событие: пользователь ответил, оставил коммент, задал вопрос и т. д. К примеру, очные мероприятия частично можно переложить в дистанс. Также и с VR/AR. Tin Can не ограничен ничем: какие события передавать, откуда — ему все равно.
Что касается порталов… Я бы другую тему осветил. Зачастую люди не знают, для чего они его делают. И получается портал ради портала. Это не только про СДО, где у тебя будет 1000 курсов и все. Часто там какие-то новости, сообщения и т. д. Вот это, мне кажется, в дистансе никак не подружится с маркетингом. Назначение портала — привлечение аудитории и ее удержание. И порталы разных компаний ничем друг от друга не отличаются. Я еще нигде не видел портал с Яндекс.Метрикой 🙂 Чтобы следить, сколько времени там проводит народ. Таких нет, что меня безумно удивляет: когда создаются такие библиотеки, они вроде делаются не для галочки, а для продвижения, чтобы люди там тусили. Но, повторюсь, такого я нигде не встречал.
О’кей. Спасибо за подробные ответы! Насколько я знаю, ты в ЦРММ занимаешься не только «Курсометром». Расскажи о других проектах.
Сейчас стал отвечать за несколько продуктов сразу. Я не делаю их сам, а руковожу процессом. Есть продукт по созданию курсов — конструктор. Есть проект по их размещению — система дистанционного обучения PaLMS. И мы говорим про Tin Can, это OpenLRS. Те события, которые пользователь совершает, должны куда-то передаваться, где-то храниться. Сейчас этими продуктами занимаюсь я, отвечаю за них головой.
Давай немного о конструкторе курсов. Расскажи, чем он отличается от других решений на рынке?
Course Editor помогает компаниям создать уникальный курс под себя. В итоге ты получаешь структурированный курс из лонгридов, которые адаптируются под разные устройства. Одна из ключевых особенностей — уникальные плееры. Я делал огромное количество курсов с одним и тем же плеером. И теперь основная проблема в том, что у клиента таких курсов 20–30. Они про пожарную безопасность или про тайм-менеджмент. Они назначаются на пользователя, которому порой надо пройти 6 курсов с одинаковым плеером. В какой-то момент обучающийся просто не понимает, где он — все курсы одинаковые. То есть стандартная стилистика картинок, стандартный визуальный ряд. Сначала все было здорово, так как это сохраняло бюджет. А в результате у людей просто начался отказ. Такие одинаковые курсы больше не нужны.
Что такое плеер? Это не просто кнопочки, визуальное оформление и пр., туда можно добавлять фичи, там могут быть даже встроенные игры, которые будут передавать какие-то данные. То есть плеер — это набор функционала, который полноценно дает пользователю действовать. И отдельно рядом есть контент, который нужно изучить.
В конструкторе курсов много дополнительных интересных фич. Помимо наличия собственного плеера, Course Editor — это про гибкость. К примеру, для создания сайта многие используют «Тильду», которую можно настроить под себя: захотел 3 колонки текста или еще что-то, чего нет у других — сделал. За это «Тильду» и любят. Так вот в Course Editor можно не просто вставить картинку-текст-картинку, чтобы получился лонгрид. Можно поработать с этим текстом: вставить абзац или превратить его в визуальный ряд, который уже иначе воспринимается — проще. А это уже некий педдизайн: ведь пользователю не текст сам по себе интересен, а то, как это расположено, разбито ли на части, как легко его можно потом «переварить». История с «перевариванием» текста крайне важная: в зависимости от подачи ты текст либо просто воспринимаешь, либо тратишь кучу энергии, чтобы осознать, перечитать несколько раз. Мы постарались внедрить гибкость: можно играть с этими колонками, располагать, как надо только тебе.
Планов на будущее море, и все они направлены на то, чтобы создавать качественный офигенный контент за максимально короткий срок.
Про LRS. Можно ли наладить получение статистики из существующих решений клиентов в OpenLRS?
Вариантов масса. Первый: если у клиентов стоит система дистанционного обучения, от которой нет возможности отказаться. В конструкторе всегда можно опубликовать SCORM — нет проблем. Второй: если заказчик готов что-то менять и пробовать новое, мы можем предоставить полный спектр услуг — LMS, которая уже «ест» Tin Can, положить туда электронный курс и назначить обучение на людей плюс собрать статистику. Буквально за неделю мы готовы это развернуть, и люди уже смогут обучиться, пройти курс, клиент получит данные и начнет с этим работать. Это две крайности. Третий вариант: можно собрать курс в нашем конструкторе и опубликовать в SCORMCAN. Это курс в формате SCORM, который отправляет данные параллельно в Tin Can.
Расскажи подробнее о платформе LMS.
Было примерно так. Знакомим с «Курсометром» и все такие: «О, звучит классно, но у нас нет Tin Can». Хорошо, отвечаешь, вот вам Course Editor, все быстро сделает, данные передает. «О, круто, а у нас располагать негде, не работает».
И тут появилась PaLMS. Она лучше всего выстрелила. Почему? Потому что быстро развернуть обучение для корпоративного сегмента или универов — это важно. PaLMS была задумана как простейшая система дистанционного обучения, куда ты можешь закинуть обучение, учеников и назначить им его. Они там логинятся или переходят по уникальной ссылке и учатся как неавторизованные пользователи. Ключевой момент тут в том, что статистика передается, ты смотришь, как проходит процесс обучения. Это касается того момента, когда тебе и данные-то не нужны, но важно понимать, как протекает процесс обучения, и сделать это быстро.
«Клиент не меняет процесс под LMS, а мы создаем LMS под его процессы».
Однако самое главное — мы реализовывали PaLMS как основу для будущих LMS. И это сработало! Клиенты пытались, пробовали запускать обучение, видели, что это простенько и клево, хотели его развивать. Дальше под них формируется отдельная команда разработки, которая создает новые фичи. Например, внедрение вебинаров (изначально их нет). Ок, вот вам вебинары. И получается, что есть основа, которая экономит огромный бюджет как клиентам, так и нам. Она хорошо архитектурно спланированная и быстрая. Как в некоем MVP в нем можно сразу начать обучение и разрабатывать новые фичи в процессе. То есть все устроено так, что добавление новых модулей никак не влияет на процесс, который уже идет. Основная затея: вы со старта начинаете обучаться, а мы дорабатываем LMS под вас. Это на самом деле важный момент. На рынке огромное количество LMS, которыми все недовольны — чего-то всегда нет, что-то не так работает. Так мы поняли, что это плохо, когда есть избыточный функционал, крутостью которого все поражаются, но на деле при этом используют только 1/3. Тогда мы сделали как раз базовую треть. Остальное впоследствии дорабатываем под конкретного клиента, то есть он не меняет процесс под LMS, а мы создаем LMS под его процессы.
А есть планы по развитию LMS или это всегда будет фундаментом для разработки уникальной платформы?
Нет, не только 🙂 Мы хотим на ее основе создать некий маркетплейс, где люди могут располагать свои курсы. Это может быть как для «корпората», так и для личного развития. Например, кому-то захочется электронный курс по пожарной безопасности (очень частый запрос, кстати ;)) Ты внутри системы смотришь демку этого курса: как он выглядит, какая компания это сделала. Нравится — покупаешь и ставишь себе. Это для «корпората». Для «физиков» сложнее, ведь им нужно будет как-то отбирать себе контент. И тут как раз нужен будет «Курсометр», потому что он нацелен на проверку качества контента 🙂 В идеале хорошо бы прийти к тому, что «Курсометр» будет анализировать прохождение курсов, проверять, насколько он хорош или плох, ставить им свою оценку вдобавок к экспертной (и это понятно: ведь оценить педдизайн не получится).
Но есть некий системный расчет, оценка, которую будет давать система и сообщать, если курс не очень заходит людям. Некая эмоциональная окраска, но не от людей, которые чаще всего оценивают по категории «красиво/некрасиво», «нравится / не нравится». Ведь цель курса иная — научить человека чему-то, после чего он придет и будет сразу делать. Хотелось бы исправить эту ситуацию: снизится влияние человека на оценку контента, уйдет субъективизм. И «Курсометр» будет говорить: «Ребята, судя по данным, курс плохой».
Мне хочется нести пользу людям — именно тем, кто будет обучаться потом на курсе. Ну и цель маркетплейса — собирать контент, давать ему объективную оценку и показывать его людям, чтобы они использовали в обучении лучшие материалы.
Что мы все о продуктах 🙂 Расскажи о себе. Что нового изучил за последний год и как это повлияло на развитие компании?
Весь год учился маркетингу и продажам. Совершал ошибки, наступал на грабли. Но я рад положительной обратной связи. К нам пришло большое количество новых пользователей. Но самый умопомрачительный результат: у нас все пользователи пролонгировались на новый год! Это дает мне понимание, что мы все делаем правильно. Это меня драйвит. Хочется делать продукт все лучше.
«CPO — это человек-топливо, который постоянно думает, как драйвить, как двигать, куда и т. д.».
К примеру, то, что продуктолог должен быть специалистом в нескольких областях одновременно, он должен быть везде хорошо подкован. И эта многозадачность и одновременность может стать проблемой. Для всех, кто читает, хочу сказать, что CPO (руководитель продуктологов) — это огромная база знаний. Это человек-топливо, который постоянно думает, как драйвить, как двигать, куда и т. д. Трудности начинаются, когда топливо заканчивается: иногда бывает, что месяц не можешь ничего толком делать из-за усталости. А если еще и знания не можешь применить полученные, это вообще ад. История продуктологии — это очень интересно.
Все это можно узнать либо путем проб и ошибок, как я, но это больно 🙂 Либо через знания: это клево, дает драйв, идеи.
Блиц 🙂 Отвечай первое, что придет в голову.
Давай!
Книга или онлайн-курс?
Видосик. Вроде почти близко к дистанционному обучению, но все же не то. Я за видосик. Короткий, емкий, понятный 🙂 Который решает проблему.
Порекомендуй какой-нибудь видосик по аналитике обучения.
Ну началось… Есть 2 типа аналитики: поверхностная визуализация и глубинная. Человек, которым я вдохновляюсь — Владимир Баяндин. Он круто с цифрами работает. Ребята из Skyeng работают с данными и очень много рассказывают о том, как это делать, как выявлять качественные показатели, корреляции находить. Это именно про обучение, очень много полезного.
Если про визуализацию, есть прекрасный человек — Алексей Колоколов. Это бизнес-тренер, рассказывает, как наглядно и приятно отобразить данные.
Три слова, характеризующие ЦРММ 😉
Семья. Поддержка. Мотивация. Меня мотивирует работать в этой семейной обстановке, где тебя поддержат и даже твои мегабредовые идеи обсудят и замотивируют это сделать. Всегда выслушают, помогут. Не сделают за тебя, а просто поддержат тем, что они банально рядом. Это семья.
