Можно ли оцифровать результаты деловой игры и какие инструменты позволяют это сделать

Представим, что наша цель измерить результаты обучения, где в качестве основного инструмента использовалась Деловая игра. Мы опираемся на модель Киркпатрика, которая помогает оценивать эффект от обучения на четырёх уровнях: реакция участников, усвоенные знания и навыки, изменение поведения на работе и результат для бизнеса.

На первом уровне вопрос «понравилось ли» мало что даёт. Но реакция всё равно важна: от неё зависит, придут ли люди на следующие этапы обучения. Второй уровень мы измеряем через игру дважды. В начале проекта диагностическая игра показывает, как участники принимают решения на самом деле. Наблюдатели фиксируют поведение по заранее согласованным компетенциям и шкале, и на основе этой картины строится обучение. В конце проводится вторая игра с теми же критериями, но с более сложными кейсами. Разница между результатами показывает динамику каждого участника и команды. На третьем уровне участники на рефлексии сами формулируют, что будут делать иначе, а потом руководитель проверяет, появилось ли это в работе. Метрики четвёртого уровня, например время выхода новичка на продуктивность или удержание сотрудников, мы согласовываем с вами до разработки игры. Очки, набранные в игре, мы результатом не считаем: они показывают, кто лучше освоил правила.

Логика одна и та же: и игру, и тренинг проверяют по четырём уровням Киркпатрика. Отличаются способы сбора данных на первых двух уровнях. После тренинга обычно раздают анкету и тест. Тест показывает, что человек знает, но не показывает, как он поступит в реальной ситуации. Ответить правильно на бумаге проще, чем правильно действовать. В игре участник принимает решения в условиях, похожих на рабочие: времени и ресурсов не хватает, а от его решения зависит результат команды. Эти решения фиксируются прямо по ходу игры. Поэтому игра даёт данные о поведении, пусть пока и в смоделированной среде, и они ближе к реальной работе, чем результаты теста. Поэтому оценку нужно готовить заранее: критерии, шкалы, бланки, инструктаж для тех, кто оценивает. Без этого остаются только впечатления. Учитываем и роли: они иногда дают участникам неравный старт, поэтому результаты сравниваем с поправкой на роль. На третьем и четвёртом уровнях разницы нет. Поведение на работе и бизнес-показатели проверяют одинаково после любого обучения.

Часть оценки можно встроить в саму игру, чтобы данные появлялись по ходу процесса.

1. Фиксировать решения. Если команды записывают решения в расчётные таблицы или бланки ходов, после игры остаются цифры. Например, сколько раз команда договаривалась со смежным отделом и сколько раундов ушло на исправление ошибки. В онлайн-версии это пишется автоматически.
2. Привязать баллы к критериям. Баллы начисляются за действие, которое вы хотите увидеть, например за проверку рисков перед решением или за согласование с другой командой. Тогда по счёту видно, как часто команда применяла нужный навык.
3. Перекрёстная оценка. Команды по очереди наблюдают друг за другом и оценивают ответы по заданным критериям, например фишками. Так устроена наша игра «Наставник в деле». Субъективность снижают чёткие критерии и эталонные карточки с ответами.
4. Замер до и после. В начале и в конце игры участники решают несколько коротких кейсов или оценивают себя по шкале. Самооценка менее точна, чем мнение эксперта, но динамику показывает.

Ведущий тоже может отмечать ключевые моменты, если у него есть чек-лист на три-пять пунктов. Полную оценку компетенций он не проведёт, ему нужно управлять игрой. Без внешних наблюдателей точность ниже. Для оценки группы и настройки обучения таких данных хватает. Для кадровых решений по конкретным людям их мало.

Оценке можно доверять, если высокие баллы получают те, у кого навык действительно в полной мере присутствует, и это определено заранее. Большую часть проверок удобно сделать на пилоте.

1. Содержание. Покажите кейсы и критерии 2–3 руководителям участников. Узнают ли они свою работу? По этим ли признакам отличают сильного сотрудника от слабого?
2. Совпадают ли оценки. Сравните, как разные команды оценили один и тот же ответ. Если оценки сильно расходятся, критерии сформулированы размыто. На пилоте полезно один раз сверить оценки команд с оценкой эксперта или с видеозаписью.
3. Устойчивость. Тот, кто хорошо проявил навык в одном раунде, должен показать похожий уровень и в другом. Если результаты отличаются, вывод по одному эпизоду делать нельзя.
4. Баланс. Сравните результаты по ролям и стартовым условиям. Если разные участники в одной и той же роли из игры в игру набирают больше, дело в балансе игры. Это же касается стратегий, которые позволяют выигрывать в обход задачи игры.
5. Запас шкалы. Если и на входе, и на выходе почти все получают максимум, шкала слишком занижена, и прироста будет не видно.
6. Связь с реальностью. Сопоставьте результаты игры с оценками руководителей или с KPI. Если сильные в игре сильны и в работе, оценка работает. Ещё надёжнее вернуться к данным через 3–6 месяцев.

Разберем структуру из нашей программы «Лидеры эффективных решений». Крупная производственная компания пришла к нам с проблемой: отделы не договариваются между собой, а внутренние заявки согласовываются неделями. В программе участвовали 24 руководителя среднего звена, она длилась два с половиной месяца. В техническом задании мы с заказчиком заранее договорились, что будем отслеживать срок согласования внутренних заявок и уровень развития по четырём компетенциям по шкале от 1 до 4. Программа началась с бизнес-симуляции. Три наблюдателя от заказчика фиксировали решения участников. Картина получилась такая: команды согласовывали план со смежными отделами только в 2 раундах из 6, а планирование и взаимодействие между отделами оказались самыми слабыми местами. На этом построили обучение. После каждой игры участники заполняли короткую анкету. На выходе её заполнили 22 человека из 24. Из них 19 назвали конкретный инструмент, который начнут применять. С тремя, кто не назвал ничего, разговаривали отдельно. Финальная игра шла по тем же критериям, но с более сложными кейсами.

В финальной игре команды согласовывали план со смежными отделами уже в 5 раундах из 6. У 17 участников прирост составил 1 балл и больше минимум по двум компетенциям, у 7 значимых изменений не произошло. Через два месяца руководители участников заполнили короткий чек-лист. До программы регулярные планёрки со смежными отделами проводили 6 человек из 24, после 15.
Срок согласования внутренних заявок за три месяца сократился с 9 до 6 рабочих дней. Две проектные инициативы участников были направлены именно на это. Контрольной группы не было, а в тот же период компания сменила систему документооборота. Поэтому в отчёте мы написали, что программа внесла вклад в сокращение срока, и не стали приписывать ей весь результат.

Вывод - результаты деловой игры можно оцифровать, если заранее согласовать критерии, шкалу и бизнес-метрики. Замер на входе и выходе по одним критериям показывает реальный прирост, а влияние на бизнес стоит описывать честно, как вклад программы, а не её единственную заслугу.