Оценка обучения по модели киркпатрика. Оценка обучения по Киркпатрику: проверка временем Четыре уровня оценки обучения Д
Жажда объективности в оценке тренинга послужила основной причиной разработки модели Д. Киркпатриком. В основе подхода лежит принцип разделения четырех уровней анализа, расположенных в хронологическом порядке (на тренинге, сразу после тренинга, после тренинга и в долгосрочной перспективе):
1. Уровень реакции участников (изучается мнение и отношение участников - понравилось или не понравилось);
2. Уровень усвоенных знаний (изучается комплексное влияние тренинга на эмоциональный настрой, изменение профессиональной мотивации участников, получение новой информации);
3. Уровень поведения участников (анализируется изменение поведения на рабочем месте в результате полученных на тренинге знаний);
4. Уровень эффекта от участия (влияние участия в тренинге на результаты работы организации, например: снижение оттока кадров, увеличение объема продаж).
Специфика оценки результатов тренинга по модели Киркпатрика заключается в двух моментах. Во-первых, подход можно трактовать как попытку отделить эмоциональное восприятия тренинга от рационального. Во-вторых, предложенный подход демонстрирует различия в оценке, зависящие от времени подведения итогов: в момент предварительной диагностики, анализа результатов во время тренинга и сразу после длительного их изучения по его окончании.
Несмотря на очевидное преимущество панорамы мнений, ограничения в применении модели Киркпатрика тоже есть.
При внимательном рассмотрении модели создается впечатление, что в сравнении с самим тренингом процесс оценки начинает доминировать. Так или иначе, в его осуществление вовлечены все возможные стороны. Оценка начинается до начала занятий и длится долго после их окончания. Именно это заставляет усомниться в эффективности самого механизма. Во-первых, процедуры и процесс оценки требуют больше затрат, чем сам тренинг (при этом расходы на проведение оценки почему-то не учитываются). Во-вторых, попытка определить различия в уровнях оценки не дает видения целого и получить ответ на вопрос: есть ли у тренинга результаты и если да, то какие?
Не менее популярным подходом к оценке результатов тренинга является модель (Return On Investments - рентабельность инвестиций), предложенная Дж. Филипсом. Честно говоря, ROI - лишь один из элементов сложной, на этот раз пятиуровневой системы, во многом аналогичной рассмотренной выше. Но попытка определить результаты тренинга через «формулу успеха» определила общее отношение.
На первом уровне производится оценка реакции участников, т.е. сбор мнений о тренинге, проведенный в виде анкетирования. На втором уровне предполагается измерение усвоения учебного материала. На этом уровне тренер оценивает результаты обучения методами тестирования, контрольных упражнений, экзаменов. На третьем уровне анализу подвергаются изменения в поведении участников по окончании обучения, возможность использования полученных знаний и навыков на практике. Основной метод оценки в этом случае - тестирование, и сравнение результатов до и после тренинга. Однако метод не исключает косвенных показателей эффективности: например, увеличение объема продаж после проведенного тренинга для торговых представителей. Обратите внимание: предположительный период оценки показателей третьего уровня - от нескольких месяцев до полугода.
И только на четвертом уровне предлагается рассчитать возврат на инвестиции в обучение персонала. Расчет формулы прост: затраты на обучение должны быть не только окупаемыми, но быть значительно меньше выгоды организации, получаемой по окончании тренинга.
ROI = (Доход - Затраты) / Затраты X 100%
Несмотря на кажущуюся простоту и привлекательность «формулы успеха», основная трудность в ее применении - очевидное увеличение расходов. Затраты на проведение предварительного и последующего за тренингом анализа становятся критическими. И если прибыль от инвестиций в обучение персонала посчитать возможно, то как оценить финансовую эффективность сопроводительных мероприятий?
Но формула - это еще не все. Предполагается пятый уровень оценки, а именно, посттренингового сопровождения. В этом случае предлагается предусмотреть и подсчитать расходы на создание дополнительных инструкций, подготовку изданий, методичек и видеоархива, что со временем позволит поддерживать полученные на тренинге знания и навыки в рабочем состоянии.
Идея посттренингового сопровождения в компании отражает возможность поддержания, контроля и управления процессом подготовки персонала. Мы обеими руками «за» организацию посттренингового комплекса мер. Но все-таки в компании должны быть созданы рабочие, а не учебные условия, при которых участники тренинга могут применять новые знания и навыки и обеспечивать прибыль. Попытка создания спецусловий для «непрерывного тренинга» демонстрирует, скорее, отсутствие представлений о конечности (и, следовательно, результативности) программы обучения. Но тренинг конечен. В противном случае измерить результаты очень трудно.
Существуют и другие ограничения многоуровневого подхода, предложенного Дж. Филипсом. Оценка эффективности тренинга становится внутренним делом компании-заказчика. Даже если тренер принимает участие в многоступенчатой аналитической страде, процессом анализа результатов он не управляет. В дополнение следует сказать, что длительный процесс сбора и обработки информации принципиально увеличивает затраты.
В основе рассмотренных многоуровневых подходов лежит заполнение бесчисленных анкет и опросников, которые планируется внимательно изучить, проанализировать и сделать правильные выводы. Работа персонала стоит. Поскольку сначала потенциальные участники, а также их руководители отвечают на вопросы анкеты, потом учатся и продолжают отвечать на вопросы анкеты, заканчивают обучение и снова приступают к ответам на вопросы. Процесс может затянуться.
Фактически предложенный подход позволяет провести самостоятельное исследование. Однако практика тренерской работы показывает, что, несмотря на обилие разных по форме и содержанию вопросов, выводы об эффективности того или иного тренинга в этой ситуации сделать неимоверно трудно. Поэтому заполненные анкеты не только не позволяют увидеть результат проделанной работы, но часто становятся безмолвным свидетельством того, что работа была проделана с... неизвестным результатом.
ПО ПОЗИЦИЯМ
Многоступенчатые возможности оценки результатов тренинга важны, но не всем и не всегда по силам. Чаще тренер находится в ситуации «здесь и сейчас», где необходимо быстро принять решение в условиях ограниченных ресурсов. В то же время поскольку в открытом и, особенно, в корпоративном тренинге de facto принимают непосредственное участие от двух до четырех заинтересованных сторон, оценка эффективности с разных позиций будет, так или иначе, отличаться.
Поэтому для нас, прежде всего, важно знать принципиальные различия и точки пересечения задач, интересов, ожиданий и возможностей всех участников «мирного процесса».
Напомним, что основными субъектами тренинга являются:
1. тренер (непосредственный исполнитель, инструктор, ведущий);
2. участники тренинга (вне зависимости от формы проведения тренинга);
3. заказчик тренинга (руководитель, HR-менеджер, генеральный директор, собственник);
4. организатор тренинга (тренинг-провайдер, работодатель тренера).
Совершенно очевидно, что позиции для оценки тренинга разные, а интересы сторон не всегда пересекаются. Но именно поэтому четкое понимание эффективности важно для всех субъектов тренинга. Рассмотрим последовательно основные задачи, ценности, критерии и «болевые» точки эффективности тренинга для всех позиций.
Сам себе тренер
Не стоит перекладывать работу по оценке результатов своего труда на плечи третьих лиц. Нет сомнений, что они прекрасно справятся. Но не отчуждайте от себя, как учил нас еще Карл Маркс, результаты своего труда. Поскольку в этом случае они точно не будут вам принадлежать. А ведь вам еще работать и работать...
Если говорить серьезно, то, конечно, тренер сам должен знать, что получилось, что не получилось и почему. Более того, он всегда это знает, только иногда не хочет признаваться. Конечно, в случае неудачи с тренингом можно попробовать кокетничать и капризничать: «Не та аудитория, не та мотивация, не тот заказчик, не тот заказ...». Но это скромный вклад в тренерский аутотренинг. Не более. Оценить результаты тренинга позволяют поставленные и принятые задачи.
Основными задачами работы тренера, наряду с собственно обучением, являются выполнение заказа (в соответствии с условиями договора) и общий позитивный эффект от участия в тренинге, который обеспечит репутацию компании-организатору и позволит клиенту в дальнейшем обратиться повторно. Решению этих основных задач подчинены все популярные критерии оценки.
Эффективность тренера, прежде всего, отражается в содержании программы тренинга, в умении ориентироваться в тематике, отраслевой специфике, а также в навыках аргументации и в ответах на вопросы участников. Наряду с проявлением собственной компетенции тренер должен обучить участников, поэтому критериями эффективности тренинга являются выполнение участниками всех заданий, тестов, а также публичная демонстрация полученных знаний и навыков. Методами самооценки тренера становятся личное наблюдение, тесты, контрольные и практические работы для определения динамики развития навыков, знаний, установок в работе участников в процессе тренинга.
Вместе с тем тренер должен обеспечить такую нематериальную вещь, как положительный эмоциональный настрой в процессе обучения. Поэтому в качестве оценки эффективности принято считать наличие интереса участников, известного как мотивация к обучению, и отсутствие напряженности и конфликтов.
Интерес обеспечивается соответствием программы обучения производственным задачам участников, уровню их профессиональной подготовки и интересом тренера к своей работе. Если вы уныло тянете лямку, не уверены в своей правоте, не видите перспектив, не дотягиваете до уровня участников, не подготовлены - не надейтесь, что у аудитории появится интерес к предмету обучения.
Основным индикатором тренерского провала станет затяжное публичное сопротивление: препирательства тренера с участниками, напоминание участников о том, что они заплатили за обучение, нежелание выполнять задания и упражнения, высказанные сомнения в квалификации тренера. Обращаем внимание на бессмысленность переноса ответственности за «неправильное» поведение на особенности характера участников. Именно тренер руководит группой во время тренинга, поэтому навык успешного управления группой является одним из критериев качества работы.
Соблюдение всех параметров, успешное управление эмоциями участников, более того, создание позитивного настроя позволяют говорить об успехе тренинга. По окончании тренинга вы можете провести анкетирование, можете предоставить участникам возможность выступить устно. Но, если в процессе тренинга ни у группы, ни у заказчика, ни у организаторов претензий к тренеру не возникло, а его работа была востребована в дальнейшем, то тренинг можно считать эффективным и успешным.
Однако даже при умении выполнять поставленные задачи, следовать программе, вызывать искренний восторг и восхищение участников новыми горизонтами тренеру не стоит расслабляться. Существуют дополнительные условия, учет которых необходим для успешной работы. Так, например, в корпоративном тренинге наряду с ожиданиями участников тренинга важно знать и учитывать интересы заказчика.
Несмотря на то что именно заказчик оплатил обучение участников, их интересы заметно отличаются. Если для участников основным приоритетом является личностный рост и совершенствование собственных навыков, задачи заказчика лежат в плоскости повышения конкурентоспособности компании и снижения издержек, связанных с трудовыми ресурсами. Поэтому особенно в корпоративном тренинге тренеру не обойтись без его поддержки. В противном случае тренинг превращается в поединок между тренером и заказчиком.
Противостояние тренера и заказчика может быть вызваны разными причинами: конкуренцией за внимание участников, неуверенностью заказчика в квалификации тренера, различными представлениями о возможностях и методах тренинга. Отсутствие взаимопонимания может стать поводом для публичного проявления сомнений в эффективности и профессионализме тренера. Тренинг перестает выполнять учебные задачи, превращаясь в ярмарочный аттракцион по перетягиванию каната. Однако любые попытки тренера «понравиться» заказчику только усиливают сопротивление, заметно снижая возможность успешного завершения тренинга.
Существуют только два метода преодоления разрушительного конфликта с заказчиком. Причем все усилия необходимо предпринимать задолго до начала тренинга. Прежде всего, стоит избегать прямого вмешательства заказчика в тренинг в процессе публичной работы, а все основные параметры тренинга отражать в договоре. Если конфликт все-таки произошел - только договор останется единственным беспристрастным арбитром.
Даже если заказчик в тренинге лично не участвует, необходимо заранее узнать его нормы, ценности, установки, для того чтобы содержание самого блестящего тренинга не оказалось в противоречии с принятой корпоративной культурой компании. В противном случае участникам просто не представится счастливая возможность применить новые знания и навыки на практике.
Планируя оценку своей работы, тренеру стоит учитывать, что интересный тренинг может дать участникам новые знания и навыки, избыточные для выполнения ежедневных должностных обязанностей, что приведет к разочарованию по окончании тренинга, активизации поиска лучшими из участников новой работы и в любом случае - к недовольству заказчика.
Как видим, оценка эффективности тренинга с позиции тренера не ограничивается знанием предмета, умением подготовить программу интенсивного обучения и успешно управлять эмоциями участников. От тренера потребуется детальное восстановление интересов и задач заказчика, карьерных перспектив и возможностей участников и их учет в планировании и проведении учебной программы. Кроме того, согласование договорных условий позволит проявить незаурядный дипломатический талант, поскольку именно тренеру придется воплощать в жизнь все обещания.
Организатор
Следует отметить, что критерии оценки эффективности тренинга, применяемые провайдерами - работодателями тренера, в силу различия задач будут отличаться от критериев оценки самого тренера. Другими словами, основными задачами организатора являются успешное выполнение заказа и... управление персоналом, или самим тренером. За понятием успешного выполнения заказа обычно тоже стоят эмоции: довольный клиент и участники.
Организаторы гордятся выполнением заказа и стремятся публично продемонстрировать успех компании отзывами участников и клиентов тренинга. Поэтому под качеством обычно понимается высокое положительное эмоциональное напряжение участников, которое находит свое отражение в многочисленных отзывах: «Семинар мне понравился, во-первых, он своевременный, а во-вторых, грамотно и доступно проведен»; «Замечательно! Поучительно!»; «Интересно, нестандартно. И как следствие - высокая усвояемость материала»; «После тренинга появились легкость, непринужденность в общении с людьми, в том числе с руководством и коллегами по работе. Жить стало интересней и веселей».
Конечно, тренеру важно ориентироваться на ожидания организатора. Однако противоречие заключается в том, что, в отличие от организатора, заказчик ждет от тренинга не только довольных и воодушевленных, но и подготовленных кадров.
В оценке тренинга организатору важно запастись терпением и учитывать не столько сиюминутный настрой. Несмотря на то, что бесконфликтность - хороший показатель стабильности работы тренера, всегда существует опасность, что за время тренинга всем довольная группа так ничему не научилась.
У организатора немного рычагов влияния на ход тренинга. Любые попытки изменить действия тренера только усиливают беспомощную и неуправляемую ситуацию. Однако возможность создать условия для позитивного настроя участников существует: заранее ознакомиться с программой, принципами обучения и подготовить все необходимые условия для комфортной работы, в том числе удобное помещение, встречу участников и организацию питания. От этих факторов будет зависеть и результат и настроение.
Решение задачи управления тренером лежит в плоскости трудового договора. Вне зависимости, ведет семинар штатный труженик или free-lance, организатор в оценке тренера будет использовать стандартные для любой работы критерии оценки: «качественно и в срок», отсутствие сбоев, соотношение «цена - качество», выполнение всех условий договора, востребованность заказчиком. В целом работа тренера не должна вызывать нареканий организаторов. В противном случае они просто предпримут шаги по поиску нового тренера.
Заказчик
Критерии эффективности для заказчика тренинга отражают, прежде всего, возможности экономической отдачи от обучения персонала, инвестиций в человеческие ресурсы. Самые продвинутые заказчики попытаются оценить и рассчитать экономическую эффективность «по формуле». Но, как правило, кроме общих теоретических рассуждений о процентном соотношении ВНП на инвестиции в персонал в США, Европе или Японии и безнадежной информации о том, что средний период окупаемости инвестиций в персонал составляет от 10 до 25 лет, современная экономическая мысль не предлагает.
Экономическую эффективность тренинга трудно вычислить из-за существующей дистанции между ограниченными полномочиями службы персонала, направляющей сотрудников на обучение, условиями труда и системой мотивации сотрудников, находящимися в компетенции других служб, поскольку на производительность труда влияет не только обучение, но и условия труда, заработная плата, структура управления. Тренинг как разовая акция способен поднять продажи до 40%. Задача руководителя - этот результат удержать.
Основное условие для получения результата от инвестиций в человеческие ресурсы - своевременность обучения, поскольку все благие идеи подготовки сотрудников в качестве трудового резерва без применения на практике полученных навыков не оправдают расходов на тренинг. Говоря о задаче изменения мотивации и принципов управления сотрудниками при помощи средств обучения, напомним, что само участие в тренинге мотивирующим фактором не является.
Помимо экономических существуют управленческие критерии эффективности тренинга. Среди них особое внимание заказчики уделяют наличию воспитательного эффекта, в том числе повышения уровня лояльности группы участников (или участника) к ценностям компании, адекватность тренинга корпоративным ценностям, принципам и правилам работы, а также благодарности сотрудников за участие и заботу.
Как правило, заказчики ожидают, что в тренинге не будут продвигаться идеалистические идеи, которые не соответствуют идеологии и практике работы в конкретной компании. Например, в крупной компании заказчика существует жесткая иерархия процедуры принятия решений, которая в тренинге рассматривается как атавизм тоталитарной системы, и предлагается командный стиль в работе. В этом случае по окончании тренинга закономерно возникнут взаимные упреки: «Как вы работаете? Нас учили иначе...».
Для заказчика важно, чтобы содержание тренинга не ставило под сомнение авторитет руководителя и корпоративную культуру компании. Заказчик рассчитывает, что в программе корпоративного тренинга будут учтены возможности баланса теоретических знаний и практических навыков. Основная сложность возникает в случае компромиссного согласия организаторов и тренера решить в тренинге заведомо неразрешимые задачи. Например, изменить систему мотивации сотрудников без изменения реальных условий труда.
Одна из важных для заказчика задач тренинга - расширение возможностей управления коллективом. И только в этом контексте заказчика будет интересовать сплоченность коллектива и развитие потенциала сотрудников.
Любой корпоративный тренинг является публичной площадкой. Это означает, что возможны не только созидательные проявления, но и возникновение трений и конфликтов. Поскольку корпоративное обучение обычно происходит по инициативе руководства, в группе могут оказаться недовольные отрывом от работы, потенциальные конкуренты руководства, специалисты более высокой квалификации, чем тренер.
Существующее скрытое сопротивление в коллективе может получить на тренинге прекрасный шанс вылиться в митинг протеста против руководства с вовлечением в ряды недовольных новых активистов. В результате коллектив может выйти из тренинга подготовленным и сплоченным, но... против руководства.
Именно поэтому заказчику необходимо заранее удостовериться в профессионализме и компетентности тренера и компании - организатора тренинга, познакомиться с программой и четко обозначить свои задачи. В конечном счете, заказчик ожидает, что после тренинга количество рычагов управления сотрудниками увеличится, а не наоборот.
Участник
Оценка эффективности тренинга с позиции участника сложна и многогранна, поскольку сильно зависит от индивидуальной специфики: мотивации, особенностей восприятия, уровня подготовки, личных целей и задач. В основном проводимая участниками в форме ответов на устные или письменные вопросы оценка тренинга охватывает два уровня: эмоциональный (понравилось - не понравилось) и прагматический, отражающий возможную пользу (или ее отсутствие) для работы. Но указанные критерии не всегда полно отражают реальную картину, которая нередко имеет второе, скрытое дно.
Часто именно с тренингом связаны большие надежды на обучение не в виде однообразного заучивания и утомительного конспектирования, а в форме увлекательного и зрелищного развлечения. Поскольку взрослые участники опасаются быть некомпетентными в вопросах, рассматриваемых в тренинге, они ожидают, что свет знаний и навыков будет освещать новые горизонты не только быстро, но и по возможности без особых усилий и риска для профессиональной репутации.
Подобные ожидания участников существенно подкрепляются игровой традицией в современном тренинге, формирующей и поддерживающей представления о том, что перенос задачи освоения профессиональных навыков в игровую плоскость позволяет добиться впечатляющих результатов. В свою очередь, доминирование в тренингах психологического подхода создает акцент на решении проблем личности и межличностных взаимоотношений. Поэтому не стоит удивляться, увидев, что ожидания участников тренинга лежат в плоскости возможного проявления положительных эмоций при накале страстей, общения с коллегами, отвлечения от рутинной работы.
Однако любая эффективная учебная работа в интенсивном тренинге для взрослых, опытных людей неизбежно проходит через два сложных и болезненных процесса: «преодоления» и «созидания». Преодоление требует умения отказаться от личных подозрений, профессиональных иллюзий и статусных амбиций, критично пересмотреть свой предыдущий опыт, «открыть» себя для сознательного усвоения нового материала. Созидание представляет собой усилия как для овладения новыми знаниями и навыками, так и для критического осмысления новых условий, в которых они будут применяться.
К сожалению, очень часто открыты ко всему «новому и интересному» только люди, которые воспринимают обучение как развлечение, а содержательную часть тренинга как необходимое дополнение к вкусному обеду или вниманию руководства. Как только участники тренинга начинают задумываться, анализировать, незамедлительно появляются грустные мысли и негативные эмоции. Опытным и вполне успешным в карьере специалистам очень сложно признаться себе в профессиональных заблуждениях, штампах, неудачах, сдерживающих дальнейшее развитие и эффективность работы. Процессы преодоления и созидания часто сопряжены с проявлением т.н. «групповой динамики».
С другой стороны, участники ожидают получить возможность для демонстрации своей состоятельности и компетентности в рассматриваемом вопросе. При этом участникам хотелось, чтобы само по себе участие в тренинге повысило их статус. Однако они меньше всего заинтересованы быть проверенными на усвоенные знания и навыки, тем более работать в измененных условиях и нормативах по окончании обучения.
Конечно, ни тренер, ни участники, ни тем более заказчик не хотят конфликтов. Компромиссным спасением репутации тренеров обычно становится проведение всего тренинга под флагом «толерантного» отношения к любому, даже неверному мнению. Популярная идея безоценочной обратной связи заметно ограничивает возможности конфликта, но и не оставляет пространства для реалистичной оценки ситуации. Поэтому, несмотря на то что бесконфликтность - хороший показатель стабильности работы тренера, существует опасность, что за время тренинга всем довольная группа так ничему не научилась.
В то же время, наряду с общими ожиданиями и представлениями, существуют различия в мотивации участников корпоративного и открытого обучения. Так, например, участники открытого тренинга в большей степени ориентированы на получение результата, поэтому очень внимательны и требовательны к программе, работе и квалификации тренера, соблюдению условий договора.
Большая требовательность и серьезное отношение к тренингу вызваны тем, что участники открытых программ обычно самостоятельно выбирают и оплачивают курс или прилагают усилия для обоснования необходимости своего обучения у руководства. Разочарование мотивированных участников может вызвать только низкий уровень тренинга, невысокая квалификация тренера, несоответствие программы предварительной рекламе и обещаниям. Но в этом случае от участников требуется большая щепетильность и дотошность в выборе учебной программы, а от тренера - повышение квалификации.
С участниками программ внутрифирменного обучения дело обстоит сложнее. Участники корпоративных тренингов, как правило, менее мотивированы на обучение и испытывают сложный комплекс противоречивых чувств. Недоверие к тренингу заметно усиливается воздействием коллектива и ожиданием последствий на работе. Напряжение участников вызывает ожидание перемен на рабочих местах по окончании тренинга. Тренинг может полярно восприниматься и как подтверждение исключительности одного из специалистов, как дополнительный компенсационный пакет или даже как санкции со стороны руководства.
В целом гамма чувств участников, пришедших на тренинг без особого личного желания, может проявляться в разных формах саботажа. Тренеру может «попасть» за все организационные неудачи и просчеты заказчика: невысокую зарплату, грубость и невнимание, за то, что тренинг проходит в «законные» выходные, за то, что собрали вместе лидеров и отстающих, старослужащих и новичков, руководителей и подчиненных и т.д.
На наш взгляд, именно поэтому сегодня на рынке доминируют игровые и психологические подходы в проведении большинства тренингов. Действительно, перевод сложных профессиональных проблем в пласт игры и переключение внимания участников на анализ личных психологических особенностей может спасти репутацию тренера. Это великолепное решение. Играть и узнавать про себя. Однако производственных задач такое обучение не решает.
Еще один подводный камень корпоративного тренинга - избыточная или несвоевременная подготовка участников. Несвоевременность подготовки, любые попытки обучить сотрудников впрок в рамках концепции «lifelong learning» часто активизируют поиск возможностей дальнейшего применения полученных знаний и навыков вне стен компании, но на лучших условиях. Парадокс: «непрерывное образование» исключительно облагораживает конкретного индивида, но для организации может оказаться губительным.
Специфика корпоративного обучения проявляется и в том, что вне зависимости от типа тренинга основным приоритетом участников является приобретение новых знаний для себя лично и только во вторую очередь - для компании. Чем лучше подготовлен специалист, тем больше возникает профессиональных амбиций: на должность, на зарплату, на уважение и почет. Отлично подготовленному персоналу после тренинга может стать тесно в своей организации. Поэтому, прежде чем «тренировать», необходимо определить, что изменится на рабочих местах сотрудников, кроме увеличения нагрузки.
Другими словами, может получиться и так: «что сотруднику хорошо, то работодателю смерть». Успешно подготовив специалистов на тренинге, заказчик может оказаться не в состоянии изменить процедуры, нормативы, условия труда и вознаграждение в практической жизни. В результате подготовленный сотрудник станет просто недосягаем для своего патрона.
Практика показывает, что участники корпоративного тренинга менее всего склонны думать об экономической эффективности тренинга как отдаче от инвестиций заказчика. Это неудивительно, поскольку в этом случае не они принимали решения и не они платили за тренинг самостоятельно. Решение вопросов личной и экономической ответственности участников перед заказчиком могут решаться методом предъявления претензий непосредственно к тренеру: не научил, не объяснил, не подготовил. Или, например, невозможностью работать в предложенных условиях: «Подушка жесткая, одеяло колючее, кофе не крепкий, чай не сладкий и т.д.».
Несмотря на то, что участники корпоративного тренинга могут высоко оценить эмоциональный эффект от тренинга («понравилось, интересно, весело»), они тут же совершенно безжалостно скажут, что ничему не научились. Это мнение достаточно распространено и заведомо ставит тренера в зависимую позицию: «Не смог научить всех - плохой специалист».
Так или иначе, позитивные и негативные эмоции участников на входе и по окончании тренинга не являются мерилом эффективности тренинга. Нравится, не нравится - очень субъективная оценка, которую можно отнести к развлечениям, а к тренингу - едва ли. При рассмотрении эффективности обучения нужны иные аргументы, которые позволят ответить на вопрос о применимости полученных знаний и навыков на реальных рабочих местах.
Обучение, несмотря на то что само понятие имеет почти сакральный смысл, - процесс, требующий усилий не только со стороны учителя, но и, в первую очередь, ученика. Обратите внимание на закономерность: чем больше усилий будут прилагать ваши участники, тем дороже станут для них результаты тренинга, тем больше положительных эмоций, впечатлений, отдачи.
Квартет
Как видим, у всех четырех сторон, участвующих в тренинге, будет разное отношение и разное мнение по вопросу результативности занятий.
Для тренера основным приоритетом станет собственная репутация, востребованность, заработок, позитивный настрой группы, выполнение обязательств контракта.
Для заказчика важна экономическая отдача от тренинга, иными словами, соразмерность затрат полученным преимуществам. За редким исключением, заказчику не важны подходы и методика обучения, применяемая в тренинге. Приоритеты заказчика касаются возможности персонала новыми, полученными в ходе обучения навыками выполнить новые профессиональные задачи. К очевидным приоритетам заказчика также отнесем лояльность персонала, возможность более эффективно управлять и отсутствие деструктивного влияния тренинга на корпоративную культуру и деятельность компании в целом. Кроме того, для заказчика важно, чтобы обученный персонал стабильно работал в интересах организации.
Для провайдера (организатора тренинга) важна лояльность тренера, сохранение (в идеале усиление) репутации в глазах заказчика, экономический результат от деятельности каждого конкретного тренера. Повторные обращения.
Для участника тренинга важен собственный личностный рост, раскрытие новых возможностей, собственная состоятельность, приобретение конкурентного преимущества, другими словами, будущие перспективы, причем как в компании, так и, возможно, за ее пределами.
Когда тренинг эффективен?
Сотрудникам HR -департамента и руководителям большинства компаний уже не надо объяснять важность и значимость обучения персонала .
Трудности теперь возникают на этапе оценки реальной эффективности корпоративных бизнес тренингов .
Главная цель бизнес-тренингов: улучшение бизнес-показателей организации путем совершенствования навыков, умений и поведения ее сотрудников.
Кроме того, наличие у работодателя программы обучения персонала, является важным факторов при поиске кандидатом нового места работы. Так как если кандидат собирается повышать свою квалификацию в области продажи услуг, например, то лучше же сделать это за счет работодателя?
Но как менеджерам по персоналу определить, действительно ли имеющиеся программы тренингов и профессионального развития являются эффективными. И в самом ли деле позволяют достичь целей организации? Дональд Киркпатрик (Donald Kirkpatrick) еще в начале 60-х прошлого века представил четырехуровневую модель для оценки качества программ обучения, тренингов, семинаров.
На первом уровне измеряется эмоциональная реакция участников бизнес тренинга на программу обучения.
Казалось бы, оценка программы тренинга на этом уровне не имеет особой важности, так как позитивная реакция участников тренинга еще не будет гарантировать успешного освоения новых навыков и умений.
Но отрицательная реакция участников может свести к минимуму мотивацию персонала к развитию.
Киркпатрик подымает значимость оценки этого уровня, так как дальнейшая работа по улучшению программ тренингов становится практически бессмысленной, если на этом этапе не удалось заинтересовать сотрудников.
Следствием этого будет усложнение оценки результатов работы бизнес тренера, и на следующих уровнях потребует значительно больших усилий и ресурсов HR.
На первом уровне будет достаточно дать анкеты участникам бизнес тренинга в конце обучения, затем собрать и обработать.
На втором уровне модели Киркпатрика оцениваются результаты пройденного участниками тренинга.
Заказчику обучения, HR, необходимо понять в какой мере участникам тренинга удалось усвоить именно те навыки и умения, ради которых и проводили данный курс и готовили программу обучения.
Для оценки этого уровня можно применять специально разработанные тесты и задания по определению степени развития этих самых навыков, лучше предварительно оцифровав их (например по шкале от 1 до 10).
Затем сравнивать результаты участников до начала тренингов и после их завершения согласно выбранной шкале.
Было до тренинга: +2, а после него стало +5.
что ж, значит было за что бороться HR, и что-то получил "продажник" на самом деле!
Следует помнить и о методе простого наблюдения за поведением участников во время выполнения заданий и проведения бизнес игр со стороны тренера.
Затем это наблюдение финиширует описанием в отчете кратких характеристик участников.
Но, новые знания сотрудника практически не несут никакой ценности для компании без умения и желания их использовать. А вот с этим порой много сложнее.
Почему, так как само по себе таящееся знание в голове сейлз менеджера не влияет на эффективность его продаж.
Поэтому важно чтобы произошло «осознание», то есть была усвоена ни только информация, полученная непосредственно от тренера, но и был бы получен собственный опыт по завершению тренинга.
Разрешить эту проблему может только третий уровень модели Киркпатрика.
Вполне возможно привлечение и клиентов к оценке эффективности тренинга.
Например, оценивая тренинг продаж можно использовать анкеты клиента или произвести анализ изменений характера записей в книге жалоб и предложений в случае прохождения тренинга направленного на повышение клиентоориентированности услуг.
На четвертом уровне модели Киркпатрика оценивается воздействие обучения на бизнес-результаты организации.Это расчетный уровень, требующий предварительного расчета перед тренингом, например расчета рентабельности продаж для всего отдела продаж (сейлзменов - продажников ). А затем тот же расчет по той же методике, но уже после программы обучения.
Этот этап и метод важен для топ менеджмента, так как именно на этом уровне производится конечная оценка эффективности вложений в мероприятия по обучению.
Измерение изменений результатов деятельности компании производится как по качественным показателям (изменение имиджа компании, узнаваемости бренда, улучшение психологического климата и др.), так и по количественным (снижение на Н% текучести кадров, увеличения на Р% объема продаж и др.). Оценка на таком уровне самая сложная и высокая по стоимости.
Модель Киркпатрика уже долгое время используется многими HR менеджерами для оценки и улучшения программ обучения и профессионального развития.
Она позволяет учесть интересы трех ключевых заинтересованных групп. Топ менеджерам компаний модель помогает принимать решения: «Стоит ли тренинг инвестированных в него затрат средств и ресурсов? Или следует направить в следующий раз их на другие цели?». Сотрудник сможет выяснить, как обучение повлияет на эффективность его работы или окажет влияние на карьеру. Бизнес тренер же сможет оценить реальную эффективность своих тренингов и работы выразив результат в полученной прибыли заказчика.
В 1959 г. Дональдом Киркпатриком была предложена модель оценки эффективности обучения, которая на сегодняшний день является классической. По мнению автора, данная оценка позволяет решить три основные задачи организации (рис. 2.1.6).
Рис. 2.1.6.
Данная модель строится на четырех уровнях оценки эффективности обучения персонала (рис. 2.1.7) :
- 1) реакции слушателей на программу обучения, которая проводится путем анкетирования или оценки листов реагирования;
- 2) знаний и опыта, полученных слушателем на программе обучения - определение степени усвоенности полученных знаний с помощью тестов, задач, симуляции;
- 3) поведения на рабочем месте - данный этап является одним из наиболее сложных в оценке, поскольку эффект от обучения может быть заметен не сразу. Однако проведение обследования работы сотрудников на рабочем месте, проверки планов действий, степени понимания целей и задач как всей организации, так и отдельного сотрудника, позволяет выявить успешность обучения;
- 4) влияния программы обучения на деятельность организации. Происходит путем определения ключевых факторов, которые выявляют эффективность обучения (повышение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров). При этом важно знать точные данные этих показателей до обучения, т.е. к результатам относятся лишь те изменения, которые произошли после обучения сотрудников.
Рис. 2.1.7.
Несмотря на то, что Д. Киркпатрик был против финансового измерения эффективности обучения, в 1991 г. Джек Филипс предложил пятый уровень оценки, который определяет результаты четвертого уровня в денежном эквиваленте. Его модель - возврат на инвестиции - позволяет оценить разницу между полученной от программы обучения прибылью и затратами на обучение и определяется по формуле 1
Поскольку для многих работодателей решающим фактором в определении программ обучения сотрудников являются стоимостные показатели, то именно оценка ROI пользуется спросом ввиду возможности оценить образовательную программу как бизнес-инструмент, а также оправдать все затраты на обучение.
Как уже говорилось, современные работодатели рассматривают затраты на обучение персонала в качестве капиталовложений в будущий рост конкурентоспособности предприятия. Однако, чтобы затраты полностью оправдывали себя, необходимо качественно оценить показатели эффективности системы обучения. Кроме того, можно проанализировать внутренние и внешние факторы, способствующие использованию технологии оценки в организации, а также вероятные риски, сопряженные с проведением оценки эффективности обучения. При этом каждая группа рисков подвергается ощутимому влиянию со стороны организации-работодателя.
Например, снизить риски, связанные с несоответствием целей обучения запросам компании, позволит процедура их согласования с перспективами развития компании, окружающей средой, оценкой потребности в обучении на начальном этапе утверждения договора об обучении.
Снизить риски, связанные с низким качеством обучения, помогут оценка программ обучения специалистами отдела по работе с персоналом, оценка соответствия данных программ необходимым для выработки компетенциям, стандартам обучения (рис. 2.1.8). Проверке также могут подлежать специалисты, проводящие обучение, путем изучения их сертификатов, опыта работы в других компаниях, результатов деятельности.
Риски низкой мотивации сотрудников в обучении могут быть решены путем разработки качественной системы мотивации и стимулирования, определяющей зависимость между уровнем квалификации сотрудника и его карьерным ростом, а также материальным поощрением.
Виханский О.С. Стратегическое управление: учебник. 2-е изд., перераб. и доп. М.: Гардарики, 2003. 296 с.
Рис. 2.1.8.
Для уменьшения вероятности ухода специалиста из компании после прохождения обучения может быть заключен договор об обязательном сотрудничестве на определенный период. Кроме того, в рамках системы мотивации сотрудники, успешно прошедшие обучение, могут быть направлены для реализации или координации крупных проектов внутри компании, управления филиалами компании или другими структурными подразделениями 1 . Анализ возможных рисков при обучении персонала организации и способы их минимизации представлены на рис. 2.1.9.
Успешность осуществления обучения персонала в организации зависит не только от проведенной оценки эффективности обучения, но и от качества реализации каждого из этапов в определенной последовательности.
- 1. Подготовительный этап - определение стратегических целей организации в работе с персоналом, уровня готовности организации к инвестированию в собственное развитие, формирование ожидаемых результатов от обучения и методов их использования.
- 2. Определение потребности в обучении предполагает оценку информации о сотрудниках (стаж работы, рабочий опыт, базовое образование, принимал ли работник ранее участие в программах обучения или повышения квалификации); анализ данных о прове-
Лксенова О.Л. Проблемы и приоритетные направления при создании корпоративной системы обучения персонала организации. URL: http://www. treko.ru/show_article_1009
денных аттестациях; оценка существующих проблем в работе персонала, причиной которых служит отсутствие достаточных знаний и навыков; сбор заявок на обучение от руководителей подразделений, а также сбор предложений по обучению от сотрудников путем анкетирования; работа с кадровым резервом; планирование карьеры.
- 3. Обучение руководителей и сотрудников исходя из поставленных целей обучения, планируемых результатов в рамках стратегии развития компании.
- 4. Оценка эффективности обучения.
- 5. Анализ полученных результатов, корректировка учебных программ.
Рис. 2.1.9.
В условиях конкуренции на рынке труда стало очевидным, что проверка эффективности обучения лишь посредством субъективного оценивания изменения поведения сотрудника на рабочем месте не является достаточной и достоверной.
На наш взгляд, данная методика является несовершенной и поэтому требует доработки. Подходя к процессу обучения и его оценке как к формальной процедуре, работодатели забывают о том, что вкладывают в это немалые средства, хотя могли бы получать реальный положительный эффект от роста компетентности своих сотрудников.
Важным этапом в системе оценки должна стать оценка практических навыков (см. п. 4-5), а точнее - способность и возможность сотрудника применять полученные теоретические знания на практике. В организации должны быть созданы условия для реализации этих способностей, т.е. система обучения персонала должна строиться не по формальным признакам, а исходя из реальных потребностей развития тех или иных компетенций сотрудников, требуемых компании на данном этапе работы.
Методика оценки обучения персонала на основе интеграции оценки по модели Киркпатрика
На основе модели Киркпатрика представляем процедуру оценки эффективности обучения и разработанную нами методику оценки обучения.
Реализация процедуры оценки обучения включает в себя шесть основных этапов (рис. 2.1.10).
- 1. Оценка реакции слушателей или оценка удовлетворенности процессом обучения чаще всего проводится путем анализа листов реагирования или простого анкетирования, главными целями которого является определение уровня полезности тренинга, удовлетворенности от процесса обучения, работы тренера.
- 2. Оценка знаний и навыков подразумевает оценку степени достижения поставленных перед обучением целей. Главными инструментами на данном этапе выступают профессиональное тестирование, которое проводится и до обучения, а также экзамены в устной или письменной форме.
- 3. Оценка поведения на рабочем месте , является одним из наиболее сложных этапов, поскольку подразумевает оценку изменения поведения участников обучения на рабочем месте. Работа оценщика может заключаться в собеседовании в стиле коучинга, позволяющем определить понимание сотрудником своих трудовых целей и вклада в общее дело, а также в оценке общего социальнопсихологического климата коллектива.
- 4. Проверка владения полученных навыков путем обучения других сотрудников, проведение презентации для руководителей по вопросам учебной сессии, помощь в адаптации и обучении новых сотрудников, проведение презентаций с коллегами из других подразделений.
- 5. Поскольку владение знаниями не всегда сопряжено с возможностью их практического применения, то важным этапом оценки является оценка практических навыков. Она должна определять, насколько сотрудник готов к выполнению новых задач по результатам обучения. Вариантами проверки могут быть: создание плана мероприятий по совершенствованию какого-либо направления деятельности компании, создание типового документа, положения, стандарта работы, разработка и реализация проекта, направление в другие филиалы и подразделения для обмена опытом и др.
- 6. Оценка влияния программы обучения определяет, насколько изменились бизнес-показатели компании. Наиболее сложным является определение ключевых показателей, которые подвергаются влиянию со стороны проведенного обучения. Если речь идет о финансовых данных, таких как объем продаж, прибыль, затраты, то вклад тренинга измерить довольно сложно, поскольку проведенный тренинг не является единственным фактором, влияющим на эти показатели. То есть оценке подлежат производственные показатели (улучшение качества, увеличение производительности труда персонала, рост продаж, уменьшение количества несчастных случаев и производственных травм, снижение времени обслуживания клиентов, уменьшение производственных затрат и др.).
В условиях кризиса важным является также постсопровождение программы обучения, поскольку в динамично изменяющихся условиях возможность использования навыков, полученных в процессе работы образовательных программ, в практической деятельности может быть утеряна. В такой ситуации оптимально проведение доверительной беседы с сотрудником, объяснение причин сложившейся ситуации, совместная разработка альтернативных методов практического применения знаний (стажировка, управление проектом, получение опыта в других филиалах или разработка системы наставничества). Это позволит избежать демотивации сотрудников, падения уровня вовлеченности в трудовую деятельность, а также уровня лояльности по отношению к руководству и пониманию стратегии развития организации .
Рис. 2.1.10.
Таким образом, реализация всех этапов позволит провести качественную оценку эффективности обучения персонала организации. Однако нельзя забывать, что оценка - не самоцель, а лишь средство поиска недочетов в работе всей системы, зон совершенствования и развития или технология, доказывающая полезность обучения с экономической точки зрения.
Поскольку обучение персонала является довольно затратной процедурой, работодатели стали ответственно подходить как к выбору методик обучения, так и к формированию системы обучения в целом. Важным ее элементом стала оценка эффективности системы обучения персонала, которая позволяет соотнести затратность обучения с его эффективностью.
Использование усовершенствованной модели оценки эффективности обучения позволяет обосновать значимость обучения в общей системе работы с персоналом, определить рациональность использования тех или иных методов обучения, а также выявить недочеты на разных этапах проведения обучения и скорректировать программы для дальнейшей успешной работы компании.
- Удовидненко Р.С., Киреева В.С. Сравнительный анализ моделей оценки эффективности обучения персонала // Современные проблемы науки и образования. 2014. № 6.
- Турчинов Л.И. Кадровая политика и управление персоналом: проблемы теории и практики // Коммуникология. 2014. Т. 7. № 5. С. 103-117.
Оценка обучения проводится для того, чтобы понять, как повысить его эффективность, какими способами можно его улучшить.
В связи с этим предлагается ответить на следующие восемь вопросов:
· В какой мере содержание тренинга соответствует потребностям участников?
· Является ли выбор преподавателя оптимальным?
· Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?
· Являются ли условия для проведения обучения удовлетворительными?
· Устраивает ли участников расписание занятий?
· Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?
· Была ли координация программы удовлетворительной?
· Что еще может быть сделано для улучшения программы?
Оценка обучения имеет четыре уровня:
1. Реакция (Reaction)
2. Научение (Learning)
3. Поведение (Behavior)
4. Результаты (Results)
Оценка на первом уровне - реакция определяет, как участники программы реагируют на нее. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам. Во-первых, люди делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга. Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки). Поведение - н а этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий:
· Желание участников изменить поведение.
· Наличие у участников знаний о том, что и как делать.
· Наличие соответствующего социально-психологического климата.
· Поощрение участников за изменение поведения.
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Киркпатрик настаивает на том, что результаты не следует измерять в деньгах. Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:
· если возможно, использовать контрольную группу (не проходившую обучение),
· проводить оценку через некоторое время, чтобы результаты стали заметны,
· по возможности, проводить оценку до и после программы,
Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.
Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:
1. Определение потребностей.
2. Постановка целей.
3. Определение предметного содержания.
4. Выбор участников обучения.
5. Формирование оптимального расписания.
6. Подбор соответствующего помещения.
7. Подбор соответствующих преподавателей.
8. Подготовка аудиовизуальных средств.
9. Координация программы.
10. Оценка программы.
Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.
Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .
· Уровень 1 - Реакция (Reaction)
· Уровень 2 - Научение (Learning)
· Уровень 3 - Поведение (Behavior)
· Уровень 4 - Результаты (Results)
1. Реакция
Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.
· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.
· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.
2. Научение
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).
3. Поведение
На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:
· Желание участников изменить поведение.
· Наличие у участников знаний о том, что и как делать.
· Наличие соответствующего социально-психологического климата.
· Поощрение участников за изменение поведения.
Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.
4. Результаты
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Результаты не следует измерять в деньгах.
По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:
· если возможно, использовать контрольную группу (не проходившую обучение),
· проводить оценку через некоторое время, чтобы результаты стали заметны,
· проводить оценку до и после программы (если это возможно),
· провести оценку несколько раз в ходе программы,
· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).
К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:
1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;
2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;
3) не учитывается влияние внешних факторов;
4) не ясно, как выделить «чистый эффект» от обучения».