Метод экспертных оценок. Теория и практика - Светлана Гуцыкова

В зависимости от используемых приемов оценка эффективности руководства подразделяется на следующие виды: а) прямая оценка результатов работы коллектива; б) экспертная оценка результатов работы руководителя, являющаяся конкретным вариантом групповой оценки; в) самооценка поведения и деятельности руководителя (Журавлев, 1989, с. 46). Возможным является группирование и по другим основаниям.

Таким образом, использование объективных данных для оценки работы, несомненно, должно соотноситься со спецификой самой профессиональной деятельности. По словам П. Мучински, «для одних видов работы объективные данные становятся частично релевантными показателями успеха; для других вообще ими не оказываются» (Мучински, 2004, с. 245).

Кадровые данные представляют собой еще один тип оценочной информации; обращение к кадровым данным особенно остро ставит вопрос о релевантности используемых критериев. Наиболее часто используемые показатели, относящиеся к кадровым данным, представлены такими характеристиками, как абстентеизм и аварийные или несчастные случаи на производстве. Абстентеизм составляет важную переменную при оценке успешности работы, однако методы его измерения и способы интерпретации не всегда являются отчетливыми. Абстентеизм как критерий измерения на сегодняшний день продолжает быть предметом углубленных психологических исследований.

Что касается аварийных ситуаций, то они могут служить показателями успешности профессиональной деятельности только для ограниченного круга профессий (производственная сфера деятельности, водители, летчики и пр.). Релевантность этого показателя ограничена сферами деятельности, предусматривающими возможность возникновения особых ситуаций, а сама частота и серьезность происшествий, а также их последствия зависят от множества факторов (Котик, Емельянов, 1993).

Следует принимать во внимание, что оба перечисленные показателя – абстентеизм и аварийные ситуации – в большей мере характеризуют плохое, нежели хорошее выполнение деятельности. Эти показатели не исчерпывают всего спектра кадровых данных, которые могут быть задействованы для оценки, но приходится констатировать, что в целом кадровая статистика редко позволяет получить полную картину того, насколько человек успешен в своей профессиональной деятельности.

Остановимся на субъективных данных. Классификация основных методов оценки работы, основанная на субъективных данных, которая была предложена П. Мучински (2004), включает: 1) графические рейтинговые шкалы; 2) сравнительные методы; 3) поведенческие шкалы и опросные листы. Наиболее широко используемый метод графических рейтинговых шкал предполагает вынесение балльной оценки по ряду характеристик или факторов, таких как объем выполненной работы, ее качество, профессиональные навыки, надежность, практичность, сотрудничество и прочие. На практике количество оцениваемых факторов, как правило, не превышает 20-и, а оценки выставляются по 5– или 7-балльной шкале.

Основные сравнительные методы, в соответствии с данной классификацией, представлены такими способами оценивания, как ранжирование, попарное сравнение и метод принудительного распределения. При ранжировании оцениваемых от худшего к лучшему по определенному параметру приходится сталкиваться со сложностями определения ранга при большом количестве оцениваемых лиц. Если определение худших и лучших испытуемых, как правило, не представляет сложностей, то ранг для тех, чей уровень выполнения работы не слишком очевиден, часто может быть произвольным (Мучински, 2004).

Метод попарных сравнений также имеет ограничения и не может быть использован при большом количестве сравниваемых признаков или большой численности оцениваемой группы. В методе попарного сравнения осуществляется сравнение каждого оцениваемого со всеми остальными членами группы с тем, чтобы определить, кто из оцениваемых обладает наиболее выраженным значением по определенному параметру. Наиболее часто используется сравнение обследуемых по общей способности выполнять профессиональную деятельность. По окончании оценивания подсчитывается, сколько раз тот или иной кандидат выбирался в качестве лучшего из сравниваемых. Недостаток метода состоит в том, что при увеличении сравниваемых признаков или численности группы количество сравнений возрастает и становится неэффективным из-за временных издержек.

Метод принудительного распределения, напротив, целесообразен при больших выборках; он основан на распределении оцениваемых по категориям в соответствии с определенным параметром оценки. Обычно используют не более 5-и или 7-ми таких категорий, построенных исходя из предположения, что уровни эффективности работы подчиняются закону нормального распределения. Однако существуют свидетельства ряда исследователей, что само это предположение и основанный на нем метод создают искусственные различия между оцениваемыми.

Использование поведенческих шкал и опросных листов опирается на постулат, что поведение является наиболее значительным и существенным фактором в оценке работы, нежели остальные. В основе поведенческих шкал лежит метод анализа критических событий, конечным результатом которого является список форм поведения, присущих успешному или неуспешному выполнению деятельности.

Согласно Я. Райскуп, метод анализа критических событий относится к специальным методам психологической профессиографии и изучения трудовой деятельности. Он имеет целью «при помощи различных способов и на основании соответствующих критериев выявить и оценить основные моменты, события и обстоятельства, которые могут способствовать успешному преодолению критической ситуации, если они были причиной ее возникновения» (Райскуп, 1979, с. 57). Критические события целесообразно группировать по разнообразным аспектам работы, таким как профессиональные знания и навыки, способность принимать решения, ответственность и прочие. Две разновидности наиболее часто используемых в практике поведенческих шкал – это рейтинговые шкалы с поведенческими аналогами и поведенческие шкалы наблюдений.

Отметим, что в настоящее время значительное внимание исследователей и практиков привлечено к вопросу о соотношении данных, полученных с помощью различных методов оценки, с реальными прогностическими возможностями этих методов. Так, на протяжении длительного времени предметом полемики среди исследователей является вопрос о преимуществах и недостатках использования данных, полученных с помощью стандартизованных тестов и метода экспертных оценок. Стандартизованные тесты и экспертные оценки принято рассматривать как два взаимодополняющих фильтра в процессе профессионального отбора и вынесения итогового суждения о степени профессиональной пригодности (Шмелев, 2004).

Суть дискуссии продиктована тем, что использование только стандартизованных тестов не дает оснований для окончательного положительного диагноза о профессиональной пригодности. Тест может выступать как первичный, формализованный фильтр, предшествующий применению более сложных и дорогостоящих экспертных процедур.

Изолированное использование одного из этих фильтров выглядит оправданным в случае, когда результаты оценки направлены на то, чтобы отсеять тестируемых с показателями ниже определенного порога. В случае же отбора из ограниченной выборки тех кандидатов, которые в максимальной степени обладают каким-то качеством или группой качеств, предпочтительным является вариант одновременного использования стандартизованных тестов и экспертных оценок.

Вывод о профессиональной пригодности может быть сделан на основании совокупного позитивного исхода теста и позитивного исхода экспертной оценки, в то время как вывод о непригодности потенциального кандидата в определенном виде деятельности является вполне обоснованным в случаях сочетаний негативных результатов теста или экспертной оценки. При этом приходится принимать во внимание, что при оценке работы и ее результатов всегда существует некий субъективный или контекстуальный компонент, а ориентация исключительно на объективные показатели может служить источником заблуждений (Мучински, 2004).

Cубъективность служит одним из атрибутов именно экспертного знания. Добиваясь объективности, мы рискуем устранить экспертизу как таковую; «ценность экспертного опроса состоит именно в признании субъективного характера полученных результатов и сохранении персональной ответственности их авторов – экспертов» (Братченко, 2006, с. 68).

Таким образом, применительно к проблеме оценки профессиональной пригодности можно резюмировать следующее. Существуют проверенные практикой алгоритмы оценки профессиональной пригодности для тех видов деятельности, в изучении которых накоплен большой опыт. Примером могут служить профессии, в которых определяющей для успешности деятельности является ее операционально-техническая сторона. В таком случае правомерно говорить об оценке профессиональной пригодности в условиях определенности. Профессиональная пригодность понимается для таких видов деятельности как сложная функция, в качестве аргументов которой выступают данные разнообразных психометрических тестов.