© Учреждение Российской академии наук

Институт психологии РАН, 2011

* * *

Предисловие

Метод экспертных оценок получает в наши дни все большее применение для определения соответствия характеристик людей и созданных ими артефактов запросам и потребностям общественной практики. Особенно широко этот метод используется в области исследования персонала, при проведении профессионального отбора и аттестации специалистов, оптимизации управленческих технологий. Вместе с тем, вплоть до настоящего времени в нашей стране отсутствуют специальные издания, в которых систематически были бы рассмотрены вопросы теории, методологии и практики применения экспертного метода для оценки персонала и профессиональной пригодности специалистов.

В предлагаемой читателям книге изложены современные представления о сущности метода экспертных оценок, процедурах экспертного исполнения, способах анализа экспертных сведений. Логика ее структуры такова: от рассмотрения того, что есть метод экспертных оценок, его места в кругу других методов исследования и управления персонала, валидности и надежности экспертных оценок (глава 1) – к рассмотрению факторов (и прежде всего, индивидуально-личностных особенностей экспертов), влияющих на экспертное исполнение (глава 2).

Автором предложена оригинальная схема, показывающая место метода экспертных оценок в кругу других методов оценки персонала; рассмотрены требования, предъявляемые к процедурам экспертного оценивания, при этом особо подчеркнута важность согласованности экспертных оценок.

Положительной стороной работы является стремление автора к комплексному рассмотрению всего круга вопросов, связанных с применением экспертного метода при оценке профессиональной пригодности специалистов. В частности, детально проанализированы индивидуально-психологические особенности экспертов (своеобразие протекания у них процессов восприятия, запоминания и мышления, личностные особенности), влияющие на экспертное оценивание. Показаны особенности принятия экспертных решений на основе рациональных и эмоциональных критериев. В итоге автором предложен алгоритм экспертного оценивания исполнения профессионально важных качеств.

Доктор психологических наук, профессор А. А. Обознов

Глава 1
Метод экспертных оценок в диагностике персонала

Методы оценки персонала, источники оценочной информации и метод экспертных оценок

Метод экспертных оценок достаточно широко используется в решении самых разнообразных задач. В последнее время, наряду с объективными методами оценки, он приобретает все большее распространение в решении задач профессионального отбора и аттестации специалистов, а также оптимизации управленческих технологий. Экспертные оценки являются наиболее распространенным способом получения и анализа качественной информации в ситуациях, когда остро ощущается недостаток объективных данных. Применение субъективных оценок обусловлено необходимостью решения задач при отсутствии ряда наблюдений за проявлением аналогичных событий в прошлом или другой объективной информации (Бешелев, Гурвич, 1980; Литвак, 1996; Шошин, 1997; и др.).

Метод экспертных оценок отличает высокая прогностичность в отношении эффективности профессиональной деятельности. Использование аргументированных экспертных суждений позволяет повысить обоснованность принимаемых кадровых решений и учесть во всей возможной полноте факторы, оказывающие влияние на их результат (Бешелев, Гурвич, 1980).

Экспертный метод зарекомендовал себя как незаменимый инструмент в практике центров оценки и развития персонала. Оценка поведенческих проявлений кандидата центра оценки или его компетенций составляет ключевую часть оценочных мероприятий с последующим вынесением итогового суждения об уровне развития профессиональных компетенций. На этом основании в дальнейшем принимаются решения о повышении квалификации и обучении, кадровых перестановках, оплате труда и пр.

Применение метода экспертных оценок особенно актуально в социономических профессиях в связи со сложностью выработки единых требований к процессу и результату труда, а также к самому субъекту профессиональной деятельности. Экспертные оценки используются в качестве основного источника получения информации о потенциальном кандидате в этих профессиях.

В целом, экспертиза представляет собой унитарный конструкт, который может быть широко использован в самых разных областях. Но единого определения экспертизы на данный момент времени не существует (Jennings et al., 2005). В этой связи особенно остро встают вопросы психологического содержания экспертного мнения, выраженного в экспертных оценках.

В настоящее время отсутствует единый конструкт, который описывал бы все многообразие процессов, начиная от восприятия оцениваемого специалиста и актуализации имплицитных представлений эксперта об образе успешного профессионала до конечной экспликации экспертного мнения в рамках предложенных эксперту шкал. Отсутствие единого конструкта существенно затрудняет операционализацию экспертного опыта. «Общее у всех вариантов экспертиз состоит в том, что специалист дает ответ на вопрос; а вот различия – в том, как он приходит к этому ответу, каким образом предъявляет и обосновывает его» (Братченко, 2006, с. 64).

Анализ исторически сложившихся областей исследовательского изучения экспертных методов позволяет выделить два направления. Первое направление связано с использованием экспертных методов в контексте оценки результатов и промежуточных параметров профессиональной деятельности. Оно отражает множественные представления о том, что такое выполнение работы, какие конструкты могут быть использованы для операционализации этого понятия, какой измерительный инструмент оценки может быть применен. В работах данного направления значительное место принадлежит обсуждению точности и ошибок оценивания, а также сопоставлению разнообразных видов измерений.

Второе исторически сложившееся направление фокусируется в основном на процессах становления специалиста в качестве эксперта в какой-либо сфере деятельности, характеристиках и предикторах экспертного исполнения, механизмах принятия решений и переменных, опосредующих этот процесс. Отдельное внимание в рамках этого направления уделено различию когнитивных и эмоциональных оценок и анализу влияний на них установок и личностных оценок.

Оба указанных направления накопили обширный эмпирический материал, который может быть применен при практическом использовании метода экспертных оценок.

Наряду с решением задач, имеющих выраженное практическое звучание, метод экспертных оценок находит применение и при решении ряда методологических задач, а именно для анализа и классификации видов профессиональной деятельности и определения критериев ее эффективности. Он может быть использован в целях комплексной процедуры анализа профессиональной деятельности или, в более узком плане, для анализа выполняемой работы.

Широко используемый в зарубежных источниках применительно к оценке персонала термин «анализ работы» представляет собой сбор данных, описывающих наблюдаемые профессиональные действия работников, выполненную работу и приемы, посредством которых достигается конечный результат, а также верифицируемые характеристики профессиональной среды, включающие физические, механические, социальные и информационные элементы. Полный «анализ работы» охватывает не только выполняемые задачи и ситуации, в которых осуществляется работа (инструменты, оборудование, условия труда), но также и качества, необходимые для ее выполнения (Мучински, 2004).

В рамках традиций отечественной психологической школы составляющие полного анализа работы в виде качеств, необходимых для успешного выполнения профессиональной деятельности, находят свое отражение в концепте профессиональной пригодности субъекта деятельности. Известно, что понятие профессиональной пригодности используется для характеристики человека с точки зрения его соответствия требованиям трудовой деятельности. Профессиональную пригодность принято понимать как интегральную характеристику субъекта труда, отражающую степень индивидуальных возможностей выполнения трудовых функций на заданном уровне эффективности, надежности и безопасности в течение определенного времени (Бодров, 2006, с. 351).

Определение степени профессиональной пригодности базируется на учете ряда индивидуальных характеристик человека, неудовлетворительное развитие которых может служить причиной недостаточной пригодности и противопоказанием для эффективного выполнения деятельности в условиях, когда отсутствует возможность их компенсации.

Выявление профессиональных требований к личности, предъявляемых условиями конкретной деятельности, является одним из важнейших этапов в разработке системы диагностики и прогнозирования профессиональной пригодности. Используемые для этого методические подходы могут включать эмпирико-экспериментальный путь, предполагающий массовое психологическое обследование и последующее сопоставление психологических показателей с эффективностью деятельности; методы алгоритмического анализа деятельности и составление психограммы; экспертную оценку перечня требований профессии к человеку и соответственно оценку профессионально важных качеств (Бодров, 2006, с. 380).

Оценка профессиональной пригодности в обязательном порядке предполагает сопоставление целого спектра разнородных качеств специалиста с требованиями, предъявляемыми характером и спецификой профессиональной деятельности. «Основной принцип, используемый при оценке деловых, профессиональных и личных качеств специалистов, касается взаимосвязи между характеристиками личности человека и его деятельностью: деятельность формирует многие профессионально значимые качества личности, изучение и оценка которых позволяет сделать вывод о возможностях реализации профессионального потенциала человека и эффективности его деятельности в этой сфере» (Почебут, Чикер, 2002, с. 182).

Оценки профессиональной пригодности и ее более широкого контекста – профессиональной успешности сопряжены с источниками оценочной информации, а также с релевантностью полученных с их помощью данных. Источники оценочной информации о персонале в той или иной сфере профессиональной деятельности принято подразделять на объективные, кадровые и субъективные. При этом специалисты, занимающиеся разработкой систем оценки в контексте проблем управления персоналом, указывают на сложность создания сбалансированных систем оценки, которые были бы способны предоставлять точную информацию, служащую основой для принятия обоснованных решений в формировании кадровой политики (Бобиенко, 2006; Беркутова, Крониковская, Мартьянова, Пономарев, 2007).

В настоящее время используется достаточно широкий спектр методов оценки. Он продиктован разнообразием ситуаций, в которых эти методы могут быть востребованы, и зависит от специфики объекта и предмета оценки. В частности, метод экспертных оценок насчитывает большое количество вариаций использования, но, к сожалению, приходится констатировать отсутствие «общепринятой научно обоснованной классификации методов экспертных оценок и тем более – однозначных рекомендаций по их применению» (цит. по: Братченко, 2006, с. 68).

В отечественной и зарубежной практике управления различают три группы методов, применяемых для целевых и плановых, а также текущих или оперативных оценок персонала: качественные, количественные и комбинированные (Беркутова, Крониковская, Мартьянова, Пономарев, 2007). Процедура экспертного оценивания может входить в состав каждого из них.

Качественные методы представляют собой методы описательного характера; они не используют количественных показателей, относящихся к качествам обследуемых претендентов. К числу наиболее распространенных качественных методов относят матричный метод, метод эталона, метод групповой дискуссии, метод оценки выполнения и систему произвольных характеристик (Беркутова, Крониковская, Мартьянова, Пономарев, 2007). Кратко опишем каждый из них.

Матричный метод предполагает сравнение фактических характеристик оцениваемого кандидата с набором качеств, которые требуются для выполнения профессиональной деятельности.

Метод эталона основан на сравнении фактических навыков и поведения оцениваемого кандидата с показателями наиболее успешных, или «эталонных», работников в данной области.

Метод групповой дискуссии позволяет выявить в соответствии с определенными критериями наиболее инициативных представителей группы, способных к самостоятельным и логичным, взвешенным решениям.

Метод оценки выполнения связан с оценкой экспертами работы сотрудника за определенный промежуток времени. Он схож с системой произвольных характеристик, предполагающих произвольную форму оценки и включающей профессиональные достижения и недостатки в деятельности оцениваемого кандидата за некоторый период времени.

В качестве количественных методов оценки метод экспертных оценок может быть реализован в виде методов рангового порядка, заданной балльной оценки и свободной балльной оценки. Наиболее часто в психологических исследованиях находит применение именно метод свободной балльной оценки, состоящий в присвоении экспертом определенного количества баллов каждому исследуемому качеству оцениваемого специалиста с последующим получением итоговой оценки.

Метод рангового порядка базируется на процедуре ранжирования оцениваемых сотрудников по определенному критерию – от лучшего к худшему и определении итоговой суммы порядковых номеров конкретного работника, полученных за выполнение поставленных задач.

Метод заданных балльных оценок основан на присвоении определенного количества баллов за каждое достижение оцениваемого работника с последующим определением общего делового уровня в виде количества набранных им баллов.

Комбинированные методы сочетают в себе совокупное использование описательного принципа и количественных характеристик. Метод экспертных оценок может быть реализован в виде метода суммируемых оценок, который заключается в выявлении экспертами определенной частоты проявления каких-либо качеств оцениваемого и присвоении балльных оценок за тот или иной уровень частоты. Также он может быть реализован как метод заданной группировки сотрудников, предполагающий их распределение по ограниченному числу переменных к одной из групп, отражающих уровень профессиональной успешности кандидата.

Таким образом, мы видим, что метод экспертных оценок объединяет достаточно разнообразные приемы, но общим их признаком при реализации является «преимущественное использование внутренних средств деятельности» экспертом (Климов, 1998, с. 271).

Так, Е. А. Климов относит экспертные методы к опросным методам и выделяет следующие их разновидности: индивидуальная психологическая экспертиза; психологический консилиум; метод независимых характеристик объекта, или рейтинг.