Метод экспертных оценок. Теория и практика. Светлана Гуцыкова
Читать онлайн книгу.
свойств измерений.
На основании конфирматорного факторного анализа данных исследователями была подтверждена конструктивная валидность оценок работы, выполненных супервизорами, самими испытуемыми и равными им в отношении должностной позиции лицами (Vance et al., 1988). Была обнаружена сходимость этих трех различных по источнику рейтингов, также как и их значимая дискриминантная валидность.
Результаты метаанализа внутренней и внешней надежности оценок работы позволили исследователям прийти к заключению, что оценки супервизоров обладают более высокой внутренней надежностью, чем оценки равных. Кроме того, внешние оценки надежности выше, чем внутренние (Viswesvaran et al., 1996). Изучение различий в надежности в зависимости от специфических измерений показало, что оценки супервизоров по коммуникативной и межличностной компетенциям менее надежны, чем оценки производительности и качества.
Было также установлено, что оценки выполнения работы в большей степени ориентированы на негативные установки, нежели на позитивные (Ganzach, 1995). Подверглось пересмотру и существовавшее ранее мнение о наличии линейной связи между различными оценками и установками.
Известно, что сама комбинация установок может быть различной по своей природе. Но оценки, даваемые по отношению к негативным установкам, оказываются более весомыми, чем по отношению к позитивным установкам. При этом поведение оценивающих в отношении взвешивания и комбинации информации о целях оценки соответствует самой цели оценки и крайне чувствительно к негативной информации о ней (McIntyre, James, 1995).
В рамках проблематики совершенствования методов измерения следует отметить работы, посвященные рассмотрению экспертных оценок в контексте репрезентативной теории измерений, связанной с анализом заключений экспертов (Орлов, 2007). Эти работы посвящены математическим методам анализа и обработки экспертной информации, использованию инвариантных алгоритмов, закономерностям преобразований шкал, выявлению зон противоречивости во мнениях экспертов и пр.
В целом, в отечественной и зарубежной литературе достаточно широко освещены вопросы, касающиеся методов повышения достоверности и надежности экспертной информации (Бешелев, Гурвич, 1980; Литвак, 1996; Шошин, 1997 и др.). Работы этого направления указывают на ряд сложностей, связанных с реализацией метода экспертных оценок. Они представлены как несогласованностью экспертных оценок, так и неоднозначностью выбора отдельных параметров оценки в целях их дальнейшего анализа (Гуцыкова, 2009).
В целом, из практики центров оценки известно, что эксперты склонны оценивать испытуемых с точки зрения их общей эффективности, несмотря на то, что в центрах оценки требуется вынесение узких оценок по отдельным навыкам и способностям. Более того, эксперты склонны давать согласованные оценки отдельного параметра в пределах одного задания и различные – для разных заданий (Мучински, 2004).
Это предопределяет значимость постановки вопроса о согласованности