Скачать 2.04 Mb.
|
Проверка согласованности мнений группы экспертов.Для оценки согласованности мнений групп экспертов численностью большей, чем два человека могут использоваться дисперсионный и энтропийный коэффициенты конкордации, коэффициент вариации и т.п. [1, 3, 4, 6, 10]. Дисперсионный коэффициент конкордации (или множественный коэффициент конкордации Кендалла) или W(n), где n – число ранжировок, определяется как отношение несмещенной оценки фактической дисперсии D, полученной на исходных ранжировках к теоретически максимальному значению оценки их дисперсии на заданном множестве экспертов n - Dmax, иначе говоря: (26 ). Оценим возможность практического использования данного коэффициента в ходе оценки качества проведенных прогнозных исследований. Пусть информация об оценивании m факторов n экспертами представлена в виде таблицы 7, приведенной выше, в которой zji– ранг, присвоенный j–экспертом i-му объекту (альтернативе). Очевидно, и ранее это было показано, что на предварительном этапе обработки экспертной информации, представленной в порядковой шкале измерений, самой естественной характеристикой оценки соответствующей альтернативы, является набранная ей сумма рангов. Очевидно, чем более случайным образом распределились мнения экспертов относительно объектов оценки, тем меньше расхождение сумм рангов альтернатив, т.е. тем меньше их дисперсия. Верно и обратное. При абсолютной согласованности специалистов, межальтернативная разница сумм рангов максимальна. Соответственно коэффициент множественной конкордации (26) может быть интерпретирован как степень соответствия результатов оценивания их максимально согласованному варианту оценки. Таким образом, значения множественного коэффициента конкордации Кендалла лежат в диапазоне от 0 до 1, т.е При ранжировки полностью рассогласованы, при достигнуто полное согласие в ходе оценки объектов. Раскроем полнее содержание этого показателя. Введём следующие обозначения: - сумма рангов по i-му фактору оценки, - суммарные ранги, полученные каждой альтернативой. Суммы рангов по каждому столбцу в матрице исходных наблюдений предлагается рассматривать как реализации некоторой случайной величины и вычислить ее математическое ожидание и дисперсию. Разброс мнений по проведенной экспертизе можно измерить через дисперсию рангов. Заметим, что при этом оценка математического ожидания составит: - средний ранг по совокупности мнений экспертов. Далее можно определить фактическую несмещенную оценку дисперсии рангов как: . Максимальное значение оценки дисперсии случайной величины надлежит вычислить отдельно как при отсутствии связанных рангов, так и тогда, когда они имеются. Таким образом, максимальное значение дисперсии рангов на множестве альтернатив в случае отсутствия связных рангов получим следующим образом: . Следовательно, в окончательном виде дисперсионный коэффициент конкордации Кендалла можно представить так: (27). Не трудно показать, что при наличии связных рангов в группировках, максимальное значение оценки дисперсии откорректируется следующим образом: , где поправочный коэффициент - показатель связных рангов в j-й ранжировке рассчитывается как (28) , где - число групп связных рангов в j-й ранжировке; - число связных рангов в t-ой группе связных рангов при ранжировке j-м экспертом. Таким образом, модификация дисперсионного коэффициент конкордации Кендалла в случае наличия групп связных рангов имеет следующий вид: (29). Если совпадающих рангов нет, то = 0, = 0 и формула (29), учитывающая влияние на коэффициент конкордации эффекта связных рангов, превращается в формулу (27) для случая их отсутствия. Поскольку коэффициент конкордации также по сути своей является случайной величиной, которая служит оценкой истинного значения (n), то кроме подсчета его значения необходимо определить значимость этой оценки [1]. При числе объектов сравнения оценку значимости коэффициента конкордации рекомендуется осуществлять по критерию Пирсона. Расчетное значение критерия можно определить следующим образом : (30). Величина имеет распределение Пирсона с (m-1) степенями свободы. Значимость коэффициента конкордации можно также оценивать и с помощью распределения случайной величины приближенно моделируемой Z-распределением Фишера. При этом число степеней свободы числителя статистики определяется как , а число степеней свободы знаменателя как . Следует также заметить, что строго обоснованных правил построения доверительных интервалов для коэффициентов ранговой корреляции в настоящее время нет. Поясним на примере возможности представленного выше математического аппарата оценки согласия групп экспертов. Оценим априорное качество экспертного прогноза на основе определения степени согласованности специалистов в соответствии с множественным коэффициентом конкордации, используя исходные данные примера 2. Анализируя данные, представленные ранее в таблице 5, можно сделать вывод о наличии групп связных рангов у 1, 4 и 6 экспертов. В соответствии с формулой (28) определяем значения поправочных коэффициентов соответствующих ранжировок, их значения следующие: T1 = 0.5, Т4 = 1, Т6 = 0.5. Воспользовавшись формулой (29), не трудно рассчитать значение модифицированного дисперсионного коэффициента конкордации, оно составит W(6) = 0.88. На первый взгляд уровень согласованности мнений экспертов достаточно высок. Попытаемся подтвердить эту гипотезу статистической проверкой значимости. Оценим значимость полученного коэффициента. Табличное значение коэффициента при 5%-м уровне коэффициента значимости составит 9.488. Расчетное значение статистики составляет 21.125, в соответствии с формулой (30). Таким образом, у нас нет оснований принимать гипотезу о значимости нулю коэффициента конкордации, а следовательно согласованность мнений присутствует, она достаточно высокая и не случайная. В качестве альтернативного подхода к оцениванию степени согласованности группового мнения экспертов может быть предложен энтропийный коэффициент согласия. Он строится исходя из понятия общей меры неопределенности поведения характеристик объекта исследования – энтропии. Этот подход особо эффективен при оценивании особо сложных объектов сравнения, состояния которых могут описываться лишь вероятностными методами, существенно также то, что допустимо представление данных в качественных шкалах. В общем виде, энтропийный коэффициент согласия определяется так: где - фактический уровень энтропии в рамках рассматриваемых данных; - максимальное значение энтропии. Фактический уровень энтропии согласно определению [6, 10] составляет , при этом где - оценка вероятности присвоения j-го ранга i-му объекту; - количество экспертов, приписавших i-му объекту j-й ранг; - общее число экспертов. Расчет максимального значения энтропии в системе производится, исходя из предположения о равновероятном распределении мнений экспертов относительно альтернатив оценки. В таком случае , а , следовательно: В силу своих свойств энтропийный коэффициент согласия может принимать значения на отрезке от 0 до 1. При ранжировки экспертов полностью рассогласованы, а при достигнуто полное согласие в ходе оценки объектов исследования. Особенность, а иногда преимущество энтропийного коэффициента согласия состоит в том, что он может применяться и в случаях оценки согласованности экспертов, работающих с информацией, представленной в номинальной шкале. В практике проведения исследований по установлению уровня качественности сделанных предсказаний могут также использоваться и менее универсальные измерители связи мнений экспертов, к ним в частности относят коэффициенты вариации и ассоциации, которые имеют разнообразные формы представления. Приведем примеры. Коэффициент вариации позволяет установить степень согласованности экспертов в отношении каждого объекта i. Коэффициент вариации используется в случае, когда - целые числа (баллы) [2, 23]: где i - индекс объекта; k - число градаций (баллов, классов и т.п.) в принятой шкале измерений; - число экспертов, отнесших i-й объект к j-й градации. Значения коэффициента заключены в границах от 0 до 1. Степень согласованности экспертов в отношении i-й альтернативы оценивания определяется величиной . При - констатируется полное совпадение мнений экспертов. Коэффициент ассоциации – измеритель сходства оценок пар экспертов, он показывает вес одинаково оцененных альтернатив относительно общей меры величины сделанных оценок[5, 25] : , где - количество признаков, одинаково оцененных i-м и j-м специалистами; - количество признаков, оцененных i-м специалистом; - количество признаков, оцененных j-м специалистом. Интерпретация диапазона значений данного коэффициента полностью идентична с ранее рассмотренными измерителями согласия пар экспертов. В заключение следует отметить, что отыскание значений показателей множественной согласованности групп экспертов несет не только узко специальное назначение – определение качества проведенной экспертизы. Существует по-крайней мере два важнейших дополнительных прикладных аспекта значительно увеличивающих прагматическую значимость полученных результатов. Первое - степень согласованности экспертной информации делает допустимым или нет возможность обоснования и выработки обобщенного группового экспертного решения. Второе – полученные результаты часто являются основанием к дополнительным организационным преобразованиям в рамках проводимой экспертизы. В общем случае весь перечень задач, решаемых при оценке надёжности групповой экспертизы, можно свести к следующим типовым постановкам:
Последняя из названных проблем часто становится одной из самых актуальных для исследователя-аналитика. Как правило, для ее решения можно рекомендовать два достаточно радикальных способа решения: первый подход можно охарактеризовать как метод последовательного расформирования исходной совокупности [2], второй напротив – как метод рациональной консолидации [7]. В каждом случае при обработке мнений экспертов перед аналитиком дополнительно встают следующие задачи:
При исследовании совокупности ранжировок экспертов на предмет их переформирования, а в частности, сужения, следует обратить внимание на следующие моменты.
При оценке состава экспертной группы осуществляется ранжировка экспертов по степени согласованности со всеми остальными членами группы: Затем упорядочивается совокупность экспертов: , где - наименее согласованный с остальными эксперт; - самый согласованный с остальными эксперт. Данная процедура позволяет дополнительно ранжировать экспертов по «силе» их влияния на результат экспертизы, что при определенных обстоятельствах может трактоваться как дополнительный аргумент при индивидуальной оценке компетентности экспертов. Иллюстрация работы метода рациональной консолидации представлена в виде алгоритма формирования согласованных групп экспертов на рисунке 10. Формирование исходной матрицы экспертных оценок 1 Вычисление корреляционной матрицы (коэффициентов согласия) 2 Выделение наиболее компетентных пар экспертов 3 Проверка значимости парных коэффициентов корреляции (коэффициентов согласия) 4 нет Переформирование содержания исходной матрицы оценок 6 нет Окончание расчетов 8 Рис 10. Алгоритм формирования согласованных групп экспертов на основе агрегирующего подхода. Л и т е р а т у р а
|
Алгоритм экспертного оценивания результативности педагогической деятельности социального педагога | Алгоритм экспертного оценивания результативности педагогической деятельности педагогических работников образовательных организаций... | ||
Экспертное заключение подписывается и сдается в аттестационную комиссию. Обращаем Ваше внимание на то, что каждый критерий имеет... | Алгоритм экспертного оценивания результативности педагогической деятельности педагогических работников, реализующих программы дошкольного... | ||
Настоящее Положение определяет порядок наделения статусом эксперта Экспертного совета при Губернаторе Приморского края (далее эксперт),... | |||
Портфолио как способ прогнозирования и оценивания профессионального развития педагога | Евразийская интеграция Таджикистана: дорожная карта для экспертного сообщества. Проектно-аналитический доклад. Душанбе, 2014 | ||
Одобрен Экспертным советом, протокол заседания Экспертного совета от 5 апреля 2013 г | «Управление карьерой менеджера на основе оценки управленческого потенциала» авторов д э н., профессора Черкесовой Э. Ю., к э н.,... |
Поиск Главная страница   Заполнение бланков   Бланки   Договоры   Документы    |