3 Особенности применения экспертного оценивания и основы методики экспертного прогнозирования
Скачать 2.04 Mb.
|
3.5. Определение качества прогноза на основе групповой экспертной оценки Понятие качества прогноза на основе метода проведения экспертизы является весьма многогранным и может рассматриваться с точки зрения различных критериев эффективности. С одной стороны, оно должно отвечать всем тем требованиям, которые предъявляются к допустимым результатам прогнозирования вне зависимости от специфики метода, лежащего в основе обоснования разработки прогноза, а с другой, обуславливается именно спецификой этого инструментария. Прогноз, основанный на методах обработки экспертной информации, как и любой другой прогноз, должен подвергаться критической оценке аналитиков с точки зрения его полезности, достоверности, надежности, информативности, а также величины издержек, в том числе и временных, на его реализацию. Попытаемся ответить на вопрос о способах практического оценивания тех или иных составляющих понятия «качество экспертного прогноза». Понятно, что специфика последнего будет проявлять себя, прежде всего, вследствие особенностей самого метода. Следовательно, содержание и способы оценивания таких характеристик качества как полезность, достоверность и издержки на составление прогноза не претерпевают сколько-нибудь существенного изменения по сравнению с их традиционной интерпретацией. А вот понимание таких составляющих качества предсказания как надежность и информативность прогноза, следует конкретизировать, так как именно на этих параметрах существенно сказывается специфика выбранного инструментария составления прогноза. Как уже отмечалось ранее под информативностью прогноза, прежде всего, понимается полнота информации, характеризующая будущее состояние объекта. Информативность предсказания на основе экспертных методов напрямую зависит от выбранной субъектами экспертизы шкалы измерений изучаемого объекта. Чем уже множество допустимых преобразований, тем более совершенной в этом смысле считается шкала. Причем сущность этой характеристики выражается не столько в степени формальной детализации представления описания предсказания, сколько в определении прогностической ценности полученных в результате поиска вариантов развития. Таким образом, наиболее информационно совершенной шкалой из трех ранее рассмотренных является шкала интервалов, она допускает самый широкий спектр алгебраических преобразований полученных результатов. Последнее свойство весьма ценно для исследователей, но лишь при прочих равных значениях характеристик качества прогноза. В наибольшей степени особенности экспертного прогнозирования сказываются на таком показателе качества предсказания как его надежность, имея в виду, прежде всего априорную степень уверенности с которой ожидается сделанное предсказание. На это может существенно влиять целый ряд обстоятельств, определяющих качество «генератора» экспертной информации, важнейшие из которых: качественный и количественный состав экспертной группы, обоснованность и адекватность технологий извлечения информации, обоснованность и надежность информации обеспечивающей работу экспертов, а также целый ряд менее существенных причин. Интегральными измерителями априорной надежности экспертных прогнозов являются характеристики их групповой устойчивости и согласованности. Под устойчивостью групповой экспертной оценки будем понимать независимость результирующей групповой оценки от состава членов экспертной группы, т.е. результирующая оценка устойчива, если качественное и/или количественное изменение состава привлекаемых к экспертизе специалистов не влияет на ее окончательный результат. Формально для оценивания характеристики степени устойчивости групповой оценки можно предложить использовать вероятностный показатель, показывающий, например, вероятность неизменности итогового результата от величины группы экспертов. Интегральным выражением этого свойства может служить функция распределения вероятности неизменности оценки от величины изменения количества экспертов в группе. При этом окончательное решение должно приниматься, исходя из сравнения фактического значения функции распределения с допустимым пороговым значением вероятности изменений , полученным, например, эмпирически. Величину пороговой вероятности рекомендуется задавать в пределах 0,6-0.95 [7]. Т.е. устойчивость по группе из n человек будет считаться приемлемой при возможном исключении (включении) из группы экспертов не более чем n’ человек, если выполняется следующее неравенство Для иллюстрации возможностей данного подхода приведем следующий пример. Пусть шесть экспертов участвуют в определении наиболее предпочтительного варианта действий в будущем, осуществляя единственный выбор из трех возможных альтернатив. Результаты оценивания представлены в виде итоговой матрицы , где - оценка k-ой альтернативы i-м экспертом (0 – вариант отвергается, 1 – вариант принимается, как наиболее предпочтительный); - индекс эксперта ( ); - индекс оцениваемой альтернативы ( ). . Используя моду как итоговую групповую оценку, имеем следующий результат: , т.е. в качестве результата проведения экспертизы выбирается третья альтернатива. Оценим вероятность сохранения полученной групповой оценки при возможности исключения из группы до двух человек экспертов, таким образом . Обозначим как - число экспертов, отдавших предпочтение k-ой альтернативе выбора. Тогда, исходя из структуры матрицы X, можно определить вектор в качестве вектора суммарных оценок альтернатив, - максимально возможное число исключений экспертов ( ). Таким образом, значение результирующего вектора оценок будет зависеть от того, сколько и из какой группы было исключено экспертов. Представим варианты возможных исключений из исходной экспертной группы в виде следующей таблицы 10. Таблица 10. ВариантЧисло исключенных из группы экспертовСтруктура вектора hИндекс альтернативы модального класса123 1110013321010222-3301111234020103350021212 Из проиллюстрированных в таблице 10 вычислений, очевидно, что к бесспорному изменению результата приводит только пятый вариант изменений в группе экспертов. Минимально гарантированное количество случаев сохранения исходной групповой оценки альтернатив, связанное с вариантами первым, третьим и четвертым, равно: . Учитывая равновероятность выбора в рамках второго варианта, окончательная минимальная оценка числа случаев гарантированного сохранения результата выбора может оцениваться в 13 случаев. Тогда вероятность сохранения групповой оценки при удалении двоих экспертов из исходной группы шести экспертов составит: . Аналогично можно вычислить минимальную вероятность сохранения результирующей групповой оценки при произвольном исключении из группы лишь одного эксперта, она составит: . Тогда вероятность сохранения результирующей групповой оценки при исключении из группы не менее двух экспертов составит: . Данный подход, несмотря на существенные вычислительные проблемы, возникающие непосредственно при определении функции распределения вероятности оценок мог бы быть приемлем, однако он не может признаваться универсальным ввиду того, что по умолчанию подразумевается наличие свойства статистической однородности множества экспертов, что в целом ряде ситуаций не верно. Для решения второго типа задач экспертного оценивания данный метод требует дополнительной модификации, учитывающей коэффициенты индивидуальной компетентности экспертов, что приводит к значительному усложнению вычисления значений функции распределения. В этой связи более продуктивно оценивание устойчивости групповых оценок экспертизы, использующее результаты оценки согласованности мнений экспертов. Рекомендации по применению этих эвристических процедур рассматриваются далее. Наиболее существенными характеристиками качества проведения прогнозной экспертизы, показателями априорной степени ее надежности являются показатели согласованности экспертного оценивания. Характеристика согласованности экспертных оценок оценивает степень качественного совпадения мнений экспертов. Проявление этого свойства именно на качественном уровне можно проиллюстрировать с помощью следующего примера. Пусть трем группам экспертов А, В и С, включающим по три специалиста каждая, предложено оценить два направления развития некоторого объекта прогноза, имея в виду определение наиболее реалистичного хода событий. Результат индивидуальной оценки, в зависимости от условий выбора шкалы оценивания для каждой из групп, мог бы принять следующие формы. А). Непосредственная оценка трех альтернатив развития событий экспертами, выраженная в баллах интервальной шкалы в масштабе от 0 до 1, (могли бы интерпретироваться как оценки вероятности наступления той или иной альтернативы). Эксперт А1Эксперт А2Эксперт А3Альтернатива 10.850.60.7Альтернатива 20.20.30.3В). Решения экспертов в форме ранжировки альтернатив по степени вероятности их наступления. Эксперт В1Эксперт В2Эксперт В3Альтернатива 1111Альтернатива 2222С). Решения экспертов по отнесению альтернатив к группам ожидаемых (+) и менее ожидаемых (-) событий. Эксперт С1Эксперт С2Эксперт С3Альтернатива 1+++Альтернатива 2--- Очевидно, все эксперты предпочли альтернативу 1 альтернативе 2, а сопоставление трех вариантов оценивания позволяет говорить именно о качественном характере совпадений (в данном случае абсолютном) мнений всех трех групп экспертов, несмотря на существенные различия в форме представления результатов экспертизы. Рассмотрим проблему количественного измерения степени согласия специалистов по проблеме. Конкретный выбор метода оценки согласованности мнений экспертов в наибольшей степени зависит от способа представления информации об объекте исследования: типов шкал и методов измерений (ранжировок, непосредственных оценок, парных сравнений, последовательных сравнений и т.д.). Принято выделять несколько групп характеристик согласованности мнений экспертов: коэффициенты согласия (конкордации); меры расстояния; коэффициенты ассоциативности; вероятностные коэффициенты сходства (энтропийный коэффициент согласия). В практике проведения прогнозных исследований в области социально-экономического прогноза наибольшее применение нашли меры расстояния и коэффициенты согласия. Одна из групп, меры расстояний, нами уже частично упоминалась, далее рассмотрим подробнее способы оценивания согласованности экспертных оценок на основе расчета коэффициентов согласия. В основу вычислений любой из модификаций коэффициентов согласованности группы экспертов положена идея коэффициента множественной корреляции (W). Конкретный вид коэффициента зависит от характера решаемой задачи. Ясно, что в случае проведения экспертами оценивания в шкалах не менее совершенных, чем шкала интервалов, для оценки степени согласия можно использовать непосредственно коэффициенты парной либо множественной корреляции в зависимости от условий задачи. При этом следует помнить, что его непосредственное предназначение - определение степени линейной зависимости между переменными. Не ставя перед собой задачи полностью раскрыть весь спектр модификаций разнообразных коэффициентов согласованности мнений групп экспертов, остановимся на наиболее на наш взгляд востребованных в рамках номинальной и порядковой шкал измерений признаков. Дополнительные сведения по этим вопросам можно почерпнуть из источников [1-7, 10-13, 17-20, 23, 25]. Оценка согласованности результатов экспертизы в номинальной шкале представления оценок В самом общем виде коэффициент согласия пары экспертов рассчитывается по следующей формуле [7]: (7) Здесь n – число экспертов, – коэффициент корреляции оценок j и l-го экспертов. Исходя из общей формулы коэффициента согласия (7), можно получить выражение для коэффициента, применимого при обработке экспертных оценок в методе классификации. Получим сначала оценку согласованности мнений экспертов по одному объекту. Коэффициент корреляции оценок пары экспертов j и l равен: (8) В силу специфики используемой шкалы измерений оценок экспертов, среднее значение оценок ряда j-го эксперта составит: (9) Также, исходя из особенностей используемой шкалы измерений, можем констатировать равенство среднеквадратических ошибок по оценкам j-го и l-го экспертов, т.е. , причем сама стандартная ошибка может определяться как: (10) Учтя, что все значения проставленных экспертами оценок , кроме одной равны 0, то выражение (10) принимает следующий вид: (11) Следовательно, выражение (8) можно преобразовать таким образом: (12) При этом парный коэффициент согласия экспертов (7) по объекту i равен: Если дополнительно ввести следующие обозначения: , , тогда выражение для коэффициента согласия по поводу i- й экспертизы может быть представлено в следующем виде: (13) Проводить оценку согласованности экспертов по всей совокупности объектов экспертизы можно, в том случае, когда все эксперты дали оценки всех объектов. А следовательно можем записать (14) (15) Оценка значимости коэффициента согласия позволяет оценить случайность совпадения мнений экспертов (или случайность проставления экспертами своих оценок). Рассмотрим сначала вопрос оценки значимости коэффициентов согласия по отдельному объекту , вычисляемому по формуле (13). Определим функцию распределения величины , когда гипотеза , о случайности совпадения мнений экспертов верна, и число экспертов n достаточно большое (использование метода классификации предполагает привлечение значительного числа экспертов, по крайней мере n>10 [6]). Тогда выражение (13) с учетом (12) можно представить следующим образом: (16) Так как , , То, введя в рассмотрение некоторую искусственную переменную . Нетрудно убедиться, что для нее выполняются условия принадлежности стандартизированному пространству признаков, где и . Следовательно формулу (16), можно записать иначе, а именно: (17) В соответствии с центральной предельной теоремой, сумма независимых одинаково распределенных величин при достаточно большом числе слагаемых распределена в соответствии с нормальным законом распределения. Следовательно, распределена по нормальному закону со средней и дисперсией . Проведя нормировку , можем перейти к переменной , распределенной по нормальному закону с и , при которой выражение (17) примет следующий вид: (18) Как известно, сумма квадратов независимых нормально распределенных случайных величин, в свою очередь, распределена по закону с числом степеней свободы , равным числу слагаемых за вычетом количества наложенных связей на элементы суммы [7]. Таким образом, величина распределена по закону с числом степеней свободы , так как. на каждую строку матрицы накладывалось условие . В соответствии с (18) получаем, что когда гипотеза верна, то статистика (19) распределена по закону Пирсона с числом степеней свободы . Пороговое значение статистики определяется из задания необходимого уровня значимости , который характеризует требования к надежности групповых оценок и соответствующего значения числа степеней свободы. По таблицам распределения определяется для рассматриваемой задачи. Для признания коэффициента согласия значимым необходимо выполнение соотношения: . Проверка значимости коэффициента согласия по всей совокупности объектов осуществляется аналогично . При этом статистика вычисляется по формуле: , (20), а число степеней свободы равно . Оценка согласованности результатов экспертизы в порядковой шкале оценок Допустим, что исходный материал оценивания – ранжировки, которые строят эксперты, либо представление экспертной информации, сводимое к ранжированию. Эксперт ранжирует факторы по важности, самый важный имеет ранг равный 1. Результат оценивания степени важности факторов экспертами может быть представлен следующей таблицей: Таблица 11 1…i…m1…jzji…n Здесь n – число экспертов, m – количество факторов, zji– ранг, присвоенный j–экспертом i-му признаку (фактору). Ранг – это место (положительное рациональное или натуральное число соответственно в широкой и узкой постановке) объекта в упорядоченном списке. Будем считать, что результаты индивидуального экспертного оценивания уже подверглись первичной проверке на качественность их представления, т.е. в дальнейшем предполагается, по крайней мере, представление ранжировок в стандартизированном виде. Проверка согласованности мнений экспертов, проводящих оценивание в порядковой шкале, в зависимости от целей исследования осуществляют с помощью парных либо множественных показателей меры согласованности групповых решений. Рассмотрим далее возможные варианты. Проверка согласованности мнений пар экспертов Наиболее известными в практике установления факта наличия или отсутствия связи между результатами ранжирования объектов двумя экспертами являются коэффициенты парной ранговой корреляции Спирмэна и Кендалла [1, 9, 10, 17-19]. Если имеются стандартизированные ранжировки j-го и k-го экспертов, то мера согласованности ранжировок, определяемая на основе коэффициента ранговой корреляции Спирмэна, имеет следующий вид: (21) где - взаимный корреляционный момент j-ой и k-ой ранжировок; - дисперсии этих ранжировок. Причем ; где - число ранжируемых объектов; средние ранги в первой и второй ранжировках, т.е. Из формулы (21) очевидно, что
Рассмотрим следующий пример. Пример 4. Пусть два эксперта оценили важность четырёх факторов следующим образом: R1 = (1; 2.5; 2.5; 4) и R2 = (4; 2.5; 2.5; 1). Определить степень согласия между этими ранжировками с помощью коэффициента Спирмэна. Прежде, чем определить меру согласованности экспертов с помощью формулы (21) заметим, что обе ранжировки являются стандартизированными и имеют группы связных рангов и, кроме того, мы заведомо можем предположить ввиду очевидности, что расчетное значение коэффициента ранговой корреляции должно быть равно минус единицы. Однако, если воспользоваться формулой (21), то степень согласия первого и второго эксперта составит , т.е. результат оказался заниженным относительно нашего ожидания. Для избежания этого в случае наличия в ранжировках экспертов групп связных рангов следует использовать модифицированную форму коэффициента ранговой корреляции Спирмэна. Она имеет следующий вид: (22). Расчёт поправочного коэффициента для каждого j-го эксперта производится следующим образом: , где - количество групп связных рангов у j-го эксперта; - количество факторов, входящих в t-ю группу связных рангов. Так в рассматриваемом примере имеем следующую ситуацию. У каждого из экспертов имеется по одной группе связных рангов, т.е. . В каждую группу связных рангов входит по два фактора, т.е. . Таким образом, в силу симметричности данных поправочные коэффициенты, используемые в формуле (22), примут значения: . Окончательно значение модифицированного коэффициента ранговой корреляции Спирмена составит: . Таким образом, данные ранжировки отражают абсолютно противоположные мнения двух экспертов, что и следовало предположить. В основе расчета коэффициент ранговой корреляции Кендалла лежит информация о степени рассогласованности мнений экспертов. Для вычисления данного коэффициента определяется число инверсий - количество пар элементов ранжировок l-го и k-го экспертов, расположенных в неодинаковом порядке. Коэффициент рассчитывается следующим образом: , (23) где - число инверсий между ранжировками j-го и k-го экспертов. Приведем пример 5, демонстрирующий процедуру вычисления этого коэффициента. Пусть представлены следующие две ранжировки четырёх альтернатив: . Определим для них значение коэффициент ранговой корреляции Кендалла. Для начала построим матрицу предпочтений для каждого эксперта, т.е. , где - результат сравнений i-го и j-го факторов l-м экспертом, определяемый следующим условиями: . Таким образом, имеем следующие матрицы предпочтений для каждого из экспертов , . Тогда соответствующая матрица инверсий принимает следующий вид: , где - отражает совпадение (0) или несовпадение (1) мнений l-го и k-го экспертов по поводу предпочтительности i-ой и j-ой альтернативы сравнения. Таким образом, для рассматриваемого примера число инверсий составит , следовательно, в нашем случае значение коэффициента ранговой корреляции Кендалла составит , т.е. мнения двух экспертов абсолютно не согласованны друг с другом. Следовательно, мнения экспертов независимы друг от друга (полная несогласованность мнений). Не трудно показать, что данный коэффициент, также лежит в диапазоне от -1 до 1. Так же как и в предыдущем случае при наличии в рассматриваемых группировках групп связных рангов коэффициент Кендалла нуждается в модификации, учитывающий этот факт. Модифицированная форма коэффициента ранговой корреляции Кендалла имеет следующий вид: (24), где - поправочный коэффициент, вычисляемый по формуле , остальные обозначения совпадают с ранее введенными для расчета коэффициента Спирмэна. Определим значение модифицированного коэффициента ранговой корреляции Кендела для ранее рассмотренного примера 4. Для данного примера число инверсий составит , а следовательно, используя формулу (23) можем определить значение коэффициента согласованности . Значения поправочных коэффициентов составят . Тогда окончательно из формулы (24) имеем: . Как и ожидалось, полученный результат подтверждает ранее сделанные выводы о противоположности мнений экспертов относительно ранжировки альтернатив выбора. До сих пор речь шла о выборочных характеристиках ранговой связи. Возникает вопрос: как точно выборочные характеристики оценивают соответствие истинным теоретическим значениям выборок? Это вопрос о возможности корректной проверки значимости соответствующего коэффициента ранговой корреляции. Данная проблема решается путем расширения на рассматриваемые объекты исследования возможностей оценки значимости коэффициентов парной корреляции представленных в общем случае в количественных шкалах измерений. Обоснованность этого следует из доказательства соответствия рассмотренных коэффициентов согласия парному коэффициенту корреляции. Для этого вводится соответствующая каждому из видов ранговых коэффициентов метрика. Помним, что коэффициент корреляции j-го и k-го наблюдения рассчитывается так: , (25) Напомним, что наши наблюдения (т.е. ранжировки экспертов) представлены числами, суть которых есть ранг. В соответствии с последним замечанием допустимо произвести следующую подстановку, пусть , где m – число оцениваемых альтернатив. Тогда в новых обозначениях выражение (26) примет следующий вид: . Далее следует провести ряд соответствующих преобразований, т.е. . Таким образом, к оценке значимости коэффициента ранговой корреляции Спирмэна можно применять все статистические характеристики оценки значимости корреляции. Например, с помощью t-статистики Стьюдента можно проверить нулевую гипотезу H0 о равенстве 0 коэффициента парной корреляции, т.е. установить, что мнения экспертов статистически не зависимы, т.е. согласованность между экспертами не обнаруживается. Расчетное значение критерия Стьюдента находится, как , оно сравнивается с табличным значением - , если , то отвергается, и с вероятностью не меньшей, чем (1- )100%, можно говорить о неслучайном совпадении мнений экспертов по интересующей проблеме. Следует иметь в виду, что такой способ проверки нулевой гипотезы справедлив только при размерности пространства признаков не менее 10, для меньшего числа свойств существуют специальные таблицы [1, с.450-451]. Покажем, что парный коэффициент корреляции является эквивалентом коэффициента ранговой корреляции Кендалла при переходе в соответствующую метрику. Для начала будем считать, что мы имеем дело со строгими стандартизированными ранжировками. В соотношение (25) вместо подставим соответствующую исходную информационную единицу . Следует учесть, что среднее значение элементов рассматриваемой матрицы Al равно 0. Тогда в новых обозначениях имеем следующую запись формулы коэффициента корреляции (25): . Нетрудно убедиться в том, что: , . Таким образом, получили следующее соответствие = . Таким образом, для определения значимости коэффициента ранговой корреляции Кендалла можно воспользоваться u-статистикой (нормализованное нормальное распределение вида M[x]=0; D[x]=0). Ее расчетное значение можно определить, как: . Для вычисленного значения U-статистики можно проверить нулевую гипотезу, используя табличное значение : если , то отвергается, если , то принимается. Проведенные исследования вопроса соответствия результатов оценивания одинаковых исходных данных с помощью различных ранговых коэффициентов парной корреляции позволяют сделать заключение о том, что при m>10 наблюдается следующее приближенное соответствие коэффициентов Спирмэна и Кендалла [1, с.113]. |
Похожие:
 | Алгоритм экспертного оценивания результативности педагогической деятельности социального педагога | | Алгоритм экспертного оценивания результативности педагогической деятельности педагогических работников образовательных организаций... |
| Экспертное заключение подписывается и сдается в аттестационную комиссию. Обращаем Ваше внимание на то, что каждый критерий имеет... | | Алгоритм экспертного оценивания результативности педагогической деятельности педагогических работников, реализующих программы дошкольного... |
| Настоящее Положение определяет порядок наделения статусом эксперта Экспертного совета при Губернаторе Приморского края (далее эксперт),... | | |
| Портфолио как способ прогнозирования и оценивания профессионального развития педагога |  | Евразийская интеграция Таджикистана: дорожная карта для экспертного сообщества. Проектно-аналитический доклад. Душанбе, 2014 |
| Одобрен Экспертным советом, протокол заседания Экспертного совета от 5 апреля 2013 г | | «Управление карьерой менеджера на основе оценки управленческого потенциала» авторов д э н., профессора Черкесовой Э. Ю., к э н.,... |