3 Особенности применения экспертного оценивания и основы методики экспертного прогнозирования
Скачать 2.04 Mb.
|
Оценка количественного состава группы экспертовКачественные и количественные параметры состава экспертной группы всегда взаимосвязаны, что нередко отражается в конкретных методиках подбора экспертов. Это объясняется тем, что в конечном итоге определяющий критерий обоснования численности - это, прежде всего достижение высокого качества прогноза, генерируемого в результате индивидуального или же группового оценивания. А качественный экспертный прогноз возможен лишь при условии априорно высоких качественных параметров привлекаемых к его разработке специалистов по исследуемой проблеме. На практике аналитики обычно используются два основных подхода при обосновании численности и качественного состава членов экспертной группы. Условно их можно разделить на статистический и эвристический с элементами количественного анализа. Ниже приводятся методы расчетов, отражающих оба подхода. 1. Статистический подход. 1.1. В качестве базы обоснования объема репрезентативной выборки экспертов можно воспользоваться некоторыми результатами теории вероятности при различных условиях генерирования случайной величины [1]. В частности полезным может оказаться следствие из различных форм закона больших чисел, в частности из неравенства Чебышева , где - тестовое значение дисперсии оценок экспертов; - предельная априорно задаваемая ошибка оценивания; - вероятность совпадения (точнее – не меньше) истиной оценки с усредненной по группе. 1.2. Использование результатов прикладного статистического анализа. Осуществляется кластерный анализ ответов экспертов (объединение экспертов, имеющих близкие оценки, в одну группу либо высокие показатели межклассовых расстояний) по всем оцениваемым вопросам экспертизы. В группу отбираются эксперты, ответы которых дают оптимальное значение по выбранному критерию качества кластеризации [2], например минимум среднеквадратического отклонения их ответов по тестовому множеству от среднего арифметического их групповой оценки. В том случае, если эксперты дают оценки в метрической шкале, то среднеквадратическое отклонение находится по формуле , где xij- оценка i-го эксперта по j-у вопросу, причем , . 2. Эвристический подход. Примером эвристической процедуры обоснования численности экспертной группы можно привести метод “снежного кома”. Его формальное описание следует ниже. 2.1. Пусть М0 – исходное множество экспертов, известных заранее. Осуществляется последовательный опрос специалистов из первоначального множества М0 с целью выявления всего множества экспертов компетентных по данному вопросу. Первый опрошенный из них называет m1(1) новых лиц, после чего кандидатов становится М0 + m1(1). После опроса любого k-го лица из М0 выявленных лиц станет , а в итоге всего первого тура опроса выявляется ( ) потенциальных претендентов на включение в экспертную группу, где М1 - число новых лиц, названных в ходе первого круга опроса, его можно представить в виде следующей суммы: . В общем виде, число ранее не названных потенциальных кандидатов за r итераций опроса составит человек. Очевидно, что необходимо выявить компромисс между желанием достичь идеально полного списка и нежеланием расходовать излишне много времени и средств на полный перебор и оценку потенциальных кандидатов. Для чего предлагается построить стохастическую модель рассмотренного ранее процесса на основе данных о потенциальном множестве экспертов, выявленных к окончанию какого-то тура опроса. Основной момент, который следует учесть при этом, что любое множество экспертов конечно и, начиная с какого-то момента, упоминаемые специалисты будут повторяться [25]. Обозначим как (N+1) - число всех кандидатов, которые могли бы быть признаны в качестве экспертов, оно заранее неизвестное. М0 - число априорно известных кандидатов. m- число лиц, называемое каждым опрашиваемым кандидатом; m- число новых, не входящих в ранее названное множество М0 - лиц, названных каким-либо опрошенным. Допустим, что каждый опрошенный из М0 называет m неизвестных ему лиц из N. Рассмотрим случай полной неопределенности, т.е., когда опрошенный с равной вероятностью называет любые m лиц из N. При этом m - случайная величина, принимающая значения от 0 до m. Как следует из комбинаторных соображений, вероятность того, что какой-то опрошенный из М0 назовет l новых, ранее не упомянутых лиц, можно оценить как , где l= , а С - знак оператора сочетания. Следует отметить, что представляет собой гипергеометрическое распределение, из чего легко можно получить математическое ожидание m и другие моменты. В этом случае математическое ожидание случайной величины m определяется как (m)=m(N+1-М0)/N. С целью получения искомой оценки можно приравнять математическое ожидание числа ранее не упоминавшихся кандидатов к выборочному среднему по данным первого тура опроса исходного множества кандидатов М0, тогда: , где - булева переменная, принимающая значение 1, если i-й кандидат из исходного множества М0 называет лицо, ранее не входящее в М0 , 0, в противном случае. Отсюда следует, что исходное множество потенциальных экспертов по проблеме («генеральная совокупность») может быть оценена как . Следовательно, искомая приближенная оценка возможного числа кандидатов на единицу больше и равна . При использовании на практике найденного числа в качестве обоснования количества членов экспертной группы необходимо иметь ввиду его приближенный характер. Следует разумно соотносить число реально доступных специалистов компетентных в соответствующей предметной областью с теоретически возможной величиной и, приняв во внимание затраты на новые туры опроса, решить, начинать ли следующий цикл опроса. 2.2. Определение верхней и нижней границ численности специалистов, входящих в группу экспертов, может строиться и на основе некоторых разумных гипотез. В том числе, относительно требований, предъявляемых к специалистам в данной предметной области. В качестве примера могут быть приведены следующие рассуждения [16, 18]. С одной стороны число человек, входящее в экспертную группу должно быть таким, чтобы удовлетворялось условие достаточной средней компетентности по группе, т.е. , где К – усредненный минимально допустимый уровень компетентности по группе в целом (может иногда определяться в долях от максимально возможного (Кmax), например, К = 0,85Кmax ; k(n) –средний уровень компетентности на n-й итерации процедуры, т.е. при включении в группу n-го эксперта, следовательно, , где кi - коэффициент компетентности i-го эксперта. Таким образом, необходимое (n*), обеспечивающее требуемый качественный уровень, число экспертов можно оценить из условия выполнения соотношения вида . Однако приведенное условие является не достаточным, для однозначного определения численности группы, так как при этом должно соблюдаться условие устойчивости средне группового мнения. С целью установления этого факта проводится дополнительное тестовое исследование, призванное итеративно отыскать такое множество из s экспертов, чтобы выполнялось следующее неравенство: , где М(s) - среднее значение тестовой оценки, выдаваемое группой из s экспертов, а М(s 1) - новое среднее значение при включении или исключении в исходную группу 1 человека. Т.е., s определяет такое количество специалистов, когда включение или исключение человека из экспертной группы не влияет на общую групповую оценку. Таким образом, исходя из данного обоснования, окончательно количество человек в группе может быть найдено из условия . Где нижняя граница численности группы может задаваться директивно, например, из опыта, либо некого норматива, а может исходить из использования неких рекомендуемых [17] эмпирических формул расчета минимального числа экспертов, например: . Заметим, что независимо от метода, используемого для подбора группы экспертов, возникает вопрос о ее составе. Считается, что в группах с однородным составом (по образовательному, должностному, возрастному, профессиональному статусу) бывает меньше расхождений между экспертами, быстрее происходит процесс согласования группового решения. В группах со случайным подбором кандидатов, как правило, эксперты приходят к согласованному мнению не так быстро, зато вырабатывают более широкий диапазон альтернатив и допускают меньше ошибок. В этой связи особое значение уделяется количественным методам обоснования процедур выявления необходимых качественных кондиций экспертной комиссии. |
Похожие:
 | Алгоритм экспертного оценивания результативности педагогической деятельности социального педагога | | Алгоритм экспертного оценивания результативности педагогической деятельности педагогических работников образовательных организаций... |
| Экспертное заключение подписывается и сдается в аттестационную комиссию. Обращаем Ваше внимание на то, что каждый критерий имеет... | | Алгоритм экспертного оценивания результативности педагогической деятельности педагогических работников, реализующих программы дошкольного... |
| Настоящее Положение определяет порядок наделения статусом эксперта Экспертного совета при Губернаторе Приморского края (далее эксперт),... | | |
| Портфолио как способ прогнозирования и оценивания профессионального развития педагога |  | Евразийская интеграция Таджикистана: дорожная карта для экспертного сообщества. Проектно-аналитический доклад. Душанбе, 2014 |
| Одобрен Экспертным советом, протокол заседания Экспертного совета от 5 апреля 2013 г | | «Управление карьерой менеджера на основе оценки управленческого потенциала» авторов д э н., профессора Черкесовой Э. Ю., к э н.,... |