5. методы получения и анализа экспертных оценок

Тема 5. МЕТОДЫ ПОЛУЧЕНИЯ И АНАЛИЗА ЭКСПЕРТНЫХ ОЦЕНОК 5.1. СУЩНОСТЬ МЕТОДА ЭКПЕРТНЫХ ОЦЕНОК. Базы знаний интеллектуальных информационных систем, основанных на правилах, во многих реализациях используют данные, источниками которых являются специалисты – эксперты. Получение знаний от экспертов, обработка этих знаний и внесение их в хранилище системы – ответственная и трудная работа. От того, насколько эффективно будет сделана эта работа, во многом зависит качество (а иногда и возможность) решения системой задач поиска, анализа и синтеза информации. Совокупность приемов сбора и обработки знаний и данных, которые готовы предоставить эксперты, получила название метода экспертных оценок. Мнения экспертов, их знания и суждения в отношении процессов и явлений, не поддающихся инструментальному измерению, порой являются единственной информацией, которая может составлять содержание декларативной и процедурной компонент БЗ системы по конкретной проблеме или задаче. Знания, получаемые от экспертов, иногда имеют характер довольно свободных высказываний, рассуждений или даже графических документов. В каждом конкретном случае они могут иметь самый различный вид. Очень часто знания экспертов поступают в систему в такой форме, что их использование средствами машинной обработки невозможно без кропотливой и трудной обработки. Но в каком бы виде ни поступали в систему знания экспертов, они представляют собой интеллектуальный ресурс, от качества предварительной обработки которого зависит полнота их использования при решении конкретных задач. Методом экспертных оценок решается одна из основных проблем ситуации выбора - формирование упорядоченной последовательности альтернатив (на основе высказанной экспертами системы предпочтений) для последующей ее обработки с целью получения функции полезности (тема 4, раздел 4.3). Как нам уже известно, эта функция позволяет свести проблему многомерного анализа «качества» альтернатив, представляемого совокупностью показателей, к довольно простой задаче сравнения по критерию, выраженному числовым значением. Работают с экспертами и получаемыми от них знаниями, в основном, когнитологи и аналитики ИИС. На них лежит ответственность за организацию и проведение сбора, обработки и ввода экспертных данных и знаний в систему и их актуализацию (поддержание в актуальном состоянии). Этот вид деятельности носит название экспертиза. Информация, подвергаемая экспертизе, бывает разного свойства. Это могут быть оценки важности различных свойств объектов для отображения их в качестве показателей, учитываемых критерием сравнительной оценки альтернатив, или оценки предпочтительности отношений между сущностями предметной области (ПО), или альтернативные формулировки правил логического вывода и пр. Экспертиза в ее измерительном аспекте характерна тем, что в ней инструментом измерения является человек. Результаты измерений, оценки выносимые людьми, в отношении тех или иных явлений, процессов, закономерностей, свойств и т.п., являются субъективными. Основными видами субъективных экспертных оценок являются: - ранжирование; - парное сравнение; - непосредственное оценивание; - последовательное сравнение; - классификация. Ранжированием называется процедура упорядочения некоторой совокупности однородных и сравнимых по своим признакам понятий в порядке возрастания или убывания их предпочтительности. Результатом ранжирования может быть назначение экспертом (или экспертами) неких числовых оценок предпочтительности оцениваемым понятиям или данным. Обычно ранжируемые понятия или данные принято называть объектами или альтернативами. В результате ранжирования может сложиться одна из таких ситуаций: - все объекты получили разные оценки предпочтительности; - в результате ранжирования образовались одна или несколько групп, внутри которых объекты имеют одинаковые оценки, но все такие группы разнятся по общей предпочтительности входящих в них объектов. В первой ситуации ранжирование (назначение рангов) осуществляется просто: наиболее предпочитаема экспертом альтернатива получает высший ранг, а наименее предпочитаемая – низший ранг. Если оцениваемая группа альтернатив – счетное множество {Ai}, (i=1,…,n), то ранг наиболее предпочтительной их них будет равен (n), а ранг наименее предпочтительной - будет равен 1. Сумма всех рангов оцененного множества альтернатив или объектов – есть сумма натуральных чисел от 1 до n включительно. , (5.1.1) где Ri – ранг i-го объекта ; n – число ранжируемых объектов. Такое ранжирование называется строгим порядком. Во второй ситуации для эквивалентных по предпочтительности объектов, входящих в разные по предпочтительности группы, ранги вычисляются так. Сначала объекты ранжируются как при строгом порядке, но все эквивалентные по предпочтительности объекты объединяются в группы разной предпочтительности. Полученная таким образом последовательность называется квазистрогим порядком. При этом за каждой группой закрепляется количество рангов, равное числу объектов в группе. Значения рангов, закрепленных за группой, берутся в предположении, что данная последовательность оказалась строгой. Например, может получиться такая последовательность рангов: 10, 9, (8, 7, 6), 5, (4, 3), 2, 1. Здесь видно, что образовалось две группы эквивалентных объектов. В первой группе три объекта. Их номера в квазистрогой последовательности – (i=3, i=4, i=5), а занятые группой ранги – (8,7,6). Во второй группе – два объекта (i=7, i=8), а занятые группой ранги – (4 и 3). После такой группировки определяется ранг R каждой ( i – ой ) группы эквивалентных по предпочтительности объектов: R= , (5.1.2) где j = i – номер первого, a j + (k-1) – номер последнего объекта i-й группы объектов; k – число эквивалентных объектов в группе. Для взятой в примере квазистрогой последовательности групповые ранги эквивалентных объектов будут соответственно равны (8+7+6)/3=7 и (4+3)/2=3,5. Такой метод расчета рангов эквивалентных по предпочтительности объектов на основе их представления квазистрогой последовательностью позволит обеспечить матричное представление экспертных оценок с соблюдением нормирующего условия (5.1.1). Парное сравнение применяется при групповом экспертном сравнивании, когда ранжирование не имеет смысла или затруднено из-за большой размерности множества объектов. Результаты парного сравнения представляются в виде матрицы парных сравнений. Если экспертные оценки сравнительной предпочтительности при парном сравнении расположенных в произвольной последовательности альтернатив заданы в виде трех функций: Pi,j = 2, если AiAj ; Pi,j = 0, если AiAj ; (5.1.3) Pi,j = 1, если Ai=Aj , то матрица парных сравнений четырех (n=4) альтернатив Аi,j (i =1,..,n; j=1,..,n) будет иметь вид: i j A(i=1) A(i=2) A(i=3) A(i=4) A(j=1) 1 2 0 0 A(j=2) 0 1 0 2 A(j=3) 2 2 1 2 A(j=4) 2 0 0 1 Рис. 5.1.1. Матрица парных сравнений альтернатив с оценками предпочтительности, заданных функциями (5.1.3). Диагональные элементы матрицы парных сравнений в соответствие с условиями (5.1.3) всегда равны 1. Если в процедуре парных сравнений участвуют несколько экспертов, то каждый из них составляет свою матрицу. Непосредственное оценивание. В отличие от ранжирования, которое дает только порядковую шкалу сравнения альтернатив, непосредственное оценивание является процедурой, в которой альтернативам ставятся числовые оценки, отображающие условные категории их качества (например, баллы). При этом равным по качеству альтернативам ставятся в соответствие одинаковые числа. Применение этого метода требует высокой квалификации и высокой ответственности экспертов. В связи с этим, такое оценивание применяется редко. Иногда непосредственное оценивание может быть осуществлено и не в числовом выражении оценок. Например, с применением вербально выраженных категорий качества, то есть с помощью лингвистической шкалы. Последовательное сравнение представляет собой комплексную процедуру, включающую ранжирование и непосредственную оценку. Эта процедура применялась когда-то при вынесении вердикта судей на соревнованиях по фигурному катанию на коньках, когда учитывалась и сумма мест, и баллы оценок за технику катания и артистичность. При последовательном сравнении эксперт выполняет следующие процедуры: - ранжирование альтернатив по степени их предпочтительности; - производит непосредственную оценку альтернатив числовыми значениями в пределах [01], полагая, что оценка (i - ой) альтернативы по ее рангу, определенному в предыдущей процедуре, вычисляется по формуле: F(Ai)= , (5.1.4) где Ri – ранг i-й альтернативы; n – число оцениваемых альтернатив. - производится коррекция (пересчет) оценок каждой (i=1)-й альтернативы (начиная с первой) с целью обеспечить ее предпочтительность над суммой оценок всех следующих за ней альтернатив. Коррекция осуществляется по условию: F(Ai)  , (5.1.5) Третья процедура реализуется циклами, начиняя с первой альтернативы. Если условие (5.1.5) выполняется, то коррекция не производится. Иначе вычитается единица из последней альтернативы и добавляется к корректируемой оценке. Если вычитать нечего (уменьшаемая оценка уже равна нулю), то в качестве донора берется следующая (более «близкая» к корректируемой) альтернатива. Коррекция оценки текущей альтернативы прекращается, как только выполнится условие (5.1.5), а весь процесс коррекции прекращается, если оценка очередной альтернативы и без коррекции удовлетворяет условию (5.1.5). На рис.5.1.1 показана схема одного из возможных алгоритмов процедуры коррекции. Рис.5.1.1. Блок-схема алгоритма коррекции оценок при последовательном сравнении. Классификация представляет собой процесс разбиения множества альтернатив, подлежащих упорядочению или систематизации, на классы по тем или иным признакам общности. При этом классы и их признаки могут быть определены заранее или в процессе классификации. Метод экспертных оценок (МЭО) предусматривает реализацию следующих основных этапов: - подбор экспертов; - проведение опроса экспертов; - обработка экспертных оценок. Подбор экспертов является важным этапом МЭО, от эффективности реализации которого зависит «качество» знаний, помещаемых в хранилище системы. Этот этап имеет два аспекта – организационный и содержательный. Организационные задачи, решаемые при подборе экспертов, связаны со всеми видами обеспечения их деятельности по передаче своих знаний аналитикам и когнитологам системы. Эти задачи понятны и общеизвестны Содержательный (информационно – процедурный) аспект объединяет единой целью следующие виды деятельности: - осознания и формулирование информационной или процедурной (если речь идет о методе решения) проблемы, для которой системе необходимы знания экспертов и их интеллектуальные возможности; - анализ специальных (профессионально ориентированных) и массовых источников информации с целью определения круга лиц, отвечающих статусу эксперта по сформулированной проблеме; - сбор информации о достижениях (трудах, изобретениях, открытиях, выдающихся работах) специалистов, намечаемых для участия в экспертизе; - анализ адекватности профессиональной квалификации кандидатов статусу эксперта по существу стоящей проблемы; - уточнение списка кандидатов, контакт с ними и получение согласия на участи в экспертизе. Существо проблемы, решение которой намечается с применением МЭО, во многом определяет состав группы экспертов и требования к их квалификации. При этом следует иметь в виду, что большая по численности группа экспертов потребует большого времени на организацию экспертизы и обработку экспертных данных. Кроме того, труд эксперта – потребует высокой оплаты, которая, однако, оправдывается высокой надежностью коллективных оценок. В связи с этими обстоятельствами неизбежна оптимизация состава экспертной группы (ЭГ) на основе сопоставления «результат – затраты». При такой оптимизации главным качеством эксперта следует считать его компетентность в данной предметной области, его творческую активность и результативность, конструктивность в высказывании мнений. Важны и психологические характеристики его личности – самодостаточность, самокритичность, логичность доводов и их аргументированность, рациональный оптимизм в отношении перспектив решения проблемы. Задача оптимизации состава ЭГ достаточно сложна по своей сути. Кроме того, она крейне ответственна. Инженеру – когнитологу, которому поручается ее решение,потребуется широта кругозора, эрудиция, упорство и последовательность в действиях. Он должен обладать тактичностью, способностью расположить к себе собеседника, умением слушать и понимать собеседника. В беседах с экспертами ему необходимо показать информированность о профессиональных достижениях эксперта в данной предметной области и об оценках этих достижений в научных или профессиональных изданиях. Опрос экспертов. Этот этап включает процедуру сбора экспертных данных и разработку эффективного алгоритма совместной работы экспертов. Выбор формы проведения опроса во многом зависит от того, насколько она соответствует его парадигме – получить результат решения проблемы, отвечающий требуемой степени полноты, точности, надежности, оперативности и допустимому уровню совокупных затрат (финансовых и материальных). Опрос может проходить в форме дискуссии, может быть организован в виде анкетирования (заполнением опросных листов) или в сочетании этих форм. Дискуссия предполагает открытое коллективное обсуждение проблемы или конкретных, попутно возникающих вопросов. Эта форма опроса весьма продуктивна, но в то же время – опасна возможностью пустить обсуждение принципиальных вопросов по неверному пути. Поэтому организация дискуссии, управление ее ходом и общий настрой участников – должны быть предметом постоянного внимания ведущего. Надо все время иметь в виду, что главное достоинство этой формы обмена мнениями – снижение затрат времени (и других ресурсов) на решение проблемы. Другое важное преимущество дискуссии над другими формами опроса – ее открытость. В связи с этим очень важно использовать дискуссию для выработки единой системы понятий, для эффективной настройки экспертов на проблему, «притирку» их друг к другу на основе искреннего желания найти путь кардинального решения проблемы, а не оправдания выбору полумер или деструктивных компромиссов. Дискуссия, как правило, позволяет точно определить «узкие места» в существе проблемы, выявить среди экспертов потенциальных лидеров и потенциальных негативистов. Когнитолог, ведущий дискуссию, обязан четко поставить проблему и сформулировать в связи с ней задачу дискуссии. Раскрыть влияние различных ситуаций на решение проблемы и сформулировать ожидания, которые связывает руководство фирмой (ЛПР) с приглашением экспертов. В организационном аспекте важно четко определить и выдерживать регламент докладов и выступлений, порядок подачи вопросов, способы регистрации и протоколирования выступлений, формы и сроки опроса экспертов после дискуссии. Анкетирование – это форма опроса, при которой заранее определяется перечень вопросов, на которые предлагается ответить экспертам. При этом все эксперты должны дать ответы на один и тот же перечень вопросов. Отсюда следует высокая значимость этапа разработки как самих вопросов, так и предлагаемых вариантов односложных ответов на них. Иногда, в целях «поступенности» решения сложной задачи, анкеты разрабатываются так, чтобы каждый следующий тур анкетирования позволял уточнить результаты предыдущих туров и, тем самым, сделать процедуру анкетирования логичной и управляемой. Кроме того, вопросы, включаемые в анкеты, должны составляться так, чтобы анализ ответов позволял обнаружить возможные противоречия и непоследовательности, содержащиеся в ответах.

Похожие:

	2класс-классный руководитель Сотникова А. Н Наблюдаются низкая накопляемость оценок по некоторым предметам, несвоевременность заполнения (не указаны темы уроков, исправления...		«социология и политология» Методы в зависимости от типа социологических исследований подразделяются на качественные и количественные, а в зависимости от этапа...
	4,75. Заявление о пересдаче одной оценки для получения красного диплома... После получения всех оценок и зачетов, нужно обязательно закрыть зачётку, не забыв проставить зачет по научно-исследовательской практике....		Защита интеллектуальной собственности и патентоведение Интеллектуальная собственность результат творческой деятельности. Существуют методы получения интеллектуальной собственности и методы...
	Мероприятия Доля оценок «отлично» от общего количества оценок, полученных по итогам промежуточной аттестации в течение не менее двух следующих...		Доклад «Отношения России и Европейского союза: современная ситуация... Доклад подготовлен на основе ситуационного анализа, организованного в 21 января 2005 г. Институтом Европы ран, журналом «Россия в...
	Лабораторная работа «Пробоподготовка и анализ вещественных доказательств отравления» Семинар «Методология проведения химико-токсикологического анализа (хта). Направленный и ненаправленный хта. Вещественные доказательства....		Урока лист наблюдения и оценки урока Объективность оценок. Научная обоснованность оценок, характеристик и выводов; их конкретность, доказательность и убедительность....
	Экспертное заключение о возможности опубликования Подписать у председателя комиссии (руководителя-эксперта) (список экспертных комиссий по кафедрам в Приказе №116-о от 27. 03. 2013...		Приведены данные оценки, сделанной в 2006-2007 гг. Обн ран. Они не... Эти данные приводятся только как иллюстрация сводной таблицы. Они не отражают сегодняшнего состояния института и его подразделений....