3. МЕТОД АНАЛИЗА ИЕРАРХИЙ 3.1. Общее описание
Цель метода анализа иерархий обоснование выбора наилучшей из предлагаемых альтернатив, характеристики которых являются векторами с разнородными, в том числе и с нечетко определенными, отдельными компонентами.
Суть метода анализа иерархий заключается в поэтапном решении следующих взаимосвязанных частных задач:
построение иерархической структуры показателей (признаков);
оценивание значимости отдельных частных показателей для каждого уровня иерархии;
сравнение имеющихся альтернатив и выбор наилучшей из них.
В результате должна быть выражена относительная степень (интенсивность) взаимодействия элементов в иерархии. Метод анализа иерархии включает процедуры синтеза множественных суждений, базирующихся на результатах парных сравнений, которые затем выражаются численно, оценки приоритетности (важности) критериев (отдельных показателей), а также оценки альтернативных решений и нахождения наилучшего из них. Полученные результирующие значения являются оценками в шкале отношений, что соответствует жестким оценкам.
Исходным материалом, на основании которого ЛПР может получить достаточное, четкое и ясное представление о превосходстве одного элемента над другим, являются интуиция и субъективные оценки, несмотря на то, что суждения и их интенсивность характеризуют выражение внутренних чувств и склонностей конкретных экспертов.. Суждения расширяют рамки общения, укрупняя элементы, имеющиеся на определенном уровне иерархии.
Изложенное дает представление об основных принципах метода анализа иерархий. Подробнее эти принципы будут изложены в дальнейшем, при детальном рассмотрении процедур.
3.2. Основные этапы метода анализа иерархий
Метод анализа иерархий включает следующие основные этапы, значимость которых различна для разных задач и ситуаций.
1. Описание проблемы и определение цели исследований.
2. Построение иерархии, начиная с вершины (цели с точки зрения управления), через промежуточные уровни (критерии, от которых зависят последующие уровни), к самому нижнему уровню (который обычно является перечнем альтернатив).
3. Построение матриц влияния элементов верхнего (предыдущего) уровня на элементы нижнего (следующего) уровня (для каждого из нижних уровней) по одной матрице для каждого элемента, примыкающего сверху уровня. В полной простой иерархии любой элемент воздействует на каждый элемент примыкающего сверху уровня. Элементы каждого уровня сравниваются друг с другом относительно степени их воздействия на элемент предыдущего уровня и получают квадратную матрицу суждений. Реальные иерархические структуры весьма редко бывают полными простыми иерархиями и их, в ряде случаев, целесообразно декомпозировать на подуровни.
Парные сравнения проводятся в терминах определения степеней доминирования (предпочтения) одного из элементов над другим, которые затем выражаются в целых числах (табл. 3.1 для величин суждений). Если элемент А доминирует над элементом Б, то клетка, соответствующая строке А и столбцу Б, заполняется целым числом, а клетка, соответствующая строке Б и столбцу А, заполняется обратным к нему числом (дробью). Если элемент Б доминирует над элементом А, то происходит обратное. Если считается, что элементы А и Б одинаковы, то в обе позиции ставится единица.
4. На этапе 3 для получения каждой матрицы требуется n(n-1)/2 суждений (парных сравнений). Результатом этапа 3 (сравнения значимости влияния элементов следующего уровня на элементы предыдущего уровня) является набор квадратных матриц N1, N2, , Nk с элементами (aij, i, j = 1, 2,…, n), где k число элементов предыдущего уровня иерархии, n число элементов следующего уровня иерархии. Если иерархическая структура не является полной простой иерархией, то возможно уменьшение количества сравнений, т. е. упрощение процесса получения результатов парных сравнений.
Следует заметить, что в данном случае речь идет о коллективном обсуждении и формировании матриц парных сравнений. Случай, когда эксперты формируют собственные наборы матриц и, к тому же обладают различной квалификацией (степенью значимости) рассмотрен далее в п. 3.
Таблица 3.1
Относительная важность
|
Определение
|
Объяснения
|
1
| Равная важность |
Равный вклад двух видов деятельности в цель
|
3
|
Умеренное превосходство одного над другим
|
Опыт и суждения дают легкое превосходство одному виду деятельности над другим
|
5
|
Существенное или сильное превосходство
|
Опыт и суждения дают сильное превосходство одному виду деятельности над другим
|
7
|
Значительное превосходство
|
Одному виду деятельности дается настолько сильное превосходство, что оно становится практически значительным
|
9
|
Очень сильное превосходство
|
Очевидность превосходства одного вида деятельности над другим подтверждается наиболее сильно
|
2, 4, 6, 8
|
Промежуточные решения между двумя соседними суждениями
|
Применяются в компромиссном случае
|
Обратные величины приведенных ранее чисел
|
Если при сравнении одного вида деятельности с другим получено одно из ранее указанных чисел (например 3), то при сравнении второго вида деятельности с первым получим обратную величину (т. е. 1/3)
|
|
5. После проведения всех парных сравнений для элементов соседних уровней (получения набора матриц) следует вычислить весовые коэффициенты дуг. Для каждой из матриц Ni определяется нормализованный вектор локальных приоритетов, со следующими компонентами:
 , (3.1)
где n размерность матрицы; aji элемент j-ой строки матрицы. Таким образом, матрице Ni сопоставляется вектор ai .
Нормирование компонент осуществляется путем деления каждой компоненты вектора ai на сумму всех компонент этого вектора:
 . (3.2)
Нормированный вектор bi соответствует весовым коэффициентам дуг, соединяющих i-й элемент предыдущего уровня со всеми элементами следующего уровня. Если ввести в рассмотрение матрицу влияний элементов нижнего уровня на элементы предыдущего уровня Bl, где l номер уровня иерархии, то векторы bi будут являться ее столбцами.
6. После получения данных (обработки матриц суждений Ni по формулам (3.1) и (3.2)) следует определить их согласованность. Степень согласованности для каждой матрицы приближенно вычисляется следующим способом: суммируется каждый столбец матрицы суждений, и сумма первого столбца умножается на величину первой компоненты нормализованного вектора приоритетов, сумма второго столбца на вторую компоненту и т. д. Полученные числа суммируются и получается величина
 . (3.3)
Используя отклонение  от n, находят индекс согласованности (ИС), сравнивая который с соответствующими средними значениями для случайных элементов, получают отношение согласованности (ОС). (Подробно получение оценок согласованности приведено далее).
7. Этапы 3, 4, 5 и 6 проводятся для всех уровней иерархии.
8. Производится поэтапная оценка весовых коэффициентов элементов каждого следующего уровня иерархии:
 (3.4)
где Ci1 вектор весовых коэффициентов элементов предыдущего уровня, а Bi - матрица влияний элементов нижнего уровня на элементы предыдущего уровня, состоящая из векторов, полученных по формуле (3.2); i номер уровня иерархии.
9. Согласованность всей иерархии можно найти, перемножая каждый индекс согласованности на приоритет соответствующего критерия и суммируя полученные числа. Затем результат делится на выражение такого же типа, но со случайным индексом согласованности, соответствующим размерам каждой взвешенной приоритетами матрицы. Приемлемым является отношение согласованности около 10 % или менее. В противном случае качество суждений следует улучшить, изменив способ, следуя которому задаются вопросы при проведении парных сравнений. Если это не помогает улучшить согласованность, то, вероятно, задачу следует более точно структурировать, т. е. сгруппировать аналогичные элементы под более значащими критериями. Потребуется возврат к этапу 2, хотя пересмотра могут потребовать только сомнительные части иерархии.
Замечания:
1. При проведении оценок следует иметь в виду все сравниваемые элементы. Для получения обоснованных численных сравнений не следует сравнивать более чем 7±2 элементов, так как в таком случае погрешность, обусловленная приближенностью метода, мало меняет результат для каждой относительной величины. Для неполной иерархии, разделяемой на частичные иерархии, это условие обычно выполняется.
2. Работы с более широким классом объектов следует осуществлять посредством иерархической декомпозиции. Элементы группируются (в качестве первой оценки) в сравниваемые классы приблизительно из семи элементов в каждом. Элемент с наивысшим весом в классе также включается в следующий класс элементов с большими весами и как своеобразный стержень между двумя классами придает однородность шкале. Процедура повторяется многократно, пока все элементы не будут взвешены.
3.3. Построение матрицы сравнений
После иерархического представления решаемой задачи возникает проблема установления значений показателей важности элементов, находящихся на различных уровнях иерархии, в том числе для нижнего уровня.
Для ее решения элементы, находящиеся на одном уровне, сравниваются попарно по отношению к их воздействию («весу») на общую для них характеристику – элемент предыдущего уровня иерархии.
Для проведения сравнений выбрана шкала, удовлетворяющая следующим требованиям:
1. Шкала должна давать возможность улавливать разницу отношений предпочтения (в том числе и неявного) всех экспертов, проводящих сравнения, различать как можно больше градаций и оттенков в используемых отношениях предпочтения.
2. Обозначим значения шкалы через X1, X2, ..., Xp и допустим, что в этой шкале сохраняются первые разности, т. е. Xi - 1 Xi = 1, i = 1, ..., p 1.
Эксперт должен быть уверенным в точном понимании всех градаций (оттенков) своих суждений одновременно. Для лучшей согласованности и точности ему не следует одновременно сравнивать более (7±2) объектов, что определяет выбор p = 7±2. Использование единичной разности между последовательными значениями шкалы является единственным допущением. Учитывая, что X1 = 1 для сравнения идентичных вещей, получаем, что значения шкалы будут меняться в пределах от 1 до 9.
При использовании шкалы ЛПР имеет представление об относительных интенсивностях, которые имеются у сравниваемых элементов. Отношения, которые формирует ЛПР, являются ближайшими целыми приближениями, наибольшее значение которых соответствует 9.
Практически речь идет о переводе качественных отношений в количественные оценки предпочтений, которые являются приближенными. На сегодняшний день не существует таких методов, которые помогли бы решить, насколько адекватно данные суждения соответствуют реальности.
Для проведения субъективных парных сравнений в методе анализа иерархий была разработана шкала относительной важности (табл. 3.1), позволяющая отобразить множество качественных результатов сравнений на количественные показатели. Корректность этой шкалы доказана, а сравнение ее с другими показало, что эта шкала и ее незначительные модификации при практическом применении значительно лучше и удобнее, чем все другие шкалы.
Методика построения.
Процесс сравнения важности элементов начинается с левого верхнего элемента матрицы вопросом: насколько первый элемент данного уровня иерархии важнее (относительно элемента верхнего уровня иерархии), чем второй? Если первый элемент важнее, чем второй, то используется целое число из шкалы, которая приведена в табл. 3.1, в противном случае используется обратная величина. Далее первый элемент сравнивается с третьим и т.д. Результаты сравнений элементов заносятся в симметричные позиции матрицы. Получаемая в конце процесса сравнения матрица является положительной и обратно симметричной. Для ее полного заполнения необходимо произвести только n(n–1)/2 сравнений, где n – общее число сравниваемых элементов. Для случаев, когда иерархическая структура не является полной простой иерархией, число сравнений может быть меньше. При этом не предполагают, что суждения всех экспертов полностью согласованы.
Р езультаты сравнений элементов представляются в виде матрицы
-
a 11
|
a12
|
a13
|
… a1n
|
a21
|
a22
|
a23
|
… a2n
|
…
|
…
|
…
|
…
|
an1
|
an2
|
an3
|
… ann
|
Эта матрица обладает свойством обратной симметричности (aji = 1/aij) ,
где индексы i и j относятся к строке и столбцу соответственно.
Формулировка вопросов при проведении сравнений
При проведении парных сравнений элементов А и Б в основном ставятся следующие вопросы:
– Какой из них важнее или имеет большее воздействие?
– Какой из них предпочтительнее?
– Какой из них более вероятен?
Для большинства различных практических ситуаций все задаваемые вопросы попадают в одну из трех перечисленных категорий. При сравнении критериев обычно спрашивают, какой из критериев более важен; при сравнении альтернатив по отношению к критерию – какая из альтернатив более желательна (предпочтительна); при сравнении сценариев, получаемых из критерия, – какой из сценариев более вероятен (возможен).
Участие группы экспертов в построении матриц
Обеспечение работы группы
Экспертам рассказывают об особенностях шкалы, о ее использовании при работе с суждениями. Объясняется преобразование суждений в числа. Экспертов ориентируют на использование не чисел, а суждений. Приводят несколько примеров проведения парных сравнений, проявления приоритетов в виде собственного вектора, несогласованность, возможный пересмотр и обобщенные веса. Следует приводить примеры, связанные с качеством, стоимостью, эксплуатационными расходами и прибылью.
Возможны два способа организация работы группы экспертов.
1. Обсуждение (on-line, видеоконференция и др.).
Когда в обсуждении участвуют несколько экспертов, по многим суждениям часто происходят споры и экспертам предлагается подтвердить (обосновать) свои суждения, представив дополнительную информацию, которой они располагают. В таких случаях обсуждение обычно сосредотачивается на допущениях, из которых следуют суждения, а не на самих суждениях. Если имеются значительные расхождения, то различные мнения могут быть сгруппированы и использованы для получения ответов. Суждения, в которых последовательно обнаруживается наибольшая согласованность, обычно получают всеобщую поддержку.
После обсуждения и консенсуса необходимо объединить разные суждения, удовлетворив условия обратной симметричности матрицы.
2. Раздельная работа экспертов.
Каждый из экспертов формирует собственный набор матриц сравнения для каждого из уровней. При слиянии матриц (математической обработке и синтезе общей матрицы сравнений) необходимо учитывать различную квалификацию экспертов в каждом из конкретных сравнений. Способ усреднения полученных матриц приведен далее.
3.4. Оценка значимости элементов иерархии
Анализ возможных подходов
Оценка значимости различных элементов иерархии может производиться как для каждого уровня иерархии отдельно (т. е. непосредственно после построения всех матриц сравнения значимости элементов для данного уровня иерархии), так и после построения всего набора матриц для всех уровней иерархии. Первый подход представляется более предпочтительным для неполной иерархии, так как значительно снижает объем сравнений и вычислений, в то время как второй подход четко отделяет работу экспертов (проведение сравнительных оценок и формирование матриц) от процесса обработки этих матриц и получения векторов значимостей (весов) элементов иерархии. Первый подход позволяет, в случае необходимости, корректировать отдельные сравнения на каждом уровне иерархии, что позволяет гибко учитывать изменения мнений (оценок) отдельных экспертов. Второй подход позволяет сократить разовую занятость экспертов, но не позволяет в случае необходимости оперативно корректировать сравнительные оценки. Одним из преимуществ второго подхода является также возможность использовать различных экспертов для построения самой иерархии (например, системных аналитиков или специалистов по качеству) и для построения матриц сравнения (пользователи, потребители, ремонтники и др.).
Определение весов элементов одного уровня
Исходная информация. Иерархия построена, проведены субъективные парные сравнения и составлен набор квадратных матриц N1, N2, …, Nk с элементами (aij, i, j = 1, 2, …, n); где k число элементов предыдущего уровня иерархии, а n число элементов следующего уровня иерархии.
Задача. Из группы матриц парных сравнений сформировать набор локальных приоритетов, которые выражают относительное влияние множества элементов данного уровня на элементы примыкающего сверху уровня.
Способ решения. Относительную значимость (величину, ценность, желательность или вероятность) каждого отдельного элемента определяем на основе вычисления собственных векторов, соответствующих максимальным собственным числам, для всех матриц, а затем нормировании результата для получения вектора приоритетов.
Технология. Квадратная матрица имеет собственные векторы и собственные значения. Собственный вектор, соответствующий наибольшему собственному значению достаточно адекватно отражает сравнительную значимость (важность) факторов или результатов в проблемной ситуации. На факторах с наибольшей важностью концентрируется внимание при решении задачи или разработке плана действия. Вычисление собственных векторов требует трудоемких вычислений. В методе анализа иерархий используется упрощенный подход (для вычисления собственного вектора), позволяющий получить хорошие приближения к приоритетам, основанный на вычислении среднего геометрического.
Варианты организации работы экспертов
Совместная работа.
При взаимодействии экспертов в процессе совместного построения общих матриц, вычисления проводятся по формуле (3.1): перемножаются элементы каждой строки и извлекается корень n-й степени, где n число элементов. Полученный столбец нормируется делением компонент на их сумму (по формуле (3.2)).
Раздельная работа.
При раздельной работе экспертов исходными данными для каждого из уровней иерархии являются наборы матриц сравнения, предложенные каждым из экспертов, которые могут иметь различную квалификацию в каждом из конкретных сравнений.
Рассмотрим подробно способ усреднения (комплексирования) полученных матриц.
Пусть необходимо сравнить важность влияния n различных показателей между собой, на один показатель верхнего уровня. Сравнение выполняется k экспертами, компетентность которых для данных показателей описывается вектором = (1, 2,…, k,  ). Нормированность вектора показателей относительной компетентности различных экспертов отвечает естественным требованиям системного анализа.
Каждым экспертом, на основе парных сравнений, составлена обратносимметричная матрица Bi (i=1, 2, …, k) размерности nn из элементов blmi, которой соответствует нормализованный вектор локальных приоритетов, вычисленный по формуле 3.1. с компонентамиci = (c1i, c2i,…, cni), где
Обозначим операцию получения вектора ci из матрицы Bi как  .
Определения и свойства.
Адамаровым произведением двух квадратных одноразмерных матриц P и Q называется матрица R= PQ, состоящая из попарных произведений одноименных элементов (rij=pijqij).
Адамаровой степенью матрицы P называют матрицу Q = Ps, элементами которой являются s -е степени элементов матрицы P (qij=pijs).
Обратносимметричные матрицы обладают следующими свойствами:
Свойство 1. Адамарово произведение одноразмерных обратносимметричных матриц является обратносимметричной матрицей.
Свойство 2. Адамарова степень квадратной обратносимметричной матрицы является обратносимметричной матрицей.
Следствие. Адамарово произведение произвольного числа Адамаровых степеней обратносимметричных матриц является обратносимметричной матрицей.
Проведем анализ двух подходов к учету различной компетентности экспертов при формировании вектора весовых коэффициентов (значимостей) показателей на основе комплексирования набора матриц.
1. Последовательный учет
Вычисляем обобщенную матрицу для всех экспертов на одном уровне
 , (3.5)
где символ П обозначает произведение нескольких матриц в смысле Адамара. Заметим, что полученная матрица является обратносимметричной. После этого вычисляем вектор  , который и является, по аналогии с вектором из формулы 3.1., ненормированным вектором весовых коэффициентов.
2. Учет по результатам.
Вычисляем вектора значимостей для каждого эксперта путем обычной обработки матриц суждений отдельных экспертов (i=1, 2,…, k).
После этого вычисляем результирующий вектор весовых коэффициентов по формуле, аналогичной формуле 3.5.:
 (3.6)
Полученные вектора F1 иF2 учитывают неравнозначное мнение экспертов.
Утверждение.
Вектора F1 иF2 равны между собой.
Справедливость данного утверждения может быть показана достаточно несложно.
Основываясь на этом утверждении можно проводить обработку не конкретных мнений экспертов (матриц Bi), а обработку результирующих векторов, что значительно упрощает процедуру обработки, особенно в тех случаях, когда каждый эксперт работает обособленно.
Замечание.
При любой аппроксимации существует опасность изменения порядка ранжирования и поэтому получения нежелательных результатов. Подход, реализуемый в методе Саати, основан на собственном векторе, использует информацию, которая содержится в любой, даже несогласованной матрице, и позволяет получать приоритеты, основанные на имеющейся информации, не производя преобразований данных. Для ЛПР или группы экспертов идея этого подхода заключается в том, чтобы после получения результата решить, хотят они или нет изменить суждения (исходную информацию).
Результат. Конечным результатом является вектор значимостей (весовых коэффициентов) всех элементов иерархии данного уровня, вычисляемый по формуле (3.4).
Оценка значимости элементов всех уровней иерархии
Коэффициенты значимости элементов синтезируются, начиная со второго уровня вниз. Это позволяет определить составной (глобальный) приоритет каждого элемента, который затем используется для определения взвешивания локальных приоритетов элементов, расположенных уровнем ниже и т. д. Процедура продолжается до самого нижнего уровня.
Сначала матрица составляется для сравнения относительной важности элементов (укрупненных показателей) на втором уровне по отношению к общей цели на первом уровне. Подобные наборы матриц должны быть построены для парных сравнений каждого элемента третьего уровня по отношению к элементам второго уровня и т. д. Матрица составляется таким образом: вверху записывают сравниваемую цель (или критерий), а потом перечисляют сравниваемые элементы слева и сверху. Клетки этих матриц сначала не заполняются, а оставляются для оценок или суждений об относительной важности сравниваемых элементов. Если применяется выбранная шкала (табл. 3.1), то данные могут использоваться для проведения сравнений; иначе клетки заполняются оценками, полученными в результате субъективных суждений экспертов, консультантов или ЛПР, решающих задачу.
Производится поэтапная оценка весовых коэффициентов элементов каждого уровня иерархии в соответствии с формулой (3.4). Процесс заканчивается после получения весовых коэффициентов показателей нижнего уровня иерархии. В частных случаях матрицы Bl, используемые в (3.4), могут быть разбиты на подматрицы, то общий объем вычислений может быть значительно уменьшен.
Оценка заканчивается при достижении нижнего уровня, на котором находятся либо альтернативы при решении задачи выбора одной из альтернатив, либо набор показателей, которые не могут быть (не подлежат) декомпозированы при решении задач экономического и перспективного планирования, задач определения наилучших направлений инвестиций и др.
3.5. Оценка согласованности мнений
Общие положения
Все эксперты не свободны от некоторой субъективности, что может привести к несогласованным выводам. Отсутствие согласованности может быть серьезным ограничивающим фактором для анализа, исследования и решения некоторых задач, но не быть таковым для других. Вопросы оценки степени согласованности имеют первостепенный характер.
Вместе (одновременно) с получением матриц парных сравнений необходимо провести оценки степени отклонения от согласованности. В противном случае, для различных матриц, для которых такие отклонения превышают установленные пределы, эксперту следует перепроверить суждения, отраженные в матрице. Полученная матрица в общем случае несогласованна.
Анализ согласованности целесообразно проводить для каждой матрицы непосредственно после ее формирования, так как в противном случае оценки весовых коэффициентов элементов конкретного уровня могут быть вычислены неправильно по несогласованным мнениям экспертов, что может повлечь необходимость пересчета нескольких матриц, т. е. влечет возрастание объема бесполезных вычислений.
Анализ согласованности
После того как компоненты собственного вектора получены для всех строк матрицы по формуле (3.1), их можно использовать для дальнейших вычислений. По формуле (3.2) осуществляется их нормирование, т. е. вычисляется вектор приоритетов, соответствующий весовым коэффициентам дуг, соединяющих некоторый элемент предыдущего уровня со всеми элементами рассматриваемого уровня иерархии.
Для проверки согласованности матрицы производят следующие операции. Сначала суммируется каждый столбец суждений, затем сумма первого столбца умножается на величину первой компоненты нормированного вектора приоритетов, сумма второго столбца умножается на вторую компоненту и т. д. Затем полученные числа складывают и получают величину, обозначаемую max (3.3). Заметим, что max наибольшее собственное значение матрицы суждений, т. е. наибольшее решение уравнения
A' = max', (3.5)
где A = (aij). Для оценки согласованности матрицы суждений применяют так называемый индекс согласованности, который дает информацию о степени нарушения численной (кардинальной, aijajk = aik) и транзитивной (порядковой) согласованностей. Для выполнения условий согласованности в матрице парных сравнений используются обратные величины aji = 1/aij.
ИС в каждой матрице и для всей иерархии вычисляем приближенно:
ИС = (max n)/(n 1), (3.6)
где n число сравниваемых элементов. Для обратно симметричной матрицы всегда выполняется неравенство max n. Полученный в (3.6) ИС сравнивают с величиной, которая получилась бы при случайном выборе количественных суждений из шкалы 1/9, 1/8,..., 9 и формировании обратносимметричной матрицы. В табл. 3.2 приведены средние согласованности для случайных матриц разного порядка.
Таблица 3.2
Средние согласованности для случайных матриц различного порядка
Размер матрицы
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
10
|
Случайная cогласованность
|
0
|
0
|
0,58
|
0,90
|
1,12
|
1,24
|
1,32
|
1,41
|
1,45
|
1,49
|
Вычислим отношение согласованности как частное от деления ИС на число, соответствующее случайной согласованности матрицы того же порядка. Величина ОС должна быть порядка 10 % или менее, чтобы быть приемлемой. В некоторых случаях можно допустить 20 %, но не более. Если ОС выходит за эти пределы, то экспертам следует проверить свои суждения.
Для улучшения согласованности следует использовать дополнительную информацию или пересмотреть исходные суждения.
Сложная математика не может «улучшить» то,
что ЛПР не хочет менять.
|
