Системы анализа данных
Решения бизнес-аналитики для предприятий уже давно перестали быть простым управленческим инструментом, обеспечивающим доступ к данным. В современных условиях они должны обладать гораздо большей функциональностью – от мониторинга производительности и процессов до принятия решений на основе полученных данных [17]. Создать инструмент, позволяющий удовлетворять всем возможным требованиям предприятия невозможно, поэтому все системы разделены на некоторые подклассы, различающиеся архитектурой, реализуемыми методами и соответственно, решающими ими задачами.
On-Line Analytical Processing-системы
С идеей многомерного анализа данных тесно пересекается оперативный анализ, выполняемый инструментами OLAP-систем. Основная цель OLAP-систем – возможность проведения произвольных запросов аналитиков для поддержания их деятельности. Цель OLAP-анализа – проверка возникающих гипотез [Error: Reference source not found].
В 1993 году Э. Кодд опубликовал работу под названием “OLAP для пользователей-аналитиков: каким он должен быть”, в которой изложены основные концепции OLAP-систем. Также в этой работе расписаны 12 требований, которым должны удовлетворять OLAP-системы [26]. Затем, в 1995 году, он дополнил, прибавил к изначальным двенадцати требованиям ещё шесть, и определил все требования по четырём группам: основные особенности, специальные особенности, особенности представления отчётов, управление измерениями [4].
Существует и иная трактовка OLAP-систем, предложенная в 1995 г. Н. Пендсом и Р. Критом на основе анализа правил Кодда – FASMI (Fast of Analysis Shared Multidimensional Information). Данная концепция опирается на скорость вычисления, многопользовательский доступ, релевантность информации, наличие средств статистического анализа и многомерность, т. е. на представление анализируемых фактов как функций от большого числа их характеризующих параметров [7].
1.3.3.4.Архитектура On-Line Analytical Processing-систем
OLAP-система состоит из двух основных компонент:
OLAP-сервер – система, предоставляющая возможность выполнять над хранимыми данными необходимые операции и создавать многомерные модели на концептуальном уровне. Обычно OLAP-серверы объединяют с ХД или ВД;
OLAP-клиент – система, позволяющая аналитику совершать все возможные действия над многомерной моделью данных через специальный интерфейс.
Реализация многомерной модели в ХД скрывается OLAP-серверами от пользователя. Они формируют гиперкуб, над которым аналитики совершают различные действия, с целью выполнения задач анализа. Несмотря на то, что способ реализации многомерной модели скрывается, это является очень важной информацией, от которой зависит как производительность, так и занимаемые ресурсы [7].
Выделяют три основных способа реализации таких систем: MOLAP, ROLAP, HOLAP, и четыре дополнительных WOLAP, DOLAP, MOLAP, SOLAP [27].
MOLAP – многомерный (multivariate) OLAP. Для реализации многомерной модели используют многомерные БД (см. рисунок 1.7). Данные хранятся в виде многомерных упорядоченных массивов. Таким образом, куб можно представить в виде плоской таблицы, строчками которой, будут являться все комбинации значений всех характеристик с соответствующими им значениями мер [7].
Рисунок 1.. Многомерная структура БД
К основным преимуществам использования MOLAP можно отнести следующее:
поиск и выборка данных производится значительно быстрее, чем при многомерном концептуальном взгляде на реляционную БД;
многомерные БД легко справляются операциями включения в информационную модель разнообразных встроенных функций.
Однако, также имеются и значительные недостатки использования многомерной схемы БД:
за счет денормализации и заранее выполненной агрегации объем данных в многомерной БД, обычно, соответствует (по оценке Кодда) в 0,025 раз меньшему объему исходных детализированных данных [7];
в большинстве случаев многомерный куб является сильно разреженным, а из-за того, что данные хранятся в упорядоченном виде, неопределенные значения можно удалить только за счет выбора оптимального порядка сортировки.
Многомерные БД чувствительны к изменениям в многомерной модели. Так, при добавлении нового измерения, всю структуру БД необходимо изменить, а это влечет за собой большие временные затраты [7].
ROLAP – реляционный (relational) OLAP. Для реализации многомерной модели используют реляционные БД (см. рисунок 1.8). Наибольшее распространение получили две схемы реализации многомерного представления данных с помощью реляционных таблиц: звезда и снежинка.
Рисунок 1.. Реляционная структура БД
Использование реляционных БД в OLAP-системах имеет следующие достоинства:
во многих случаях корпоративные ХД реализованы с помощью реляционных СУБД, и инструменты ROLAP позволяют проводить анализ непосредственно над ними;
ROLAP-системы являются оптимальным решением, в случае, переменной размерности задачи, т.к. в таких задачах необходимо часто вносить изменения в структуру, а такие модификации не потребуют физического перестроения БД;
реляционные СУБД обеспечивают гораздо более высокий уровень защиты данных и широкие возможности разграничения прав доступа.
Главный недостаток ROLAP по сравнению с MOLAP – меньшая производительность. ROLAP-системам необходимо провести тщательную проработку схемы БД и настройку индексов, для того, чтобы обеспечить сравнимую производительность с MOLAP [7].
HOLAP – гибридный (hybrid) OLAP. Для реализации многомерной модели используют и многомерные, и реляционные БД. В случаях, когда данные более плотные, может использоваться MOLAP, а для более разреженных данных – ROLAP. Серверы HOLAP применяют подход ROLAP для разреженных областей многомерного пространства и подход MOLAP для плотных областей. Серверы HOLAP разделяют запрос на несколько подзапросов, направляют их к соответствующим фрагментам данных, комбинируют результаты, а затем предоставляют результат пользователю [7].
Информационно-аналитические системы
Период времени быстрых, в значительной мере интуитивных, импровизационных, а зачастую и силовых решений меняется на зону продуманных, просчитанных выводов и решений – оперативных, стратегических.
Для выработки и принятия соответствующих необходимы информация и знания, которые должны удовлетворять требованиям полноты, достоверности, своевременности (актуальности) и полезности.
Основополагающую роль в подготовке принятия решений играет его обоснование по имеющейся у ЛПР информации. Ее, как правило, получают из различных внутренних и внешних источников.
Для выработки адекватного решения используются внутренние информационные ресурсы, которые складываются из отражения деятельности объекта в документах, других видах и способах сбора, обработки, хранения информации. Вдобавок внешние по отношению к объекту информационные ресурсы, например, если это предприятие – корпорации, отрасли, региона, а также глобальные – из средств массовой информации, специальной литературы, всемирной информационной сети и т.д. [22].
Одной из первостепенных задач при подготовке и принятии решений является анализ имеющейся в распоряжении ЛПР информации, который является фундаментом обоснования решения. Информация характеризуется многоплановостью, сложностью отображаемых объектов и систем, а также связей между объектами, явлениями и процессами, скрытостью закономерностей. Эти обстоятельства вынуждают использовать имеющиеся в настоящее время весьма развитые программно-технические средства. Широкое и эффективное применение этих средств стало одним из факторов выживаемости и успеха предприятия в условиях острой конкурентной борьбы [22].
Проблема анализа исходной информации для принятия решений оказалась настолько серьезной, что появилось отдельное направление или вид информационных систем – информационно-аналитические системы (ИАС), под которыми понимают комплекс аппаратных, программных средств, информационных ресурсов, методик, которые используются для обеспечения автоматизации аналитических работ в целях обоснования принятия управленческих решений и других возможных применений [22].
Вся проблема аналитической подготовки принятия решений имеет следующие аспекты:
извлечение из многих источников разнородных данных, представленных в различных форматах и приведение их к единому формату и единой структуре;
организация хранения и предоставления пользователям необходимой для принятия решений информации;
собственно анализ, в том числе оперативный (OLAP) и интеллектуальный (DM), и подготовка плановой или регулярной оценки состояния управляемого объекта;
подготовка результатов оперативного и интеллектуального анализа для эффективного их восприятия пользователями и принятия на основе адекватных решений [22].
Аспекты, касающиеся сбора и хранения информации с сопутствующей доработкой, оформились в концепцию информационных хранилищ – Data Warehouse. Эта концепция состоит в том, что сведения о деятельности предприятия или иного объекта хозяйственной или иной деятельности накапливаются в течение длительного периода времени в информационном хранилище по определенным правилам [23].
Аспекты проблемы анализа и необходимые для их разрешения функции нашли выражение в соответствующих программных продуктах. Соответственно средства автоматизации анализа представлены в различных видах. Имеются комплексные информационно-аналитические системы, выполняющие в той или иной степени функции в соответствии с рассмотренными аспектами. Представлены на рынке программных продуктов и целевые программные системы, выполняющие в увеличенном объеме, расширенном составе и повышенной сложности какие-либо функции, интеллектуального анализа. Такие инструменты выделяют в отдельный класс информационно аналитических систем – системы поддержки принятия решений (СППР). В то время как под ИАС в большей степени понимаются средства подготовки результатов оперативного анализа для эффективного восприятия пользователями, однако чёткого разделения между двумя классами не существует [23].
Системы поддержки принятия решений
В настоящее время, само направление СППР разделилось на несколько классов, которые обросли функционалом и теперь ведут самостоятельную жизнь. К таким направлениям можно отнести ERP (Enterprise Resource Planning) – системы, BI (Business Intelligence) – системы [Error: Reference source not found].
Для выполнения анализа СППР должна накапливать информацию, обладая средствами ввода и хранения. Таким образом, этот класс программных средств решает три основные задачи анализа данных с целью поиска решений в определённой предметной области:
ввод данных;
хранение данных;
анализ данных.
Основная задача СППР – предоставить ЛПР инструмент для выполнения анализа данных. Необходимо отметить, что для эффективного использования СППР ее пользователь-аналитик должен обладать соответствующей квалификацией. Система не генерирует правильные решения, а только предоставляет аналитику данные в соответствующем виде (таблицы, отчеты, графики и т. п.) для изучения и анализа [7]. СППР должна помогать лицу, принимающему решения, отвечать на вопросы типа «Что будет, если...?». Слово «поддержка» говорит о том, что системы только помогают руководству принимать решения, разобраться в ситуации, но не заменяют их [9].
Подходы к построению СППР, будь то методологические или технологические, основаны на реализации итеративного, многоэтапного процесса принятия решения, включающего этапы: анализа тенденций и визуализации, обнаруженных в данных зависимостей, с помощью средств интеллектуального анализа данных и OLAP технологий, выявления структурных особенностей в получаемых в ходе мониторинга данных. Центральным элементом, интегрирующей основой всей процедуры принятия решений в таких системах может выступать обобщенная имитационная модель объекта исследования, реализуемая в СППР на основе комплекса взаимосвязанных имитационных и оптимизационных моделей [10]. На основе сценарного подхода реализуется процедура выбора и характеризуется непосредственным участием эксперта в модельном исследовании и применении экспериментального подхода компьютерного моделирования в сочетании с различными аналитическими методами. К их числу можно отнести: статистические методы, итерационные, логистические, балансовые, имитационно-оптимизационные вычислительные процедуры [11].
Экспоненциальный рост объёмов данных, подвергаемых анализу в настоящее время, повышение требований к скорости выполнения анализа, а также сложность описания машинной формы представления данных подстёгивает исследования и разработку интеллектуальных СППР. Такие СППР отличаются наличием функций, реализующих отдельные умственные задачи ЛПР.
1.3.3.5.Классификация систем поддержки принятия решений
По способу взаимодействия с пользователем выделяют следующие типы СППР:
пассивные системы не позволяют выдвинуть конкретное предложение, хотя реализуют средства, в различной степени поддерживающие пользователя при поиске наиболее эффективного решения;
активные системы непосредственно участвуют в поиске и подготовке наиболее оптимального решения;
кооперативные системы предоставляют пользователю возможность доработать найденные ими решение, а затем проверить внесённые пользователем коррективы [24].
По способу поддержки различают:
модельно-ориентированные СППР, выполняют поиск оптимальных решений основываясь на специально разработанные модели (статистические, финансовые и т.п.);
СППР, ориентированные на данные, организуют поддержку пользователя при поиске эффективных решений, агрегируя большие объёмы данных из гетерогенных источников;
СППР, ориентированные на знания, выполняют поиск оптимальных решений основываясь на специально разработанной базе знаний [24].
Чаще всего встречаются СППР смешанного типа.
По сфере использования выделяют:
настольные СППР – небольшие системы, ориентированные на использование одним пользователем, работающим на персональном компьютере;
общесистемные СППР, используют в своей работе большие хранилища данных и ориентированы на использование многими пользователями [24].
По степени «интеллектуальности» обработки данных при анализе выделяют три класса задач анализа:
информационно-поисковый – выполняет предопределённые в системе запросы. Аналитик не имеет возможности создавать пользовательские запросы;
оперативно-аналитический – позволяет проводить обобщение данных, а так же группирование в необходимом аналитику виде. Отличительной чертой от информационно-поискового анализа является невозможность предсказания необходимых аналитику запросов, т.е. необходим механизм выполнения пользовательских запросов;
интеллектуальный – с определённой вероятностью прогнозирует развитие некоторых процессов, на основе найденных логических и функциональных закономерностей [7].
Таким образом, обобщённая архитектура СППР может быть представлена следующим образом (см. рисунок 1.9).
Рисунок 1.. Обобщённая архитектура СППР
Подсистемы ввода и хранения информации в различных системах не имеют больших различий, а вот подсистема анализа является главной частью СППР, определяющей её эффективность и уникальность, поэтому эту подсистему необходимо изучить более подробно.
1.3.3.6.Подсистема анализа системы поддержки принятия решений
Различные методы Data Mining могут использоваться на различных фазах процесса принятия решений, включая распознавание моделируемых систем на этапе построения модели, создание альтернатив и других, вплоть до выбора приоритетной стратегии.
Итерационная процедура принятия решения в СППР основывается на взаимодействии эксперта и компьютерных аналитических систем различного назначения. Процедура принятия решения состоит из повторяющихся фаз анализа, постановки задачи и выбора на множестве альтернатив.
После того, как желаемые цели определены, менеджеры и системные аналитики, стоящие на следующем уровне ИС предприятия – СППР, используя широкий арсенал компьютерных методов и основываясь на своём личном опыте. В их задачу входит отработка основных этапов процедуры принятия решений, связанных с:
генерацией возможных решений (альтернатив, сценариев);
осуществлением динамического компьютерного анализа возможных последствий принимаемых решений;
оценкой и выбором лучшего варианта развития [Error: Reference source not found].
На этапе формирования базовой имитационной модели в зависимости от задач, находят широкое применение технологии Data Mining: статистические методы, включая регрессионный и кластерный анализ, методы оценки рисков, интеллектуальные технологии: нейронные сети, генетические алгоритмы, экспертные системы, а также методы экспертного оценивания [10].
Полученные знания являются входной информацией для формируемой имитационной модели и позволяют провести корректную параметризацию динамической имитационной модели, основанную на реальных данных и знаниях. Эти данные могут храниться в базе данных и базе знаний СППР, что упрощает последующие процедуры идентификации имитационной модели [11].
Полученная обобщенная имитационная модель предприятия является инструментом экспериментального оценивания множества сценариев, стратегических альтернатив, сформированных экспертами.
Выбор альтернатив по результатам экспериментального имитационного исследования может быть осуществлен с помощью итерационных имитационно-оптимизационных процедур, генетических алгоритмов, экспертных и нечетких систем, традиционных методов оптимизации, проводя оценку возможных решений в соответствии с предпочтениями ЛПР и осуществляя согласование групповых решений в СППР [12].
|
