Характеристика рынка Big Data
Для оценки объема и определения перспектив рынка Big Data был проведен сравнительный анализ результатов исследований, выполненных крупнейшими российскими и зарубежными аналитическими компаниями.
По оценкам IDC объемы хранящихся данных будут ежегодно увеличиваться на 40%, а рынок технологий и сервисов для обработки больших данных к 2015 году достигнет 16,9 млрд. долларов в соответствии с рисунком (см. Рисунок ). При этом объем рынка технологий и услуг Big Data в 2014-2017 гг. будет ежегодно увеличиваться в среднем на 27% и в 2017 г. достигнет 32,4 млрд. долларов.
Рисунок – Прогноз роста мирового рынка Big Data
(источник: IDC, Worldwide Big Data Technology and Services 2010-2015 Forecast)
По результатам проведенного исследования было выявлено, что рынок Big Data экстрактивен: c одной стороны, он частично пересекается с рынком (BA Business Аnalytics) бизнес-аналитики (который в 2012 году с учетом ПО, аппаратного обеспечения и услуг составил около 100 млрд. долл.), а с другой — состоит из базовых рынков (серверы, СХД, сетевые технологии, ПО и услуги) в соответствии с рисунком (см. Рисунок ). При этом более 40% рынка Big Data занимают услуги, в состав которых входят консалтинг, системная интеграция, обучение и т.п.
Рисунок - Структура рынка Big Data
(источник: IDC, Worldwide Big Data Technology and Services 2010-2015 Forecast)
Структура рынка Big Data свидетельствует, что технология открывает широкие возможности для поставки решений от компаний, специализирующихся в различных областях (ПО, аппаратное обеспечение, ИТ-услуги).
Кроме того, как отмечает IDC, на рост рынка Big Data также влияет тот факт, что задачи, требующие применения технологий Big Data, характерны для целого ряда отраслей и видов деятельности в соответствии с рисунком (см. Рисунок ).
Рисунок – Примеры задач, решаемых методами Big Data.
При этом согласно исследованиям IDC, было выявлено, что применение технологий Big Data не всегда связаны с решением задач в рамках аналитических приложений. Так, более 10% респондентов исследования (специалисты уровня ИТ-директоров и высшего руководства из организаций США) указали на применение этой технологии для решения неаналитических задач в соответствии с рисунком (см. Рисунок ). Также интересно отметить, что почти для 30% респондентов стимулом для применения Big Data-технологий послужил сравнительно новый тип исследований, а именно анализ онлайнового поведения клиентов.
Рисунок – Цели внедрения технологий Big Data
(источник: IDC Vertical IT & Communications Survey, 2012, N 4177)
Согласно исследованию Gartner в 2013 году 64% организаций во всем мире инвестировали или планировали инвестировать в развертывание технологий Big Data в своих бизнес-процессах, 30% уже анализируют большие данные.
По мнению экспертов медиа-компании IDG Enterprise 70% крупных компаний уже используют или планируют внедрить технологии Big Data в 2014 г. В секторе малого и среднего бизнеса эта цифра составляет 56%.
Более оптимистичные прогнозы приведены в исследовании объема рынка Big Data, проведенном компанией Wikibon, в котором говорится, что в 2013 году рынок продуктов и услуг, связанных с Big Data, вырос на 58% в сравнении с 2012 году и достиг 18,6 млрд. долларов. При этом 40% доходов получены от предоставления услуг, 38% от продажи оборудования и 22% от реализации программного обеспечения.
Согласно прогнозу Wikibon объем рынка Big Data достигнет 28,5 млрд. долларов к концу 2014 г. и 50 млрд. долларов к концу 2017 г. Как видно из приведенных данных, оценка компании Wikibon в полтора раза превышает прогноз агентства IDC.
По мнению экспертов на увеличение объема рынка влияет рост доверия к решениям Big Data со стороны крупных компаний и организаций, зрелость продуктов и услуг, растущее число провайдеров и вендоров, предоставляющих услуги и продающих оборудование для анализа больших данных. В числе сдерживающих факторов отмечаются недостаток лучших практик по интеграции анализа больших данных в существующие бизнес-процессы, неоднозначность в вопросах безопасности и сохранности персональных данных, нехватка отлаженных и отработанных приложений, решающих конкретные бизнес-задачи.
Таким образом, проведенные исследования рынка Big Data показывают, что мировой спрос на технологии Big Data неуклонно растет, и они становятся одним из ключевых технологических направлений на российском и международном ИТ-рынке.
Из примеров реализации технологии Big Data в рамках современного ИТ-рынка наиболее часто упоминается проект Hadoop — по осуществлению распределенных вычислений для обработки больших объемов данных, который создается в рамках Apache Software Foundation. Коммерческую поддержку проекта осуществляет компания Cloudera. В проекте участвуют разработчики со всего мира. С технологической точки зрения Apache Hadoop — это свободный Java-фреймворк, поддерживающий выполнение распределенных приложений, работающих на больших кластерах, которые построены на стандартном оборудовании. Поскольку обработка данных организуется на кластере серверов, если один из них выходит из строя, работа перераспределяется между оставшимися. В Hadoop реализована технология MapReduce, которая обеспечивает автоматическое распараллеливание данных и их обработку на кластерах. Ядром Hadoop служит отказоустойчивая распределенная файловая система HDFS (Hadoop Distributed File System), оперирующая системами хранения. Она разбивает входящие данные на блоки, каждый из которых попадает на отведенное ему место в пуле серверов. Система позволяет приложениям масштабироваться до уровня тысяч узлов и петабайт данных.
Позднее на рынке появился целый ряд решений, в которых использовались принципы, реализованные в MapReduce. К ним можно отнести продукты компаний Teradata, Aster Data, Netezza, DATAllegro, Microsoft (SQL Server, Project Madison), Dataupia, Vertica (поглощена HP), ParAccel, Neoview, Greenplum, IBM (DB2, проект Database Partitioning Feature) и Oracle (проект Exadata).
Приведем далее список ИТ-компаний, являющихся ведущими игроками рынка Big Data. Среди приведенных компаний есть как производители специализированных ИТ-решений по Big Data, так и ИТ-компании, которые сталкиваются с феноменом больших данных в ходе собственной повседневной деятельности: 1010Data, Actian, Amazon, Cloudera, Dell, eBay, EMC, Facebook, Fujitsu, Google, Hitachi Data Systems Corporation, HortonWorks, HP, IBM, InfiniDB, InfoBright, Kognitio, LinkedIn, Map Technologies R, Microsoft, NetApp, Oracle, Pivotal, SAP, SAS, SGI (Silicon Graphics Inc), Teradata, VMware, Yahoo в соответствии с рисунком (см. Рисунок ).
Рисунок – Big Data-вендоры и технологии
(источник: Manuel Sevilla, Capgemeni, 2012)
Все компании на рисунке 8 помещены в отдельные категории, которые соотнесены с четырьмя этапами обработки и управления данными:
Сбор данных. Этап сбора данных предполагает процедуры ETL, часто в режиме реального времени, в связи с большим объемом и высокой скоростью потока данных. Поскольку данные, как правило, внешние, на этом этапе должны решаться вопросы обеспечения безопасности данных и определения степени доверия к ним. На этом же этапе выполняется проверка лицензионности данных и соблюдения прав на использование внешних данных.
Среди фирм, работающих в категории «Захват данных», отмечены такие технологические компании, как Ab Initio, HP, IBM (DataStage, Streams, Data Mirror), Informatica (PowerCenter, PowerExchange, CEP), Kalido, Microsoft, Numenta, Oracle, SAP, SAS, Splunk, Syncsort, Talend и Tibco.
На рисунке 8 категория «Инструментарий обработки сложных событий» (Complex Event Processing tools, CEP tools) распространяется не только на этап «Сбор», но и на последующие этапы — «Маршалинг» и «Аналитика». Инструментарий CEP позволяет производить обработку множества событий, происходящих на различных уровнях организации, с идентификацией наиболее существенных из них, анализом их влияния и принятием необходимых действий в режиме реального времени.
В категории «Поставщики данных», которая также относится к этапу «Сбор», отмечены такие игроки, как ComScore, Datasift, Experian, Factual, GfK, Gnip, IMS, Inrix, Kaggle, Knoema, LexisNexis, Microsoft, Nielsen, Reuters, Salesforce Radian6 и Symphony IRI.
В качестве отдельной категории поставщиков данных выделены сайты социальных сетей, такие как Facebook, Google, LinkedIn, Tumblr, Twitter и Viadeo. Здесь также нужно отметить всех других поставщиков открытых данных, например правительства и т.п.
Маршалинг данных. Все полученные данные должны быть отсортированы для удаления бесполезной информации и хранения в оптимальных форматах, исходя из применяемых решений (Hadoop, No-SQL, BI-приложения, In-memory).
На данном этапе в категории «VLDW и программно-аппаратные комплексы BI» упомянуты вендоры, предоставляющие большие хранилища данных и программно-аппаратные BI-комплексы для бизнес-аналитики (Actian, EMC2 (Greenplum), HP (Vertica), IBM (Netezza), Kognitio, Microsoft (SQL 2012 и PDW), Oracle (Exadata), ParAccel, SAP (HANA и Sybase IQ), SAS и Teradata.
В категории NoSQL основные игроки — это прежде всего Amazon (как «облачный» провайдер с собственными NoSQL-решениями), Cassandra, Cloudera (CDH, дистрибьюция Hadoop), CouchDB, EMC2, Google, Hadoop, Google, Hortonworks (Hadoop-дистрибьюция), HP, IBM, KX, MapR (Hadoop-дистрибьюция), Marklogic, Microsoft (Hadoop на базе Windows и Azure), MongoDB, Neo4J, Oracle, Palantir, Snaplogic, Sparsity, Splunk, Teradata (Aster Data) и ZL Technologies.
Необходимость использования технологий Big Data в системах управления контентом тоже связана с увеличением объема хранимых документов. На определенном этапе роста объема данных становится слишком дорого обеспечивать их хранение и осуществлять в них поиск, возникает потребность в применении технологий Big Data, чтобы классифицировать данные, выделяя наиболее ценные из них для последующего сохранения.
В категории «Управление контентом» отмечены такие компании, как Adobe, Alfresco, EMC2 (Documentum), IBM (FileNet), HP (Autonomy), Microsoft, OpenText и Oracle.
Аналитика. На данном этапе выделены собственно блок «Аналитика», блок «Виртуализация данных»; частично к этапу «Аналитика» относится также блок «BI-инструменты».
В блоке «Аналитика» собраны компании, которые предлагают решения в области глубинной и прогнозной аналитики. Здесь отмечены такие вендоры, как Adobe, EMC2, GoodData, Hadoop Map Reduce, HP, IBM (SPSS), Karmasphere, Kxen, Microsoft, Mzinga, Oracle, R, Salesforce, SAS, SAP (R on HANA) и Teradata (Aprimo).
На этапе «Аналитика» авторы схемы выделяют также блок «Виртуализация данных». Виртуализация данных — это процесс предоставления данных пользователям посредством интерфейса, абстрагирующего данные от технических аспектов их хранения (способ хранения, местоположение, структура, язык доступа). В разделе «Виртуализация данных» в качестве лидеров выделены такие компании, как Composite, Denodo, HP (IDOL), IBM, Informatica, Microsoft, Oracle (Exalytics), SAP и Teiid (JBoss community).
Как на стадии «Аналитика», так и на стадии «Действия» поставщиками BI-инструментов являются такие компании, как Actuate, Dassault Systemes (Exalead), Domo, Esri, GoodData, Google, HP (Autonomy), IBM (Cognos suite), Information Builders, LogiXML, Microsoft (SQL 2012), Microstrategy, NeutrinoBI, Oracle (OBI Foundation), Panopticon, Panorama, Pentaho, Qlikview, Roambi, SAP (BI4 suite), SAS, SpagoBI, Tableau и Tibco.
Действия. Обнаруженные на стадии аналитики важные зависимости и закономерности должны быть положены в основу принятия бизнес-решений, которые трансформируют их в прибыль за счет оптимизации расходов и т.п. На стадии «Действия» присутствуют все игроки, специализирующиеся в захвате данных, а также разработчики ERP-, CRMи BPM-систем, в том числе Adobe, Eloqua, EMC2, IBM, iGrafx, Microsoft, OpenText, Oracle, Pega, Progress Software, SAP, Salesforce, Software AG, Teradata (Aprimo) и Tibco.
Управление данными. Система не может функционировать без качественных данных и эффективного управления мастер-данными — бизнес-данными, которые служат основой для принятия бизнес-решений и используются всеми информационными системами компании. Управление мастер-данными заключается в сборе, агрегации, трансформации и объединении основных данных при обеспечении их качества и согласованности (исключаются повторяющиеся и противоречивые данные).
В блоке «Управление данными» (Data governance) выделены такие компании, как Adaptive, HP, IBM, Informatica, Kalido, Microsoft, Oracle, Orchestra Networks, SAP, SAS, Talend и Tibco.
Об интересе крупных вендоров к технологии Big Data свидетельствуют их приобретения последних лет. Так, в 2010 году IBM купила Netezza — производителя программно-аппаратных комплексов для BI-систем и аналитических хранилищ данных — приблизительно за 1,7 млрд долл. Сегодня IBM предлагает решение в области хранилищ данных семейства IBM Netezza, предназначенное специально для выполнения сложной аналитики на сверхбольших объемах данных. В 2010 году EMC приобрела компанию Greenplum Software, занимающуюся организацией информационных хранилищ. Фирма Greenplum разрабатывает программные средства баз данных для организации хранилищ данных и интеллектуальных ресурсов предприятий. У Greenplum есть несколько значительных инвесторов, в том числе Sun Microsystems и SAP Ventures. База клиентов компании включает Skype, Equifax и T-Mobile Fox Interactive Media.
Сегодня ЕМС позиционирует себя как производителя, обладающего полным стеком решений для построения «облачной» инфраструктуры для хранения и работы с «большими данными».
Стоит отметить, что указанные производители являются лидерами международного рынка в рамках исследований компании Gartner. Компания Gartner, являющаяся международной исследовательской и консалтинговой компанией, специализирующейся на рынке информационных технологий, проводит регулярные исследования рынков информационных технологий. Одним из таких исследований является исследование мирового рынка систем управления хранилищами данных и представление его результатов в виде магического квадранта, представленного в соответствии с рисунком (см. Рисунок ).
Рисунок – Магический квадрант провайдеров решений
в области систем управления хранилищами данных
(источник: Gartner, март 2014).
Магический квадрант Gartner представляет собой оценку производителей и их решений по следующим параметрам:
Способность к реализации (ability to execute) – сводный параметр, характеризующий простоту адаптации и модификации решения под нужды пользователей, насколько решение простое или запутанное, уровень достигнутой вертикализации, жизнеспособность компании-производителя, ценообразование, опыт внедрения.
Полнота видения (completeness of vision) – сводный параметр, характеризующий способность производителя понимать потребности заказчика, наличие торговой стратегии, продуктовой стратегии, охват индустрий, наличие инноваций в решении.
Таким образом, в квадрант «Лидеры» помещаются производители с положительными оценками, как по полноте видения, так и по способности к реализации.
|
