Какая компания прогнозирует рост объема данных

Big Data: перспективы развития, тренды и объемы рынка больших данных

Большие данные представляют собой массивы информации, характеризующиеся колоссальными объемами, стремительно растущей скоростью накопления, разнообразием их формата представления как в виде структурированной, так и неструктурированной информации. Big Data также включают в себя комплекс инновационных методов и способов хранения и обработки информации с целью автоматизации, оптимизации бизнес-процессов, обеспечения принятия наиболее эффективных решений на основе накопленной информации.

Таким образом, большие данные характеризуются тремя основными признаками:

большой объем информации,

высокая скорость изменения информации,

разнообразие и разнородность данных.

Ниже представлены ключевые элементы, составляющие аналитику больших данных.

Рис. 1. Ключевые элементы, составляющие аналитику больших данных

Структура и объем рынка больших данных

В 2018 году объем глобального рынка Big Data и бизнес-аналитики (global big data and business analytics market) достиг 168,8 млрд долл. В соответствии с оценкой IDC, по итогам 2019 года объем глобального рынка больших данных увеличился на 12%, по сравнению с показателями предыдущего года, и достиг 189,1 млрд долл. Кроме того, в период 2018-2022 гг. предполагается рост рынка со среднегодовым темпом (CAGR) на уровне 13,2%. Таким образом, объем рынка может увеличиться до 274,3 млрд долл. к 2022 году.

ResearchAndMarkets прогнозирует возможные темпы роста глобального рынка Big data на уровне 19,7% ежегодно на период 2019-2025 гг.

Рис. 2. Динамика роста рынка больших данных, млрд долл.

Источник: Global big data and business analytics revenue from 2015 to 2022: https://www.statista.com

В 2018 году выручка на рынке программного обеспечения больших данных составила 60,7 млрд долл. На конец 2019 года более половины выручки BDA обеспечили доходы, полученные от IT- и бизнес-сервисов – 77,5 млрд долл. и 20,7 млрд долл. соответственно. Размер выручки в сегменте аппаратного обеспечения составил около 23,7 млрд долл. Доход от программного обеспечения больших данных достиг 67,2 млрд долл. По данным IDC, ожидаемые темпы роста (CAGR) в период с 2018-2023 гг. в этом сегменте поднимутся до отметки в 12,5%.

Согласно исследованию Fortune Business Insights, объем глобального рынка технологий Big Datа, оцененный в 2018 году в 38,6 млрд долл., увеличится к 2026 году до 104,3 млрд долл., демонстрируя темпы роста (CAGR) на уровне 14% в период с 2019 по 2026 гг.

Рис. 3. Доля сегментов рынка в общем объеме выручки, %

Источник: Big Data Technology Market Size, Share, Demand & rowth: https://www.fortunebusinessinsights.com

По данным Grand View Research, к 2025 году глобальный рынок Big Data как услуги (global big data as a service (BDaaS)) достигнет 51,9 млрд долл., при этом CAGR составит 38,7% в период 2019-2025 гг.

География рынка Big Data

С географической точки зрения по результатам 2019 года наиболее крупным стал рынок США с объемом доходов в 100 млрд долл. Второе и третье место по объему заняли Япония (9,6 млрд долл.) и Великобритания (9,2 млрд долл). Также в пятерку крупнейших рынков вошли КНР (8,6 млрд долл.) и Германия (7,9 млрд долл.).

В Аргентине и Вьетнаме наблюдаются наиболее высокие показатели прироста за пятилетний период (CAGRs – 23,1% и 19,4%). Третье место по уровню CAGR занял Китай (19,2%), что к 2022 году может обеспечить выход этой страны на второе место по уровню доходов.

Рис. 4. Доля стран-лидеров в общем объеме рынка больших данных, %

Источник: 9 IDC Forecasts Revenues for Big Data and Business Analytics Solutions Will Reach $189.1 Billion This Year with Double-Digit Annual Growth Through 2022: https://www.idc.com

Драйверами рынка больших данных и бизнес-аналитики выступают 5 отраслей, на которые, по оценке IDC, приходится около половины инвестиций (91,4 млрд долл.):

При этом наибольший рост рынка в будущем обеспечат такие направления, как розничная торговля (15,2% CAGR), а также операции с ценными бумагами и инвестиционные услуги (15,3% CAGR).

Рис. 5. Инвестиции в технологии больших данных по отраслям, %

Источник: 9 IDC Forecasts Revenues for Big Data and Business Analytics Solutions Will Reach $189.1 Billion This Year with Double-Digit Annual Growth Through 2022: https://www.idc.com

Крупнейшие поставщики на рынке больших данных

Согласно отчету Wikibon (2018 Big Data and Analytics Market Share Report), в 2018 году (по данным 2017 года) в пятерку крупнейших поставщиков решений на рынке Big Data вошли такие компании, как IBM, Splunk, Dell, Oracle и AWS. И, по данным исследования Global Big Data Market Forecast 2019-2027, проведенного Inkwoodresearch, в 2019 году эти компании сохранили свои позиции в качестве лидеров рынка.

Российский рынок Big Data

Российский рынок пока занимает незначительную долю в мировом предложении и потреблении информационных технологий. Однако в 2018-2019 гг. было принято немало решений и реализовано достаточное количество законодательных инициатив, способствующих развитию отечественного рынка Big Data.

По результатам опроса, проведенного International Data Corporation (IDC) и Hitachi Vantara в ходе исследования «Аналитика больших данных как инструмент бизнес-инноваций», более 55% российских организаций выделяют бюджет на внедрение технологий больших данных (участие приняли более 100 компаний со штатом от 500 чел.).

По состоянию на конец 2019 год Boston Consulting Group оценивает объем российского рынка больших данных в 45 млрд руб. с темпом прироста 12% в течение последних пяти лет.

Крупнейшие российские игроки рынка больших данных

В Ассоциацию больших данных (АБД), образованную в 2018 году, входят организации, представляющие собой наиболее крупных участников российского рынка Big Data:

АО «Тинькофф Банк»,

АО «КИВИ Банк» (QIWI),

ООО «Единыйфактор» («oneFactor»),

В июле 2019 года было объявлено о присоединении к Ассоциации Аналитического центра при Правительстве РФ.

Объем российского рынка больших данных

Согласно данным, приведенным Ассоциацией участников рынка больших данных, объем рынка Big Data в России составляет 10-30 млрд руб. При этом, в соответствии с усредненными прогнозами отечественных и иностранных экспертов, предполагается рост этого показателя в 10 раз – до отметки 300 млрд руб. к 2024 году.

Основные потребители технологий Big Data в России

Сегодня лидерами по внедрению технологий в российских компаниях являются такие инструменты цифровизации, как роботизированная автоматизация бизнес-процессов, использование чат-ботов, инструментов анализа больших данных и предиктивной аналитики.

Технология анализа больших данных является наиболее часто внедряемой технологией среди российских компаний: 68% организаций на конец 2019 года уже опробовали внедрение инструментов анализа больших данных.

Рис. 6. Технологии, используемые среди российских компаний, %

Перечень инструментов, используемых для анализа больших данных, формируется в зависимости от отрасли компании.

Рис. 7. Индустрии использования больших данных в России, %

Сценарии развития рынка Big Data в России

В 2019 году участниками Ассоциации совместно с привлеченными внешними специалистами (в т.ч. Boston Consulting Group) была разработана стратегия развития рынка до 2024 года, включающая 5 возможных сценариев:

В соответствии с разными вариантами прогноза рынок больших данных может обеспечить от 0,3% до 2,4% прироста ВВП, а объемы отрасли могут увеличиться на сумму от 20 до 230 млрд руб., по сравнению с показателями 2019 года.

Таблица 1. Сценарии развития рынка больших данных в России

Исследования и идеи

2024 г. против 2019 г.

Отрасль БД в 2024 г. против 2019 г., млрд руб.

Активные ограничения на использование данных

Отсутствует адресная поддержка

Отсутствует адресная поддержка

Установленные регулятором ограничивающие прецеденты

Отсутствует адресная поддержка

Отсутствует адресная поддержка

1.Упрощенный доступ и обработка

3. R&D – «песочницы» для исследования БД

5.Стратегия БД традиционных индустрий

2.Обеспечение возможности обмена/обогащения данных

4.Финансирование инноваций и ресурсная экосистема

6.Внутренние стимулы для инновационных отраслей

Платформы для крупномасштабного обмена данными

Специализированные государственные инвестиционные программы

Финансовая поддержка экспорта

Источник: Российские сценарии для Big Data: https://rspectr.com

Реализация стратегии развития российского рынка Big Data

АБД будет продвигать 6 инициатив: 3 дадут умеренный эффект, остальные – более агрессивные по сложности имплементации и эффекту от БД.

Умеренный эффект:

1. Упрощенный доступ и обработка данных

Позволить пользователям одновременно и дистанционно давать согласие на несколько целей использования их данных;

Позволить компаниям обрабатывать персональные данные для широкого круга целей при соблюдении определенных требований;

Запустить массовую государственную цифровизацию в областях, релевантных для БД, с фокусом на стандартизацию данных.

3. R&D песочницы для исследования Больших Данных

• Определить законом контролируемую среду экспериментирования с ослабленным регулированием;
• Обеспечить вовлечение регуляторов для оптимизации одобрений при последующем крупномасштабном развертывании;
• Обеспечить «озера данных» со стандартизированными данными и технологические библиотеки.

5. Стратегии Больших Данных традиционных индустрий

• Создать стандарт для внедрения Больших Данных в компании с государственным участием;
• Ввести ориентированные на результат стимулы для компаний частного сектора;
• Создать проектный и технический кадровый резерв, чтобы помочь компаниям внедрять Большие Данные и обучать их команды.

Агрессивный эффект:

2. Обеспечение возможности обмена/обогащения данных

Позволить игрокам делиться анонимными персональными данными на коммерческой основе;

Поощрять обмен отраслевыми данными внутри и между отраслями через саморегулируемые стандарты;

Позволить государству делиться определенными типами релевантных данных с частным сектором.

4. Финансирование инноваций и ресурсная экосистема

Обеспечить инновационные команды выделенным доступом к «озерам данных» с труднодоступной отраслевой информацией;

Оптимизировать процессы бэк-офисного типа путем предоставления доступа к юристам, бухгалтерам и специалистам по патентам;

Внедрить инвестиционную платформу, соединяющую квалифицированных инвесторов с отобранными инициативами.

6. Внутренние стимулы для инновационных отраслей

Внедрить упрощенный процесс получения необходимых сертификатов и патентов для продуктов и услуг на основе Больших Данных;

Устранить выборочные барьеры для экспорта продуктов и сервисов, построенных на технологиях Больших Данных;

Провести кампании по повышению осведомленности об экспортном потенциале продуктов на технологиях Больших Данных.

Согласно базовому сценарию, в 2024 году в России эффект от внедрения продуктов и технологий больших данных увеличится на 1,2% как доля от ВВП.

Рис. 8. Базовый сценарий эффективности внедрения инструментов больших данных

Источник: Минэкономразвития РФ

Меры, направленные на реализацию стратегии, объединены в три основных блока:

повышение доступности данных,

проведение исследований в области больших данных (R&D),

Стратегия предусматривает создание R&D – «песочницы» для проведения экспериментов, внедрения мер по изменению законодательства, центра компетенций и др.

Согласно прогнозу IDC, к 2025 году общий объем цифровых данных, генерируемых во всем мире, вырастет более чем вчетверо – до 175 Зеттабайт с 40 Зеттабайт в 2020 году, в том числе благодаря растущему количеству IoT-устройств и датчиков. В соответствии с описанием главных атрибутов больших данных как «трех «V» (объем, многообразие, скорость), которое дает Gartner, эта нарастающая лавина данных будет все больше характеризоваться разнообразием типов информации, причем большая часть будет представлять собой постоянно меняющиеся потоки данных в реальном времени. Как результат, задача управления данными и их анализа значительно затрудняется. И это обусловливает многие из трендов, которые, по всей видимости, будут преобладать в ближайшие три года.

Ключевые технологические тренды Big Data

Gartner отмечает следующие 11 технологических трендов в области данных и аналитики, которые потенциально окажут значительное влияние на дальнейшее развитие рынка в течение последующих 3-5 лет:

Какая компания прогнозирует рост объема данных

Общемировой объём данных превысит 160 зеттабайт к 2025 году

Компании Seagate и IDC обнародовали доклад «Эпоха данных — 2025» (The Data Age 2025), в котором рассматриваются тенденции развития мирового рынка данных.

Отмечается, что в ближайшем будущем глобальный объём данных продолжит расти — очень быстро и в то же время довольно неожиданным образом. По прогнозам экспертов, к 2025 году общий объём информации в мире достигнет 163 зеттабайт (Збайт, равен 10 21 байт). Это будет соответствовать примерно десятикратному росту по сравнению с 2016-м.

Создание данных становится всё более автоматизированным и подвергается постоянному анализу, а полученная информация в режиме реального времени доставляется в пограничные сегменты сети. В результате растёт доля данных, производимых бизнес-сектором: сейчас она уже начинает превышать потребительскую долю. При этом всё больше данных, независимо от происхождения, хранится на коммерческих серверах.

К 2025 году, согласно докладу, 60 % информации в мире будут генерировать коммерческие предприятия. Благодаря огромному количеству данных у их руководителей появится множество полезных возможностей для роста и расширения бизнеса. Однако организациям придётся решать, какие из данных сохранять и каким образом ими управлять.

Согласно прогнозам экспертов, к 2025 году почти 20 % всей информации в глобальной инфосфере будут играть критически важную роль в повседневной жизни, а примерно 10 % этих данных будут «сверхкритичными».

К середине следующего десятилетия среднестатистический житель Земли будет взаимодействовать с подключенными к Сети устройствами примерно 4800 раз в день — по одной процедуре контакта каждые 18 секунд.

К 2025 году почти 20 % генерируемых данных будут представлять собой информацию, получаемую в режиме реального времени, причём более 95 % составят данные, поступающие от устройств Интернета вещей.

В то же время огромные объёмы данных, их разнообразие и критически важная роль станут для предприятий и потребителей источником новых сложностей. Не все данные одинаково важны, а без контекста они и вовсе бесполезны. В этот период перемен лидерство будет принадлежать организациям, которые сумеют определить наиболее критичные подгруппы информации с максимальным влиянием на нужную сферу деятельности и сосредоточатся именно на них.

Аналитический обзор рынка Big Data

Большие Данные, на сегодняшний момент, являются одним из ключевых драйверов развития информационных технологий. Это направление, относительно новое для российского бизнеса, получило широкое распространение в западных странах. Связано это с тем, что в эпоху информационных технологий, особенно после бума социальных сетей, по каждому пользователю интернета стало накапливаться значительное количество информации, что в конечном счете дало развитие направлению Big Data.

Термин «Большие Данные» вызывает множество споров, многие полагают, что он означает лишь объем накопленной информации, но не стоит забывать и о технической стороне, данное направление включает в себя технологии хранения, вычисления, а также сервисные услуги.

Следует отметить, что к данной сфере относится обработка именно большого объема информации, который затруднительно обрабатывать традиционными способами*.

Ниже представлена сравнительная таблица традиционной и базы Больших Данных.

Сфера Больших Данных характеризуется следующими признаками:
Volume – объем, накопленная база данных представляет собой большой объем информации, который трудоемко обрабатывать и хранить традиционными способами, для них требуются новый подход и усовершенствованные инструменты.
Velocity – скорость, данный признак указывает как на увеличивающуюся скорость накопления данных (90% информации было собрано за последние 2 года), так и на скорость обработки данных, в последнее время стали более востребованы технологии обработки данных в реальном времени.
Variety – многообразие, т.е. возможность одновременной обработки структурированной и неструктурированной разноформатной информации. Главное отличие структурированной информации – это то, что она может быть классифицирована. Примером такой информации может служить информация о клиентских транзакциях.
Неструктурированная информация включает в себя видео, аудио файлы, свободный текст, информацию, поступающую из социальных сетей. На сегодняшний день 80% информации входит в группу неструктурированной. Данная информация нуждается в комплексном анализе, чтобы сделать ее полезной для дальнейшей обработки.
Veracity – достоверность данных, все большее значение пользователи стали придавать значимость достоверности имеющихся данных. Так, у интернет-компаний есть проблема по разделению действий, проводимых роботом и человеком на сайте компании, что приводит в конечном счете к затруднению анализа данных.
Value – ценность накопленной информации. Большие Данные должны быть полезны компании и приносить определенную ценность для нее. К примеру, помогать в усовершенствовании бизнес-процессов, составлении отчетности или оптимизации расходов.

При соблюдении указанных выше 5 условий, накопленные объемы данных можно относить к числу больших.

Сферы применения Больших Данных

Сфера использования технологий Больших Данных обширна. Так, с помощью Больших Данных можно узнать о предпочтениях клиентов, об эффективности маркетинговых кампаний или провести анализ рисков. Ниже представлены результаты опроса IBM Institute, о направлениях использования Big Data в компаниях.

Как видно из диаграммы, большинство компаний используют Большие Данные в сфере клиентского сервиса, второе по популярности направление – операционная эффективность, в сфере управления рисками Большие Данные менее распространены на текущий момент.

Следует также отметить, что Big Data являются одной из самых быстрорастущих сфер информационных технологий, согласно статистике, общий объем получаемых и хранимых данных удваивается каждые 1,2 года.
За период с 2012 по 2014 год количество данных, ежемесячно передаваемых мобильными сетями, выросло на 81%. По оценкам Cisco, в 2014 году объем мобильного трафика составил 2,5 эксабайта (единица измерения количества информации, равная 10^18 стандартным байтам) в месяц, а уже в 2019 году он будет равен 24,3 эксабайтам.
Таким образом, Большие Данные – это уже устоявшаяся сфера технологий, даже несмотря на относительно молодой ее возраст, получившая распространение во многих сферах бизнеса и играющая немаловажную роль в развитии компаний.

Технологии Больших Данных

• Программное обеспечение;
• Оборудование;
• Сервисные услуги.

К наиболее распространенным подходам обработки данных (ПО) относятся:
SQL – язык структурированных запросов, позволяющий работать с базами данных. С помощью SQL можно создавать и модифицировать данные, а управлением массива данных занимается соответствующая система управления базами данных.
NoSQL – термин расшифровывается как Not Only SQL (не только SQL). Включает в себя ряд подходов, направленных на реализацию базы данных, имеющих отличия от моделей, используемых в традиционных, реляционных СУБД. Их удобно использовать при постоянно меняющейся структуре данных. Например, для сбора и хранения информации в социальных сетях.
MapReduce – модель распределения вычислений. Используется для параллельных вычислений над очень большими наборами данных (петабайты* и более). В программном интерфейсе не данные передаются на обработку программе, а программа – данным. Таким образом запрос представляет собой отдельную программу. Принцип работы заключается в последовательной обработке данных двумя методами Map и Reduce. Map выбирает предварительные данные, Reduce агрегирует их.
Hadoop – используется для реализации поисковых и контекстных механизмов высоконагруженных сайтов – Facebook, eBay, Amazon и др. Отличительной особенностью является то, что система защищена от выхода из строя любого из узлов кластера, так как каждый блок имеет, как минимум, одну копию данных на другом узле.
SAP HANA – высокопроизводительная NewSQL платформа для хранения и обработки данных. Обеспечивает высокую скорость обработки запросов. Еще одним отличительным признаком является то, что SAP HANA упрощает системный ландшафт, уменьшая затраты на поддержку аналитических систем.

• серверы;
• инфраструктурное оборудование.

Сервисные услуги.
Сервисные услуги включают в себя услуги по построению архитектуры системы базы данных, обустройству и оптимизации инфраструктуры и обеспечению безопасности хранения данных.

Программное обеспечение, оборудование, а также сервисные услуги вместе образуют комплексные платформы для хранения и анализа данных. Такие компании, как Microsoft, HP, EMC предлагают услуги по разработке, развертыванию решений Больших Данных и управления ими.

Применение в отраслях

Большие Данные получили широкое распространение во многих отраслях бизнеса. Их используют в здравоохранении, телекоммуникациях, торговле, логистике, в финансовых компаниях, а также в государственном управлении.
Ниже представлено несколько примеров применения Больших Данных в некоторых из отраслей.

Розничная торговля
В базах данных розничных магазинов может быть накоплено множество информации о клиентах, системе управления запасами, поставками товарной продукции. Данная информация может быть полезна во всех сферах деятельности магазинов.

Так, с помощью накопленной информации можно управлять поставками товара, его хранением и продажей. На основании накопленной информации можно прогнозировать спрос и поставки товара. Также система обработки и анализа данных может решить и другие проблемы ритейлера, например, оптимизировать затраты или подготовить отчетность.

Финансовые услуги
Большие Данные дают возможность проанализировать кредитоспособность заемщика, также они полезны для кредитного скоринга* и андеррайтинга**. Внедрение технологий Больших Данных позволит сократить время рассмотрения кредитных заявок. С помощью Больших Данных можно проанализировать операции конкретного клиента и предложить подходящие именно ему банковские услуги.

Телеком
В телекоммуникационной отрасли широкое распространение Большие Данных получили у сотовых операторов.
Операторы сотовой связи наравне с финансовыми организациями имеют одни из самых объемных баз данных, что позволяет им проводить наиболее глубокий анализ накопленной информации.
Главной целью анализа данных является удержание существующих клиентов и привлечение новых. Для этого компании проводят сегментацию клиентов, анализируют их трафики, определяют социальную принадлежность абонента.

Помимо использования Big Data в маркетинговых целях, технологии применяются для предотвращения мошеннических финансовых операций.

Горнодобывающая и нефтяная промышленности
Большие Данные используются как при добыче полезных ископаемых, так и при их переработке и сбыте. Предприятия могут на основании поступившей информации делать выводы об эффективности разработки месторождения, отслеживать график капитального ремонта и состояния оборудования, прогнозировать спрос на продукцию и цены.

По данным опроса Tech Pro Research, наибольшее распространение Большие Данные получили в телекоммуникационной отрасли, а также в инжиниринге, ИТ, в финансовых и государственных предприятиях. По результатам данного опроса, менее популярны Большие Данные в образовании и здравоохранении. Результаты опроса представлены ниже:

Примеры использования Big Data в компаниях

На сегодняшний день Big Data активно внедряются в зарубежных компаниях. Такие компании, как Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks и Netflix уже используют ресурсы Больших Данных.

Сферы применения обработанной информации разнообразны и варьируются в зависимости от отрасли и задач, которые необходимо выполнить.
Далее будут представлены примеры применения технологий Больших Данных на практике.

HSBC использует технологии Больших Данных для противодействия мошеннических операций с пластиковыми картами. С помощью Big Data компания увеличила эффективность службы безопасности в 3 раза, распознавание мошеннических инцидентов – в 10 раз. Экономический эффект от внедрения данных технологий превысил 10 млн долл. США.

Антифрод* VISA позволяет в автоматическом режиме вычислить операции мошеннического характера, система на данный момент помогает предотвратить мошеннические платежи на сумму 2 млрд долл. США ежегодно.

Суперкомпьютер Watson компании IBM анализирует в реальном времени поток данных по денежным транзакциям. По данным IBM, Watson на 15% увеличил количество выявленных мошеннических операций, на 50% сократил ложные срабатывания системы и на 60% увеличил сумму денежных средств, защищенных от транзакций такого характера.

Procter & Gamble с помощью Больших Данных проектируют новые продукты и составляют глобальные маркетинговые кампании. P&G создал специализированные офисы Business Spheres, где можно просматривать информацию в реальном времени.
Таким образом, у менеджмента компании появилась возможность мгновенно проверять гипотезы и проводить эксперименты. P&G считают, что Большие Данные помогают в прогнозировании деятельности компании.

Ритейлер офисных принадлежностей OfficeMax с помощью технологий Больших Данных анализируют поведение клиентов. Анализ Big Data позволил увеличить B2B выручку на 13%, уменьшить затраты на 400 000 долларов США в год.

По мнению Caterpillar, ее дистрибьюторы ежегодно упускают от 9 до 18 млрд долл. США прибыли только из-за того, что не внедряют технологии обработки Больших Данных. Big Data позволили бы клиентам более эффективно управлять парком машин, за счет анализа информации, поступающей с датчиков, установленных на машинах.

На сегодняшний день уже есть возможность анализировать состояние ключевых узлов, их степени износа, управлять затратами на топливо и техническое обслуживание.

Luxottica group является производителем спортивных очков, таким марок, как Ray-Ban, Persol и Oakley. Технологии Больших Данных компания применяет для анализа поведения потенциальных клиентов и «умного» смс-маркетинга. В результате Big Data Luxottica group выделила более 100 миллионов наиболее ценных клиентов и повысила эффективность маркетинговой кампании на 10%.

С помощью Yandex Data Factory разработчики игры World of Tanks анализируют поведение игроков. Технологии Больших Данных позволили проанализировать поведение 100 тысяч игроков World of Tanks с использованием более 100 параметров (информация о покупках, играх, опыт и др.). В результате анализа был получен прогноз оттока пользователей. Данная информация позволяет уменьшить уход пользователей и работать с участниками игры адресно. Разработанная модель оказалась на 20-30% эффективнее стандартных инструментов анализа игровой индустрии.

Министерство труда Германии использует Большие Данные в работе, связанной с анализом поступающих заявок на выдачу пособий по безработице. Так, проанализировав информацию, стало понятно, что 20% пособий выплачивалось незаслуженно. С помощью Big Data министерство труда сократило расходы на 10 млрд евро.

Детская больница Торонто внедрила проект Project Artemis. Это информационная система, которая собирает и анализирует данные по младенцам в реальном времени. Система ежесекундно отслеживает 1260 показателей состояния каждого ребенка. Project Artemis позволяет прогнозировать нестабильное состояние ребенка и начать профилактику заболеваний у детей.

ОБЗОР МИРОВОГО РЫНКА БОЛЬШИХ ДАННЫХ

Текущее состояние мирового рынка

В 2014 г. Большие Данные, по мнению Data Collective, стали одними из приоритетных направлений инвестирования в сфере венчурной индустрии. Согласно данным информационного портала Компьютерра, связано это с тем, что разработки из данного направления начали приносить значительные результаты для их пользователей. За прошедший год количество компаний с реализованными проектами в сфере управления большими данными увеличилось на 125%, объем рынка вырос на 45% по сравнению с 2013 годом.

Большую часть выручки рынка Big Data, по мнению Wikibon, в 2014 году составили сервисные услуги, их доля была равно 40% в общем объеме выручки (см. диаграмму ниже):

Если рассматривать Big Data за 2014 год по подтипам, то рынок будет выглядеть следующим образом:

Согласно данным Wikibon, приложения и аналитика составляет 36% выручки Big Data в 2014 году принесли приложения и аналитика Больших Данных, 17% — вычислительное оборудование и 15% — технологии хранения данных. Меньше всего выручки было сгенерировано NoSQL технологиями, инфраструктурным оборудованием и обеспечением сетью компаний (корпоративные сети).

Наибольшей популярностью пользуются такие технологии Big Data, как in-memory платформы компаний SAP, HANA, Oracle и др. Результаты опроса T-Systems показали, что их выбрали 30% опрошенных компаний. Вторыми по популярности стали NoSQL платформы (18% пользователей), также компании использовали аналитические платформы компаний Splunk и Dell, их выбрало 15% компаний. Наименее полезными для решения проблем Больших Данных, по результатам опроса оказались продукты Hadoop/MapReduce.

По данным опроса Accenture, в более чем 50% компаниях, использующих технологии Больших Данных, затраты на Big Data составляют от 21% до 30%.
Согласно следующими анализу Accenture, 76% компаний, считают, что данные расходы увеличатся в 2015 году, а 24% компаний не изменят своего бюджета на технологии Больших Данных. Это говорит о том, что в данных компаниях Big Data стали уже устоявшимся направлением ИТ, ставшим неотъемлемой частью развития компании.

Результаты опроса Economist Intelligence Unit survey подтверждают положительный эффект от внедрения Big Data. 46% компаний заявляют, что с помощью технологий Больших Данных они улучшили клиентский сервис более, чем на 10%, 33% компаний оптимизировали запасы и улучшили продуктивность основных активов, 32% компаний улучшили процессы планирования.

Большие Данные в разных странах мира

На сегодняшний день технологии Больших Данных чаще всего внедряются в компаниях США, но уже сейчас и другие страны мира начали проявлять интерес. В 2014 году, по данным IDC, на страны Европы, Ближнего Востока, Азии (за исключением Японии) и Африки пришлось 45% рынка ПО, услуг и оборудования в сфере Big Data.

Также, согласно опросу CIO, компании из стран Азиатско-Тихоокеанского региона быстрыми темпами осваивают новые решения в области анализа Больших Данных, безопасного хранения и облачных технологий. Латинская Америка находится на втором месте по количеству инвестиций в развитие технологий Больших Данных, опережая страны Европы и США.
Далее будет представлено описание и прогнозы развития рынка Больших Данных нескольких стран.

Китай
Объем информации Китая составляет 909 эксабайт, что равно 10% общего объема информации в мире, к 2020 году объем информации достигнет 8060 эксабайт, увеличится и доля информации в общемировой статистике, через 5 лет она будет равна 18%. Потенциальный рост Big Data Китая имеет одну из самых быстрорастущих динамик.

Бразилия
Бразилия по итогам 2014 года накопила информации на 212 эксабайт, что составляет 3% от общемирового объема. К 2020 году объем информации вырастет до 1600 эксабайт, что составит 4% информации всего мира.

Индия
По данным EMC, объем накопленных данных Индии по итогам 2014 года составляет 326 эксабайт, что составляет 5% от общего объема информации. К 2020 году объем информации вырастет до 2800 эксабайт, что составит 6% информации всего мира.

Япония
Объем накопленных данных Японии по итогам 2014 года составляет 495 эксабайт, что составляет 8% от общего объема информации. К 2020 году объем информации вырастет до 2200 эксабайт, но уменьшится доля рынка Японии и составит 5% об общего объема информации всего мира.
Таким образом, объем рынка Японии уменьшится на более, чем 30%.

Германия
По данным EMC, объем накопленных данных в Германии по итогам 2014 года составляет 230 эксабайт, что составляет 4% от общего объема информации в мире. К 2020 году объем информации вырастет до 1100 эксабайт и составит 2%.
На рынке Германии большую долю выручки, по прогнозам Experton Group, будет генерировать сегмент сервисных услуг, доля которых в 2015 году составит 54%, а в 2019 году увеличится до 59%, доли программного обеспечения и оборудования, наоборот, уменьшатся.

В целом, объем рынка вырастет с 1, 345 млрд евро в 2015 году до 3,198 млрд евро в 2019 году, средний темп роста составит 24%.
Таким образом, на основании аналитики CIO и EMC, можно сделать вывод о том, что развивающиеся страны мира в ближайшие годы станут рынками активного развития технологий Больших Данных.

Основные тенденции рынка

По мнению IDG Enterprise, в 2015 расходы компаний на сферу Больших Данных составят в среднем 7,4 млн долл. США на компанию, крупные компании намерены потратить примерно 13,8 млн долл. США, малые и средние – 1,6 млн долл. США.
Больше всего будет инвестировано в такие области, как анализ и визуализация данных и их сбор.
Согласно текущим тенденциям и спросу на рынке, инвестиции в 2015 году будут использованы на улучшение качества данных, совершенствование планирования и прогнозирования, а также на увеличение скорости обработки данных.
Компаниями финансового сектора, по данным Bain Company’s Insights Analysis, будут произведены значительные инвестиции, так в 2015 году планируется потратить 6,4 млрд долл. США на технологии Big Data, средний темп роста инвестиций составит 22% до 2020 года. Интернет-компании планируют потратить 2,8 млрд долл. США, средний темп роста увеличения затрат на Большие Данные составит 26%.
При проведении опроса Economist Intelligence Unit survey, были выявлены приоритетные направления развития Big Data в 2014 году и в ближайшие 3 года, распределение ответов выглядит следующим образом:

• В следующие 5 лет затраты на облачные решения в сфере технологий Больших Данных будут расти в 3 раза быстрее, чем затраты на локальные решения. Станут востребованными гибридные платформы для хранения данных.
• Рост приложений с использованием сложной и прогнозной аналитики, включая машинное обучение, ускорится в 2015 году, рынок таких приложений будет расти на 65% быстрее, чем приложения, не использующие прогнозную аналитику.
• Медиа аналитика утроится в 2015 году и станет ключевым драйвером роста рынка технологий Больших Данных.
• Ускорится тенденция внедрения решений для анализа постоянного потока информации, которая применима для интернета вещей.
• К 2018 году 50% пользователей будут взаимодействовать с сервисами, основанными на когнитивном вычислении.

Драйверы и ограничители рынка

• Массовые поглощения клиентской базы компаний, предлагающих мобильные приложения и другие дата-платформы;
• Развитие облачной инфраструктуры;
• Изменения в законах о конфиденциальности данных.
• Кроме этого также стоит выделить:
• Повышенный интерес на обработку медиа-материалов, относящимися ранее к неструктурированной информации;
• Рост популярности обучающих курсов в сфере Big Data;
• Инвестиции в визуализацию данных и активное storytelling аналитиками данных;
• Постоянные инвестиции в Big Data веб-гигантами, такими как Google, Amazon, Facebook и др.
• Среди ограничителей рынка Big Data выделяют:
• Все еще высокая стоимость внедрения технологий Big Data;
• Необходимость обеспечение защиты данных и их конфиденциальности;
• Нехватка квалифицированных кадров;
• Недоверие компаний к данным технологиям;
• Недостаточный объем накопленной информации;
• Поддержка базы данных требует постоянного финансирования, что создает дополнительный барьер на внедрение Big Data;
• Сложность интеграции с существующими системами;
• Ограниченное число поставщиков данных.

Wikibon прогнозирует, что объем рынка Big Data вырастет в 2015 году до 38,4 млрд долл. США и увеличится по сравнению с предыдущим годом на 36%. В ближайшие годы будет наблюдаться спад темпов роста до 10% в 2017 году. С учетом данных прогнозов, объем рынка в 2020 году будет равен 68,7 млрд долл. США.

Распределение общемирового рынка Больших Данных по бизнес-категориям будет выглядеть следующим образом:

Как видно из диаграммы, большую часть рынка будет занимать технологии из сферы улучшения клиентского сервиса. Точечный маркетинг будет на втором месте по приоритетности у компаний вплоть до 2019 года, в 2020 году, по прогнозу Heavy Reading, он уступит место решениям по улучшению операционной эффективности.
Самый высокий темп роста также будет у сегмента «улучшение клиентского сервиса», прирост — 49% ежегодно.
Прогноз рынка по подтипам Big Data будет выглядеть следующим образом:

• Финансовая отрасль будет осуществлять затраты на Big Data в размере 6,4 млрд долл. США со средним темпом роста 22% в год;
• Интернет-компании потратят 2,8 млрд долл. США и средний темп роста затрат составит 26% за следующие 5 лет;
• Затраты госсектора будут соразмерны затратам интернет-компаний, но темп роста будет ниже – 22%;
• Сектор телекоммуникаций будет расти со средним темпом роста 40% и достигнет 1,2 млрд долл. США в 2020 году;

Энергетические компании будут инвестировать в данные технологии сравнительно небольшую сумму — 800 млн долл. США, но темп роста будет одним из самых высоких – 54% ежегодно.
Таким образом, большую долю рынка Big Data в 2020 году займут компании финансовой отрасли, а самым быстрорастущим сектором будет энергетика.
Следуя прогнозам аналитиков, общий объем рынка в ближайшие годы будет увеличиваться. Рост рынка будет обеспечен за счет внедрения технологий Больших Данных в развивающихся странах мира, как видно из представленного ниже графика.

Прогнозируемый объем рынка будет зависеть от того, как развивающиеся страны воспримут технологии Больших Данных, будет ли они также популярны как в развитых странах. В 2014 году развивающиеся страны мира занимали 40% от объема накопленной информации. По прогнозу EMC, нынешняя структура рынка, с преобладанием развитых стран, изменится уже в 2017 году. Согласно аналитике EMC, в 2020 году доля развивающихся стран будет более 60%.
По мнению Cisco и EMC, развивающиеся страны мира будут достаточно активно работать с Big Data, во многом это будет связано с доступностью технологий и накоплением достаточного объема информации до уровня Big Data. На карте мира, представленной на следующей странице, будет показан прогноз увеличения объема и темп роста Больших Данных по регионам.

АНАЛИЗ РОССИЙСКОГО РЫНКА

Текущее состояние российского рынка

• Sap
• Oracle
• IBM
• EMC
• Microsoft
• IBS
• Cloudera
• Hortonworks
• Teradata.

Обзор рынка по отраслям и опыт применения Больших Данных в компаниях

По данным CNews, в России лишь 10% компаний начали использовать технологии Больших Данных, когда в мире доля таких компаний составляет порядка 30%. Готовность к проектам Big Data растет во многих отраслях экономики России — свидетельствует отчет СNews Analytics и Oracle. Более трети опрошенных компаний (37%) приступили к работе с технологиями Big Data, среди которых 20% уже используют такие решения, а 17% начинают экспериментировать с ними. Вторая треть респондентов в настоящий момент рассматривают такую возможность.

В России большей популярностью технологии Больших Данных пользуются в банковской сфере и телекоме, но они также востребованы в сфере добывающей промышленности, энергетике, ритейле, в логистических компаниях и госсекторе.
Далее будут рассмотрены примеры применения Больших Данных в российских реалиях.

Телеком
Телеком-операторы имеют одни из самых объемных баз данных, что позволяет им проводить наиболее глубокий анализ накопленной информации.
Одной из сфер применения технологии Больших Данных является управление лояльностью абонентов.
Главной целью анализа данных является удержание существующих клиентов и привлечение новых. Для этого компании проводят сегментацию клиентов, анализируют их трафики, определяют социальную принадлежность абонента. Помимо использования информации в маркетинговых целях, в телекоме технологии применяются для предотвращения мошеннических финансовых операций.
Одним из ярких примеров данной отрасли является Вымпелком. Компания применяет Большие Данные для повышения качества обслуживания на уровне каждого абонента, составления отчетности, анализа данных для развития сети, борьбы со спамом и персонализации услуг.

Банки
Значительную долю пользователей Big Data занимают специалисты из финансовой отрасли. Одним из успешных опытов был проведен в Уральском банке реконструкции и развития, где информационную базу стали использовать для анализа клиентов, банк начал предлагать специализированные кредитные предложения, вклады и другие услуги. За год использования данных технологий розничный кредитный портфель компании вырос на 55%.
В Альфа-Банке анализируют информацию из социальных сетей, обрабатывают заявки на получение кредита, анализируют поведение пользователей сайта компании.
Сбербанк также приступил к обработке массива данных с целью сегментации клиентов, предотвращения мошеннических действий, перекрестных продаж и управления рисками. В дальнейшем планируется усовершенствовать сервис и анализировать действия клиентов в режиме реального времени.
Всероссийский банк развития регионов анализирует поведение владельцев пластиковых карт. Это позволяет выявить нетипичные для конкретного клиента операции, тем самым повышается вероятность выявления воровства денежных средств с пластиковых карточек.

Розничная торговля
В России технологии Больших Данных были внедрены компаниями как онлайн, так и офлайн торговли. На сегодняшний день, по данным CNews Analytics, Big Data используют 20% ритейлеров. 75% специалистов розничной торговли считают Большие Данные необходимыми для развития конкурентоспособной стратегии продвижения компании. По статистике Hadoop после внедрения технологии Больших Данных прибыль в торговых организациях вырастает на 7-10%.
Специалисты М.Видео говорят об улучшении логистического планирования после внедрения SAP HANA, также, в результате ее внедрения, подготовка годовой отчетности сократилась с 10 дней до 3, скорость ежедневной загрузки данных сократилась с 3 часов до 30 минут.
Wikimart используют данные технологии для формирования рекомендаций посетителям сайта.
Одним из первых офлайн-магазинов внедривших анализ Больших Данных в России, была «Лента». С помощью Big Data ритейл стал изучать информацию о покупателях из кассовых чеков. Ритейлер собирает информацию для составления поведенческих моделей, что дает возможность более обоснованно принимать решения на уровне операционной и коммерческой деятельности.

Нефтегазовая отрасль
В данной отрасли сфера применения Больших Данных достаточно широка. Технологии Больших Данных могут быть применены при добычи полезных ископаемых из недр. С их помощью можно анализировать сам процесс добычи и наиболее эффективные способы его извлечения, отслеживать процесс бурения, анализ качества сырья, а также обработку и сбыт конечной продукции. В России данными технологиями стали уже пользоваться Транснефть и Роснефть.

Государственные органы
В таких странах, как Германия, Австралия, Испания, Япония, Бразилия и Пакистан технологии Больших Данных используются для решения вопросов национального масштаба. Данные технологии помогают органам государственной власти более эффективно предоставлять услуги населению, оказывать адресную социальную поддержку.
В России данные технологии стали осваивать такие государственные органы, как Пенсионный Фонд, Федеральная Налоговая Служба и Фонда обязательного медицинского страхования. Потенциал реализации проектов с использованием Big Data большой, данные технологии могли бы помочь в улучшении качества сервисов, и, как следствие, уровня жизни населения.

Логистика и транспорт
Big Data также могут быть использованы транспортными компаниями. С помощью технологий Больших Данных можно отслеживать парк автомобилей, учитывать расходы на топливо, проводить мониторинг заявок клиентов.
РЖД внедрили технологии Big Data совместно с компанией SAP. Данные технологии помогли сократить срок подготовки отчетности в 43,5 раза (с 14,5 часов до 20 минут), повысить точность распределения затрат в 40 раз. Также Big Data были внедрены в процессы планирования и тарифного регулирования. Всего компаний используется более 300 систем на базе решений SAP, задействовано 4 дата-центра, а количество пользователей составило 220 000.

Далее будет приведен список технологий используемых крупными российскими компаниями, с указанием функционала, который используется на данных предприятиях.

Основные драйверы и ограничители рынка

• Повышенный интерес со стороны пользователей к возможностям Больших Данных, как к способу увеличения конкурентоспособности компании;
• Развитие методов обработки медиа-файлов на общемировом уровне;
• Перенос серверов, обрабатывающих персональную информацию на территорию России, согласно принятому закону о хранении и обработке персональных данных;
• Осуществление отраслевого плана по импортозамещению программного обеспечения. Данный план включает в себя государственную поддержку отечественных производителей ПО, а также предоставление преференций отечественной ИТ-продукции при осуществлении закупок за государственный счет.
• В новой экономической ситуации, когда курс доллара вырос практически в 2 раза, будет наблюдаться тренд по все большему использованию услуг российских провайдеров облачных услуг, нежели зарубежных.
• Создание технопарков, способствующих развитию рынка информационных технологий, в том числе рынка Больших Данных;
• Государственная программа по внедрению грид-систем, основой которым служат технологии Больших Данных.

• Обеспечение безопасности и конфиденциальности данных;
• Нехватка квалифицированных кадров;
• Недостаточность накопленных информационных ресурсов до уровня Big Data в большинстве российских компаний;
• Сложности внедрения новых технологий в устоявшиеся информационные системы компаний;
• Высокая стоимость технологий Больших Данных, что приводит к ограниченному кругу предприятий, имеющих возможность внедрить данные технологии;
• Политическая и экономическая неопределенность, приведшая к оттоку капитала и заморозке инвестиционных проектов на территории России;
• Рост цен на импортную продукцию и всплеск инфляции, по мнению IDC, тормозят развитие всего рынка ИТ.

Прогноз российского рынка

По состоянию на сегодняшний день, российский рынок Больших Данных не настолько популярен как в развитых странах. Большинство российских компаний проявляют интерес к нему, но воспользоваться их возможностями не решаются.
Примеры крупных компаний, которые уже извлекли выгоду от использования технологий Больших Данных, расширяют осознание возможностей данных технологий.
У аналитиков также достаточно оптимистичные прогнозы относительно российского рынка. IDC считает, что доля российского рынка за следующие 5 лет увеличится, в отличии от рынка Германии и Японии.
К 2020 году объем Big Data России вырастет с нынешних 1,8% до 2,2% от общемирового объема данных. Количество информации вырастет, по данным EMC, с нынешних 155 эксабайт до 980 эксабайт в 2020 году.
В настоящий момент в России продолжается накопление объема информации до уровня Больших Данных.
Согласно опросу CNews Analytics, 44% опрошенных компаний работают с данными не более 100 терабайт* и лишь 13% работают с объемами выше 500 терабайт.

Тем не менее российский рынок, следуя мировым тенденциям, будет увеличиваться. По состоянию на 2014 год объем рынка компания IDC оценивает в 340 млн долл. США.
Темп роста рынка за предыдущие годы составлял 50% в год, если он останется на прежнем уровне, то уже в 2018 году объем рынка достигнет 1,7 млрд долл. США. Доля российского рынка в мировом составит около 3%, увеличившись с нынешних 1,2%.

• Ритейл и банки, для них прежде всего важен анализ клиентской базы, оценка эффекта маркетинговых кампаний;
• Телеком – сегментация клиентской базы и монетизация трафика;
• Госсектор – ведение отчетности, анализ заявок от населения и др.;
• Нефтяные компании – мониторинг работ и планирование добычи и сбыта;
• Энергетические компании – создание интеллектуальных электроэнергетических систем, оперативный мониторинг и прогнозирование.

Основные результаты анализа рынка

Мировой рынок

• объем рынка составил 28,5 млрд долл. США, увеличившись на 45% по сравнению с предыдущим годом;
• большую часть выручки рынка Big Data составили сервисные услуги, их доля была равно 40% в общем объеме выручки;
• 36% выручки принесли приложения и аналитика Больших Данных, 17% — вычислительное оборудование и 15% — технологии хранения данных;
• наибольшей популярностью для решения проблем Больших Данных пользуются in-memory платформы таких компаний, как SAP, HANA и Oracle.
• на 125% увеличилось количество компаний с реализованными проектами в сфере управления Большими Данными;

• в 2015 году объем рынка достигнет 38,4 млрд долл. США, в 2020 году – 68,7 млрд долл. США;
• средний темп роста будет равен 16% ежегодно;
• средние затраты компании на технологии Больших Данных составят 13,8 млн долл. США для крупных компаний и 1,6 млн долл. США для малого и среднего бизнеса;
• технологии будут иметь наибольшую распространенность в сферах клиентского сервиса и точечного маркетинга;
• в 2017 году изменится общемировая структура рынка в сторону преобладания компаний-пользователей из развивающихся стран.

Российский рынок

• объем рынка достиг 340 млн долл. США;
• средний темп роста рынка в предыдущие годы составил 50% ежегодно;
• общий объем накопленной информации составил 155 эксабайт;
• 10% российских компаний начали использовать технологии Больших Данных;
• большей популярностью технологии Больших Данных пользовались в банковской сфере, телекоме, интернет-компаниях и ритейле.

• объем рынка России в 2015 году достигнет 500 млн долл. США, а в 2018 году – 1,7 млрд долл. США;
• доля российского рынка в мировом составит около 3% в 2018 году;
• количество накопленных данных в 2020 году составит 980 эксабайт;
• объем данных вырастет до 2,2% от общемирового объема данных в 2020 году;
• наибольшую популярность приобретут технологии визуализации данных, анализа медиа файлов и интернета вещей.

Спасибо, что уделили время прочтению этой объемной работы, подписывайтесь на наш блог — обещаем много новых интересных публикаций!

Будущее Big Data: к 2025 году 60% мировых данных будет создавать бизнес

К 2025 году общемировой объем данных вырастет в 10 раз и достигнет 163 зеттабайт (Збайт, в одном зеттабайте содержится 10 в 21-ой степени байтов), причем большую часть этих данных будут генерировать предприятия, а не потребители. Об этом говорится в докладе «Эпоха данных — 2025» (The Data Age 2025), подготовленном аналитиками компании IDC при поддержке производителя жестких дисков Seagate. Полная версия доклада есть в распоряжении Forbes.

Представьте, что вас разбудил виртуальный личный помощник, который советует, какая одежда из вашего гардероба лучше всего подходит под погоду за окном, а также согласовывает ваше расписание на день и маршрут, предлагают авторы исследования. Хотя возможно вам и не придется добираться до офиса, так как извлекать рабочие файлы можно из облака, а общаться с коллегами — при помощи голографических телеконференций.

В выходные можно подыскать новую мебель через приложение с технологией дополненной реальности, которое позволит «встроить диван» в вашу гостиную перед тем, как заказать его. Пока вы будете отдыхать на новом диване, «умный» помощник закажет вам пиццу, которую доставит дрон. Такое будущее рисуют авторы доклада, отмечая, что данные за последние 30 лет стали критически важными для всех аспектов нашей жизни.

«Мы стремительно приближаемся к новой эре эпохи больших данных. От беспилотных автомобилей до роботов-гуманоидов и от умных личных помощников до домашних устройств. Мир вокруг нас претерпевает фундаментальные изменения, трансформируя то, как мы живем, работаем и развлекаемся», — отмечают авторы исследования. Всего они выделяют шесть основных тенденций, определяющих развитие области Big Data на ближайшие годы:

Данные больше не «фон» бизнес-деятельности, а «жизненно важный актив». Авторы исследования утверждают, что к 2025 году почти 20% всех данных в глобальной информационной сфере будут играть критически важную роль в повседневной жизни, а около 10% этих данных будут «сверхкритичными». Теперь это фактор нормальной работы общества и техники: от медицинских приборов до самоуправляемых автомобилей.

Безопасность как критический фундамент. Особое внимание в IDC обращают на проблему защиты частной и конфиденциальной информации, которая будет сталкиваться с новыми и новыми уязвимостями. Исследователи подчеркивают, что уже сегодня существует серьезный пробел между производимым объемом данных, которые требуют защиты, и тем их объемом, который фактически защищен. Такой разрыв в будущем будет лишь расти, признают эксперты. Они указывают, что к 2025 году почти 90% всех данных потребуют того или иного уровня безопасности, но лишь половина из них будет реально защищена.

Встроенные системы и Интернет вещей. Рост объемов больших данных и метаданных приведет к тому, что к 2025 году каждый среднестатистический житель Земли начнет взаимодействовать с устройствами, соединенными с сетями, примерно 4800 раз в день: по одной процедуре взаимодействия каждые 18 секунд.

Машинное обучение изменит экономический ландшафт. Согласно прогнозу IDC, доля глобальной информационной сферы, подвергаемой анализу, к 2025 году вырастет по сравнению с нынешней в 50 раз, достигнув 5,2 Збайт; а объем данных, анализируемых при участии когнитивных систем, вырастет в 100 раз, составив 1,4 Збайт. Когнитивные системы позволят чаще и более гибко анализировать данные во многих отраслях и во многих ситуациях.

Мобильные данные и информация в режиме реального времени. К 2025 году почти 20% генерируемых данных станут информацией, получаемой в режиме реального времени. При этом более 95% составят данные, поступающие от устройств Интернета вещей. В связи с этим данные должны быть мгновенно доступными для пользователей и предприятий в любое время и в любом месте.

Автоматизация и межмашинное взаимодействие станут основными конкурентами традиционных источников в области создания данных. Если в предыдущие 10 лет данные создавались во многом за счет роста объемов развлекательного контента, то в предстоящее десятилетие главными источниками информации станут бизнес-деятельность и работа встроенных систем, а также производство изображений и видеозаписей неразвлекательного характера — например, генерируемых системами видеонаблюдения и производимых рекламодателями.

В Seagate в связи с этими тенденциями рекомендуют главам корпораций сосредоточиться на сборе значительно меньшей по объему, но более ценной для бизнеса информации. «Тот факт, что мы можем хранить огромные массивы данных, не означает, что нам следует это делать», — указывает вице-президент компании по маркетингу Джефф Фочтман. Он уверен, что оптимальное количество данных для хранения определяется, исходя из задач в каждой конкретной ситуации. В случае неэффективного использования данных компания, по мнению топ-менеджера Seagate, рискует столкнуться с проблемами, например, при обработке заказов или же с невозможностью обеспечить индивидуальный подход к своим клиентам.

Фочтман подчеркивает, что к 2025 году предприятия будут создавать около 60% мировых данных (в 2015 году этот показатель составлял менее 30%), в то время как раньше создателями основного массива данных выступали потребители. Картину производства информации изменят, в частности, такие технологии как машинное обучение, автоматизация и межмашинные технологии, объясняет он.

Но и потребители не останутся в стороне. Согласно прогнозу IDC, если сейчас на каждого человека приходится меньше одной единицы техники со встроенными источниками данных, «питающими» глобальную информационную экосистему, то через 10 лет этот показатель вырастет более чем до четырех.

Рынок хранилищ данных (DWH) превысит 30 млрд долларов к 2025 году

Компания CueReport опубликовала прогнозы о росте рынка хранилищ данных до 2025 года и том, как на них влияют облачные технологии.

Ожидается, что к 2025 году рынок хранилищ данных превысит 30 млрд долларов. Рост объясняется внедрением хранилищ данных для управления большими данными, а также ростом инвестиций в облачные платформы.

Облачные решения — драйвер роста спроса на Data Warehouse

Огромные инвестиции во внедрение облачных платформ повышают спрос на решения для хранения данных. Локальное оборудование отстает от современных требований к вычислительным мощностям и объему хранения, поэтому компании выбирают облачные технологии. В облаках можно хранить неограниченные объемы данных и получать любые вычислительные мощности по требованию.

Растет интерес к гибридным решениям для хранения данных

Рынок гибридных решений для хранения данных будет расти на 15% в год. Многие компании выбирают интеграцию локальной инфраструктуры с облаком для модернизации существующих систем. Это позволяет объединить гибкость и масштабируемость облаков с возможностью хранить часть данных локально.

Неструктурированные данные сохраняют преимущество

Сегмент неструктурированных данных занимал основную долю рынка в 2018 году и сохранит преимущество с долей рынка более 65% в 2025 году. Компании осознают экономический потенциал этих данных. Неструктурированные данные из разных источников (социальные сети, электронная почта, история поиска, геолокация) помогают разрабатывать стратегии для роста бизнеса.

Data mining — еще одно направление для развития

Сегмент интеллектуального анализа данных будет расти на 10% в год. Компании используют data mining для поиска важной информации в огромном количестве корпоративных данных. Новые инструменты интеллектуального анализа помогают сегментировать клиентов, обнаруживать мошенников и вести корпоративное наблюдение.