Согласно совместному исследованию VK Cloud и Arenadata, 62% российских компаний уже работают с большими данными, а 34% компаний используют Big Data-решения более 3 лет.

Но многие компании, которые внедрили проекты по работе с большими данными и работают с аналитикой Big Data, сталкиваются с барьерами и трудностями. Мы спросили об этом глав ИТ-департаментов, CIO, CTO, CDTO крупных российских компаний и выявили типичные сложности. В статье разбираем ограничения и предлагаем варианты решения.

Респонденты исследования «Технологии для работы с Big Data: готовность к использованию и основные барьеры» поделились подходами, инвестпланами и ожиданиями бизнеса от работы с большими данными. С результатами опроса и выводами можно познакомиться в полной версии отчета по ссылке.

Недостаток компетенций в команде

Нехватка специалистов по работе с большими данными — одна из главных проблем для большинства российских компаний. Этот фактор осложняет работу с большими данными для 22% участников исследования.

Подобная ситуация складывается из-за недостатка количества специалистов по работе со стеком технологий для больших данных senior-уровня на рынке труда. Часть компаний решает эту задачу, привлекая внешних экспертов для внедрения проектов по работе с большими данными: интеграторов, агентства, консалтинговые компании. Ставку на развитие Inhouse-центров компетенций делает 21% респондентов исследования. Часто это компании, где проекты с большими данными активно развиваются, а массивы данных стремительно растут.

Дополнительные сложности работы с Big Data создает и уход зарубежных вендоров с российского рынка в 2022 году. В связи с этим компании вынуждены:

  • пересматривать стек технологий, на которых построены решения для Big Data, и планировать внедрение новых решений для обработки данных на базе других инструментов;
  • искать способы сопровождения и использования систем, построенных на базе ПО, которое не поддерживается;
  • мигрировать в облако, где за предоставление стека технологий отвечает провайдер.

Растет интерес к специалистам Big Data, которые умеют работать с Open-Source-технологиями. Для ряда компаний это новые компетенции, которые нужно формировать внутри команд или нанимать экспертов извне.

Плохо каталогизированные данные

Качество данных влияет на точность и объективность аналитики Big Data. Важно определить порядок сбора и хранения информации, разработать внутренние регламенты, выбрать источники и методы работы с Big Data. На это требуются время и ресурсы, поэтому 21% респондентов исследования VK Cloud и Arenadata считают плохо каталогизированные данные одним из основных препятствий.

Не допустить появления этой сложности позволяет системная работа: инвентаризация собранных данных, каталогизация Big Data, устранение факторов получения некачественных данных и внедрение культуры работы с большими данными (Big Data) на всех этапах. 

Сложность выбора технологического стека 

Технологий работы с Big Data много. Из-за этого компании часто затрудняются в выборе оптимальных инструментов — например, используют стек, функциональность которого значительно превышает задачи предприятия. Это ведет к высоким инвестициям на этапе внедрения проекта и существенным затратам на его сопровождение. На этапе выбора инструментов важно оценивать возможные затраты на эксплуатацию и развитие решения. 

По данным исследования, со сложностью выбора подходящего стека технологий сталкиваются 11% респондентов.

Решить эту проблему можно двумя способами:

  1. Привлекать консультантов или интеграторов для выбора стека под требования компании.
  2. Использовать облачные инструменты. Провайдеры предоставляют готовый стек инструментов для полного цикла работы с большими данными — для каждого этапа подготовки и обработки данных. Пользуясь этим преимуществом, можно изначально развернуть полноценное решение в облаке или использовать облачную среду для тестирования отдельных инструментов.

Готовность ИТ-инфраструктуры

Для внедрения Big Data-проектов нужна надежная производительная ИТ-инфраструктура, которая позволяет подразделениям компании работать с большим количеством источников данных. Кроме того, чтобы справляться с постоянно увеличивающимся объемом данных, инфраструктура должна легко масштабироваться.

Инфраструктуру для Big Data важно не просто создать — ее нужно регулярно модернизировать, поддерживать, расширять. Это сопряжено с необходимостью привлечения отдельной команды специалистов и постоянных инвестиций. Исследование показало, что 12% российских компаний испытывают трудности из-за неготовности ИТ-инфраструктуры к Big Data-проектам.

Решением данной ситуации может быть переход в облако. Развертывание проектов в облаках позволяет снижать затраты на инфраструктуру, обеспечивает быстрое и гибкое масштабирование доступных ресурсов. Кроме того, облако дает возможность задействовать набор преднастроенных инструментов для работы с Big Data. 

По данным нашего исследования, в России облачные решения для работы с Big Data-проектами уже используют 46% компаний, а 29% планируют начать работать с облаками в ближайшее время.

Большие расходы

Несмотря на появление доступных технологий и средств для работы с большими данными, внедрение Big Data-проектов требует вложений в инфраструктуру, пересмотра бизнес-процессов, создания проектных команд или привлечения сторонних дата-сайентистов и других специалистов по большим данным. Стоимость проекта — главный сдерживающий фактор для 12% опрошенных респондентов. 

На такую позицию может влиять сложность оценки экономического эффекта от внедрения проектов для работы с большими данными: 43% респондентов не смогли ответить на вопрос об окупаемости Big Data-проектов.

Один из способов снижения расходов — полная миграция в облачную среду или тестирование в облаке гипотез по работе с Big Data. В таком случае не нужно инвестировать в собственную инфраструктуру, настраивать и поддерживать инструменты для работы с данными: все предоставляет провайдер по модели Pay-as-you-go, то есть с платой только за использованные ресурсы. При этом капитальные расходы заменяют операционными, что снижает финансовую нагрузку на компанию.

В исследовании мы подробнее рассказываем не только о проблемах, но и об особенностях работы с большими данными: окупаемости, культуре работы с данными, применении облачных технологий. Получить полный текст исследования можно по ссылке.

Кратко о главном

  1. 62% российских компаний уже работают с большими данными, 34% компаний используют Big Data-решения более 3 лет.
  2. Многие компании, которые внедрили проекты по работе с Big Data, сталкиваются с трудностями: недостаток компетенций в команде, неправильная организация данных, сложность выбора стека технологий и подготовки ИТ-инфраструктуры, необходимость капитальных вложений.
  3. Решить технические сложности работы с большими данными помогает миграция в облако. Развертывание проектов в облаках позволяет эффективно использовать ресурсы вашей команды DevOps, Big Data Scientists и других специалистов, снижать затраты на инфраструктуру, быстро создавать пилотные проекты для проверки гипотез, получать доступ к удобным Big Data-инструментам. 

Полное исследование VK Cloud и Arenadata «Технологии для работы с Big Data: готовность к использованию и основные барьеры» можно скачать по ссылке.