«Комус»: как мы в 2,5 раза повысили скорость обработки запросов с помощью облачной Arenadata DB

«Комус» — лидер рынка товаров для офиса и бизнеса

«Комус» производит и поставляет товары для офиса и бизнеса, владеет сетью магазинов канцтоваров. Наша компания представлена в 84 городах России, у нее 106 розничных магазинов и 9 логистических центров.

У нас уже была система аналитики, с ее помощью планировали акции, создавали персональные предложения для посетителей интернет-магазина. Но мы работаем в ритейле — отрасли с высокой конкуренцией, нам критически важно обеспечить Data-driven-процессы. Для решения этой задачи мы построили новую систему работы с данными, которая повысила доступность датасетов для специалистов.

На старте проекта нам требовалась среда для развертывания нового решения и инструменты для его реализации. При этом систему было важно запустить оперативно и получить возможность гибкого масштабирования — как по производительности, так и по функциональности.

Требовалось создать систему аналитики при дефиците ресурсов и недостатке экспертизы

После исследования рынка и первичного анализа мы поняли, что нам важно минимизировать затраты на развертывание и поддержку хранилища, а также создать систему, в которой аналитики смогут работать с данными без постоянной поддержки со стороны ИТ-специалистов.

Мы сформулировали принципы построения аналитического ландшафта:

1. Минимальное ограничение на доступ к данным. Системой могут пользоваться все аналитики с соответствующим уровнем прав.
2. Песочницы для экспериментов с данными. Аналитик может проводить эксперименты с данными без привлечения ИТ-специалистов для настройки и администрирования среды.
3. Простой вывод из песочницы в продуктив. Результат работы, который аналитик видит в своем рабочем окружении, можно быстро перенести в продуктивную среду.

Архитектура решения должна включать четыре слоя:

• хранилище данных;
• системы обработки данных;
• оркестраторы;
• системы визуализации.

Хранилище данных у нас уже было, но локальное — база данных Oracle на физических серверах. Но с учетом перспектив масштабирования параметры Oracle нас ограничивали, в частности не устраивала скорость обработки данных. Мы решили развернуть новое хранилище на базе СУБД Arenadata DB.

На этапе реализации мы столкнулись с трудностями:

1. У нас не было компетенций по администрированию СУБД Arenadata DB.
2. Ресурсов нашей инфраструктуры было недостаточно, а докупить оборудование не получилось.

В результате мы решили разворачивать хранилище в облаке на базе преднастроенного сервиса Arenadata DB.

Ресурсы и компетенции — основные критерии при выборе провайдера

У нас было несколько требований к облачному провайдеру:

• ресурсы — нужен был поставщик, у которого получим достаточный объем вычислительных мощностей и возможность быстро масштабировать инфраструктуру при росте нагрузки;
• компетенции — искали поставщика, который предлагает Arenadata DB как PaaS (Platform-as-a-Service) — преднастроенный и управляемый облачный сервис. И может проконсультировать по развертыванию дата-решений в облаке.

Мы рассматривали несколько провайдеров, в итоге остановились на VK Cloud. На платформе были все нужные нам инструменты для построения и развития решения по модели PaaS (Platform-as-a-Service).

Построили систему Self-Service-аналитики с хранилищем данных на 5 ТБ

После выбора VK Cloud мы провели тесты и приступили к реализации слоя хранения данных.

Выбрали простую схему КХД, ее компоненты:

1. Источники данных.
2. Два кластера (prod и dev) с СУБД Arenadata DB и Apache Airflow в качестве оркестратора.
3. Потребители данных — системы аналитики и витрины аналитических команд.

Дополнительно есть репозиторий гит-кода, построенный на Bitbucket, и вспомогательные компоненты.

В облаке VK Cloud мы развернули и инструменты для других слоев системы. В частности, SAP BO, Apache Superset и Fine BI в слое визуализации. Superset планируем использовать для массовой и типовой аналитики, Fine BI — для глубокой аналитики и построения сложных многоуровневых дашбордов.

В итоге получили следующую архитектуру:

Поскольку мы использовали инструменты, предоставляемые по модели as-a-service, то администрирование инфраструктуры и PaaS-сервисов (доступность сервисов, отказоустойчивость) на стороне VK Cloud. Мы отвечаем за хранение данных и их низкоуровневую безопасность. Это позволило быстро развернуть проект и запустить его в прод.

Итоги: быстро развернули систему Self-Service-аналитики

1. Объем хранилища — 5 ТБ, при этом благодаря использованию в проекте преднастроенных управляемых облачных сервисов нагрузка на штатных ИТ-специалистов не увеличилась.
2. В 2,5 раза повысилась скорость обработки запросов за счет перехода с Oracle на Arenadata DB as a Service.
3. Настроили хранение исторических данных — важная информация будет храниться в течение трех лет.
4. Сократили время подключения новых источников к системе c 7 рабочих дней до 2–3 часов.
5. Реализовали несколько направлений работы для команд аналитиков.
6. Аналитики работают в системе самостоятельно, минимально привлекая ИТ-специалистов. Например, сами формируют датасеты и переносят данные из песочницы в прод.

Планы на будущее

Мы планируем развивать систему Self-Service-аналитики в VK Cloud.

• Подключить потоковую передачу данных (Streaming), чтобы обеспечить непрерывную передачу.
• Увеличить объем хранилища с 5 до 20 ТБ.
• Мигрировать витрину на ClickHouse, чтобы приблизить скорость обработки данных к реальному времени.
• Внедрить в качестве основного или дополнительного оркестратора Dagster.