Cloud Streams

Сервис для потоковой обработки данных

Создавайте масштабируемые решения для сбора, обработки и аналитики потоковых данных за считаные минуты

Cloud Streams — масштабируемый сервис для потоковой обработки данных в режиме близком к реальному времени. Сервис можно развернуть в облаке в пару кликов и спроектировать приложение с помощью графического интерфейса. Потоки данных можно хранить столько, сколько нужно.
В сервисе удобно разграничивать права доступа к записям, опубликованным в брокере. В VK Cloud можно удобно и быстро масштабировать ресурсы для обработки разных потоков данных, а также создавать отказоустойчивые кластеры в ЦОДах, расположенных в РФ и и аттестованных по требованиям 152-ФЗ, УЗ-1.

В основе сервиса для потоковой обработки данных — популярные Open-Source-инструменты

Cloud Streams построен в облаке на базе решения Arenadata Streaming. В его основе инструменты с открытым исходным кодом: Apache Kafka и Apache NiFi. Для работы с большими массивами данных пользователи VK Cloud могут подключить в личном кабинете один из сервисов Apache Kafka as a Service, Apache NiFi as a Service либо оба инструмента одновременно.

Apache Kafka as a Service

Брокер сообщений между серверными приложениями, который реализует систему публикации сообщений и подписки на них. Может применяться как основа для распределенной платформы потоковой обработки данных.

Apache NiFi as a Service

ETL-инструмент для управления потоками данных из разнообразных источников. Конвейер данных можно строить на лету, доставка сообщений гарантирована, есть динамическая приоритизация и отслеживание полного цикла жизни сообщений.

Сценарии использования Cloud Streams

Построение корпоративного хранилища Enterprise-уровня в облаке
На базе сервисов для работы с данными в VK Cloud можно построить корпоративное хранилище данных с функциональностью ETL, оркестрацией, Сontrol plane и Data plane.
Передача данных из источника в хранилище или целевую систему
Коннекторы позволяют собирать неструктурированные данные из разных источников, обрабатывать их на лету и передавать в базу данных и другие системы для дальнейшей обработки.
Потоковая обработка данных
Благодаря высокой пропускной способности вы можете построить аналитические конвейеры, которые обрабатывают поступающие сырые данные, извлекают из них инсайты и складывают их в очередь инцидентов.
Взаимодействие и оркестрация между микросервисами
Брокер сообщений Apache Kafka as a service связывает между собой компоненты высоконагруженного микросервисного приложения.

Преимущества Cloud Streams на базе Arenadata Streaming

Быстрый старт

Сервис можно развернуть в облаке парой кликов. Настроить работу системы — с помощью редактора визуального проектирования.

Возможности Apache Kafka as a Service для высоконагруженных систем

Высокая пропускная способность

Apache Kafka as a Service может обрабатывать тысячи сообщений.

Режим реального времени

При обработке сообщений задержка составляет не более нескольких миллисекунд.

Отказоустойчивость

При сбое одного брокера система выбирает замену из реплик, хранящихся в других брокерах.

Распределенность

Apache Kafka является распределенной системой за счет репликации и партиционирования.

Долговечность

Сообщения постоянно хранятся на диске и реплицируются, поэтому они не теряются.

Простая масштабируемость

Новые ноды в кластере Apache Kafka добавляются на лету, перезагрузка системы не требуется. Автоматическая балансировка рабочих топиков.

Ответим на вопросы

Если у вас остались вопросы или нужен индивидуальный расчет, оставьте заявку на консультацию.

FAQ

Чем отличается Cloud Streams на базе Arenadata Streaming в облаке от Apache Kafka и Apache NiFi?

Разработчики интегрировали два Open-Source-решения и добавили к ним систему мониторинга и управления, а также дополнительные инструменты безопасности: работа с репликами, проверка качества данных и другие.

Что умеет делать добавленная система мониторинга и управления?

Позволяет настраивать права доступа к очередям сообщений. Помогает разворачивать кластер и управлять им. Визуализует текущее состояние ключевых метрик.

Сложно ли настроить интеграционные потоки?

Нет, но благодаря Apache NiFi потоками данных можно управлять через веб-интерфейс в реальном времени.

Справится ли облачная версия Cloud Streams на базе Arenadata Streaming с ростом нагрузки?

Да, это управляемый и масштабируемый сервис. Пользователи сервиса Cloud Streams на базе Arenadata Streaming в облаке могут создать отказоустойчивый кластер с возможностью масштабирования (вертикального и горизонтального) в ЦОД, соответствующих стандартам Tier III.

Что значит «производители», «потребители» и «топики» в Apache Kafka?

В Cloud Streams используется Apache Kafka as a service, где реализован паттерн программирования publishing/subscription. Вот что это значит.

Есть производитель (producer), потребитель (consumer) и брокер сообщений между ними. Производитель публикует сообщение в топике брокера, а потребитель подписывается на новые сообщения. Топик похож на базу данных и состоит из разделов (partitions) — отдельных журналов фиксации.

Гарантирована ли доставка сообщений от производителя к потребителю?

Между производителем и брокером работает однократная доставка сообщений (exactly once) с механизмом подтверждения доставки. При таком механизме сообщение гарантированно записывается и реплицируется. Дальнейшая ответственность за то, чтобы не обработать запись несколько раз, — на стороне потребителя.