О сервисе^Beta

Cloud Kafka — распределенная платформа для передачи сообщений между приложениями. Каждый экземпляр сервиса представляет собой кластер Apache Kafka, развернутый в отказоустойчивой конфигурации или в конфигурации одного узла.

Сервис работает по принципу «публикация/подписка»: поставщики (producers) публикуют сообщения в топики, а потребители (consumers) опрашивают сервис для получения новых сообщений. Cloud Kafka не отслеживает, какие записи уже были прочитаны потребителем, но хранит записи в течение заданного периода времени. Благодаря этому одно и то же сообщение может быть обработано различными потребителями необходимое число раз.

Возможные сценарии использования сервиса:

• шина загрузки данных, в том числе в сценариях потоковой загрузки данных;
• буфер для сбора метрик, логов и других типов сообщений из прикладных систем;
• сервис очередей для взаимодействия распределенных приложений;
• передача данных между сервисом и внешними системами (Kafka Connect).

Сервис Cloud Kafka автоматизирует процессы:

• развертывание инфраструктуры под экземпляр сервиса;
• эффективное распределение ресурсов кластера;
• масштабирование ресурсов экземпляра сервиса.

Пользователь может управлять ресурсами Cloud Kafka через личный кабинет VK Cloud, при этом доступен стандартный инструмент Apache Kafka — Kafka UI.