Архитектура сервиса^Beta

Кластер Cloud Kafka состоит из нескольких кластеров Zookeeper и нескольких брокеров (Kafka Broker). Количество экземпляров Zookeeper и Kafka Broker зависит от выбранного режима отказоустойчивости. Чтобы повысить производительность кластера, можно вручную увеличить количество брокеров.

Сервис работает по принципу «публикация/подписка»: поставщики (producers) публикуют сообщения в топики, а потребители (consumers) опрашивают сервис для получения новых сообщений. Для работы у поставщиков и потребителей должно быть настроено подключение через балансировщик нагрузки bootstrap (Kafka bootstrap load balancer). Балансировщик обеспечивает отказоустойчивое подключение поставщиков и потребителей.

Для кластера Cloud Kafka может быть создан Kafka Connect — инструмент потоковой передачи данных между Apache Kafka и другими системами. Сервис Cloud Kafka поддерживает коннекторы:

• JDBC,
• S3,
• Debezium,
• ClickHouse.

Также для работы с кластером разворачивается инструмент Kafka UI. Его основные функции:

• просматривать список топиков кластера Apache Kafka и сообщений в них;
• запускать коннекторы и отслеживать их работу в Kafka Connect;
• отслеживать доступность брокеров.