Быстрый стартBeta
Быстрый старт поможет начать работу с сервисом и познакомиться с его возможностями.
Пройдя все шаги быстрого старта, вы:
- Создадите экземпляр Cloud Kafka в конфигурации Single.
- Научитесь отправлять сообщения в топик (topic) и получать сообщения из топика экземпляра Cloud Kafka.
-
Перейдите в личный кабинет VK Cloud.
-
Выберите проект, где нужно создать экземпляр сервиса.
-
Перейдите в раздел Платформа данных → Экземпляры сервисов.
-
Нажмите кнопку Создать экземпляр.
-
На шаге «Конфигурация»:
- Выберите тип сервиса Kafka.
- Выберите версию 3.5.0.
- Выберите конфигурацию Single.
- Нажмите кнопку Следующий шаг.
-
На шаге «Параметры»:
-
Задайте для экземпляра название и описание:
vkcloud-demo-kafka
иПервый экземпляр Cloud Kafka
. -
Задайте параметры узла для брокера:
- Тип виртуальной машины:
Standard-2-4
. - Тип диска:
High-IOPS SSD
. - Размер диска:
50 ГБ
.
- Тип виртуальной машины:
-
Кластер Kubernetes: выберите пункт Создать новый кластер.
-
Сеть: выберите пункт Создать новую сеть.
-
Выберите Neutron в качестве SDN.
-
Адрес подсети: укажите
10.0.1.0/24
. -
Зона доступности:
Москва (GZ1)
. -
Нажмите кнопку Следующий шаг.
-
-
На шаге «Учетные данные»:
-
Логин администратора для доступа к Kafka: например,
kafkaadmin
. -
Пароль администратора для доступа к Kafka: нажмите кнопку Сгенерировать и сохраните полученный пароль.
-
Нажмите кнопку Создать.
Дождитесь завершения операции. Создание экземпляра Cloud Kafka может занять длительное время.
-
-
Получите доступ к консольным клиентам Kafka на хосте, с которого планируется работать с экземпляром сервиса:
Linux (bash) / macOS (zsh)-
Убедитесь, что на хосте установлена версия Java 11 или выше:
java --version
Если вывод содержит
Command 'java' not found
или версия устарела, установите Java Development Kit (JDK), например, OpenJDK. Можно установить как JDK целиком, так и только Java Runtime Environment (JRE).Пример установки OpenJDK 11 (только JRE) с помощью
apt
для Ubuntu 22.04 LTS:sudo apt update && sudo apt install openjdk-11-jre
-
Загрузите архив с дистрибутивом Kafka версии 3.5.0. Версии Kafka для экземпляра сервиса и на хосте должны совпадать. Пример команды для загрузки дистрибутива с помощью cURL:
curl -O https://archive.apache.org/dist/kafka/3.5.0/kafka_2.13-3.5.0.tgz
-
Распакуйте архив и перейдите в директорию с распакованными файлами:
tar -xzf kafka_2.13-3.5.0.tgz && cd kafka_2.13-3.5.0
-
Получите версию консольного клиента-производителя (producer) и консольного клиента-потребителя (consumer):
bin/kafka-console-producer.sh --version
bin/kafka-console-consumer.sh --version
Успешный вывод версии свидетельствует о корректно работающих клиентах.
-
Создайте конфигурационный файл
client-ssl.properties
с содержимым:security.protocol=SSL
Этот файл содержит в себе настройку, которая требует от клиента-производителя и клиента-потребителя аутентифицироваться в экземпляре сервиса с помощью протокола SSL.
-
-
Получите адрес bootstrap-сервера для подключения к экземпляру сервиса:
- Перейдите в личный кабинет VK Cloud.
- Выберите проект, где находится экземпляр сервиса.
- Перейдите в раздел Платформа данных → Экземпляры сервисов.
- Откройте страницу кластера
vkcloud-demo-kafka
, нажав на его имя. - Перейдите на вкладку Общая информация.
- Запишите адрес из параметра Bootstrap.
-
Создайте отдельную сессию терминала, в которой будет работать консольный клиент.
-
Запустите в этой сессии клиент-потребитель и укажите в качестве источника топик
test
. Клиент-потребитель будет подключаться к экземпляру Cloud Kafka, используя полученный ранее адрес bootstrap-сервера и файл конфигурации, и непрерывно читать и выводить сообщения из топика. Новый топик будет создан автоматически при первом обращении к нему.Для этого выполните команду:
bin/kafka-console-consumer.sh \
--bootstrap-server kafka-bootstrap.example.com:9093 \
--consumer.config client-ssl.properties \
--topic test
-
Создайте еще одну сессию терминала, в которой будет работать другой консольный клиент.
-
Запустите в этой сессии клиент-производитель и укажите в качестве приемника топик
test
. Клиент-потребитель будет подключаться к экземпляру Cloud Kafka, используя полученный ранее адрес bootstrap-сервера и файл конфигурации, и отправлять вводимые сообщения в топик.Для этого выполните команду:
bin/kafka-console-producer.sh \
--broker-list kafka-bootstrap.example.com:9093 \
--producer.config client-ssl.properties
--topic test
-
В сессии терминала с клиентом-производителем введите тестовое сообщение и затем нажмите Enter:
This is the test message.
-
Проверьте, что в сессии терминала с клиентом-потребителем отображается отправленное тестовое сообщение:
This is the test message.
Наличие сообщения означает, что экземпляр Cloud Kafka работает корректно.
-
Завершите работу клиентов, нажав комбинацию клавиш Ctrl + C в обеих сессиях терминала.
Экземпляр Cloud Kafka тарифицируется и потребляет вычислительные ресурсы. Если он вам больше не нужен, удалите его.
Также вы можете удалить конфигурационный файл client-ssl.properties
и загруженный дистрибутив Kafka.