VK Cloud logo
Обновлена 15 апреля 2024 г. в 08:50

Быстрый стартBeta

Быстрый старт поможет начать работу с сервисом и познакомиться с его возможностями.

Пройдя все шаги быстрого старта, вы:

  1. Создадите экземпляр Cloud Kafka в конфигурации Single.
  2. Научитесь отправлять сообщения в топик (topic) и получать сообщения из топика экземпляра Cloud Kafka.

1. Создайте экземпляр сервиса Cloud Kafka

  1. Перейдите в личный кабинет VK Cloud.

  2. Выберите проект, где нужно создать экземпляр сервиса.

  3. Перейдите в раздел Платформа данных → Экземпляры сервисов.

  4. Нажмите кнопку Создать экземпляр.

  5. На шаге «Конфигурация»:

    1. Выберите тип сервиса Kafka.
    2. Выберите версию 3.5.0.
    3. Выберите конфигурацию Single.
    4. Нажмите кнопку Следующий шаг.
  6. На шаге «Параметры»:

    1. Задайте для экземпляра название и описание: vkcloud-demo-kafka и Первый экземпляр Cloud Kafka.

    2. Задайте параметры узла для брокера:

      • Тип виртуальной машины: Standard-2-4.
      • Тип диска: High-IOPS SSD.
      • Размер диска: 50 ГБ.
    3. Кластер Kubernetes: выберите пункт Создать новый кластер.

    4. Сеть: выберите пункт Создать новую сеть.

    5. Выберите Neutron в качестве SDN.

    6. Адрес подсети: укажите 10.0.1.0/24.

    7. Зона доступности: Москва (GZ1).

    8. Нажмите кнопку Следующий шаг.

  7. На шаге «Учетные данные»:

    1. Логин администратора для доступа к Kafka: например, kafkaadmin.

    2. Пароль администратора для доступа к Kafka: нажмите кнопку Сгенерировать и сохраните полученный пароль.

    3. Нажмите кнопку Создать.

      Дождитесь завершения операции. Создание экземпляра Cloud Kafka может занять длительное время.

2. Подготовьтесь к работе с экземпляром Cloud Kafka

  1. Получите доступ к консольным клиентам Kafka на хосте, с которого планируется работать с экземпляром сервиса:

    1. Убедитесь, что на хосте установлена версия Java 11 или выше:

      java --version

      Если вывод содержит Command 'java' not found или версия устарела, установите Java Development Kit (JDK), например, OpenJDK. Можно установить как JDK целиком, так и только Java Runtime Environment (JRE).

      Пример установки OpenJDK 11 (только JRE) с помощью apt для Ubuntu 22.04 LTS:

      sudo apt update && sudo apt install openjdk-11-jre
    2. Загрузите архив с дистрибутивом Kafka версии 3.5.0. Версии Kafka для экземпляра сервиса и на хосте должны совпадать. Пример команды для загрузки дистрибутива с помощью cURL:

      curl -O https://archive.apache.org/dist/kafka/3.5.0/kafka_2.13-3.5.0.tgz
    3. Распакуйте архив и перейдите в директорию с распакованными файлами:

      tar -xzf kafka_2.13-3.5.0.tgz && cd kafka_2.13-3.5.0
    4. Получите версию консольного клиента-производителя (producer) и консольного клиента-потребителя (consumer):

      bin/kafka-console-producer.sh --versionbin/kafka-console-consumer.sh --version

      Успешный вывод версии свидетельствует о корректно работающих клиентах.

    5. Создайте конфигурационный файл client-ssl.properties с содержимым:

      security.protocol=SSL

      Этот файл содержит в себе настройку, которая требует от клиента-производителя и клиента-потребителя аутентифицироваться в экземпляре сервиса с помощью протокола SSL.

  2. Получите адрес bootstrap-сервера для подключения к экземпляру сервиса:

    1. Перейдите в личный кабинет VK Cloud.
    2. Выберите проект, где находится экземпляр сервиса.
    3. Перейдите в раздел Платформа данных → Экземпляры сервисов.
    4. Откройте страницу кластера vkcloud-demo-kafka, нажав на его имя.
    5. Перейдите на вкладку Общая информация.
    6. Запишите адрес из параметра Bootstrap.

3. Отправьте сообщение в топик и получите его

  1. Создайте отдельную сессию терминала, в которой будет работать консольный клиент.

  2. Запустите в этой сессии клиент-потребитель и укажите в качестве источника топик test. Клиент-потребитель будет подключаться к экземпляру Cloud Kafka, используя полученный ранее адрес bootstrap-сервера и файл конфигурации, и непрерывно читать и выводить сообщения из топика. Новый топик будет создан автоматически при первом обращении к нему.

    Для этого выполните команду:

    bin/kafka-console-consumer.sh \  --bootstrap-server kafka-bootstrap.example.com:9093 \  --consumer.config client-ssl.properties \  --topic test
  3. Создайте еще одну сессию терминала, в которой будет работать другой консольный клиент.

  4. Запустите в этой сессии клиент-производитель и укажите в качестве приемника топик test. Клиент-потребитель будет подключаться к экземпляру Cloud Kafka, используя полученный ранее адрес bootstrap-сервера и файл конфигурации, и отправлять вводимые сообщения в топик.

    Для этого выполните команду:

    bin/kafka-console-producer.sh \  --broker-list kafka-bootstrap.example.com:9093 \  --producer.config client-ssl.properties  --topic test
  5. В сессии терминала с клиентом-производителем введите тестовое сообщение и затем нажмите Enter:

    This is the test message.
  6. Проверьте, что в сессии терминала с клиентом-потребителем отображается отправленное тестовое сообщение:

    This is the test message.

    Наличие сообщения означает, что экземпляр Cloud Kafka работает корректно.

  7. Завершите работу клиентов, нажав комбинацию клавиш Ctrl + C в обеих сессиях терминала.

Удалите неиспользуемые ресурсы

Экземпляр Cloud Kafka тарифицируется и потребляет вычислительные ресурсы. Если он вам больше не нужен, удалите его.

Также вы можете удалить конфигурационный файл client-ssl.properties и загруженный дистрибутив Kafka.