Создание кластера Spark

В статье приведен пример создания кластера Cloud Spark при помощи Terraform.

При создании кластера используются:

• ресурс vkcs_mlplatform_spark_k8s;
• ресурс vkcs_mlplatform_k8s_registry;
• ресурс vkcs_networking_network;
• источник данных vkcs_compute_flavor;
• источник данных vkcs_networking_network.

1. Ознакомьтесь с доступными ресурсами и квотами для региона, в котором планируется создать инстанс. Для разных регионов могут быть настроены разные квоты.

   Если вы хотите увеличить квоты, обратитесь в техническую поддержку.

2. Установите Terraform и настройте провайдер, если этого еще не сделано.

3. Для работы потребуется провайдер версии 0.7.0 или выше. Убедитесь, что версия провайдера в файле vkcs_provider.tf не ниже. Если версия провайдера ниже, обновите провайдер.

В примере ниже кластер создается в следующей конфигурации:

• регион по умолчанию, зона доступности GZ1;
• минамальное количеств worker-узлов — 2, максимальное количество worker-узлов — 100;
• режим работы кластера — DEV;
• переход кластера в спящий режим через 120 минут неактивности;
• удаление кластера через 1440 минут неактивности.

Создайте файл конфигурации Terraform main.tf с содержимым:

Скопировать
locals {  spark_configuration = {    "spark.eventLog.dir"     = "s3a://spark-bucket"    "spark.eventLog.enabled" = "true"  }  spark_environment_variables = {    "ENV_VAR_1" : "env_var_1_value"    "ENV_VAR_2" : "env_var_2_value"  }}resource "vkcs_mlplatform_spark_k8s" "spark_k8s" {  name              = "tf-example"  availability_zone = "GZ1"  network_id        = vkcs_networking_network.app.id  subnet_id         = vkcs_networking_subnet.app.id  node_groups = [    {      node_count          = 2      flavor_id           = data.vkcs_compute_flavor.basic.id      autoscaling_enabled = true      min_nodes           = 2      max_nodes           = 100    }  ]  cluster_mode = "DEV"  registry_id  = vkcs_mlplatform_k8s_registry.k8s_registry.id  ip_pool      = data.vkcs_networking_network.extnet.id  suspend_after_inactive_min = 120  delete_after_inactive_min  = 1440  spark_configuration   = yamlencode(local.spark_configuration)  environment_variables = yamlencode(local.spark_environment_variables)}

Здесь:

• network_id — идентификатор сети, в которой будет размещен кластер. Кластер может быть размещен в существующей сети или в новой. Идентификатор можно указать в манифесте, получить из источника данных или ресурса.

  Примеры

• flavor_id — идентификатор типа ВМ. Идентификатор можно прописать в манифесте или получить из источника данных.

  Примеры

• registry_id — идентификатор реестра Docker, образы из которого будут использоваться при запуске заданий Spark. Можно создать новый реестр или использовать существующий.

  Примеры

• ip_pool — идентификатор внешней сети для пула IP-адресов кластера.

  Примеры

• spark_configuration — перечень свойств (properties), отвечающих за конфигурацию Spark.

• environment_variables — перечень переменных среды окружения для Spark.

Создайте файл конфигурации Terraform registry.tf c описанием инстанса K8S Docker Registry:

Скопировать
resource "vkcs_mlplatform_k8s_registry" "k8s_registry" {  name              = "tf-example"  admin_name        = "admin"  admin_password    = "Password12!Password"  flavor_id         = data.vkcs_compute_flavor.basic.id  availability_zone = "GZ1"  boot_volume = {    volume_type = "ceph-ssd"  }  networks = [    {      network_id = vkcs_networking_network.app.id      ip_pool = data.vkcs_networking_network.extnet.id    },  ]}

Здесь:

• flavor_id — идентификатор типа ВМ. Идентификатор можно прописать в манифесте или получить из источника данных.

  Примеры

• network_id — идентификатор сети, в которой будет размещен инстанс. Инстанс может быть размещен в существующей сети или в новой. Идентификатор можно указать в манифесте, получить из источника данных или ресурса.

  Примеры

• ip_pool — идентификатор внешней сети для пула IP-адресов кластера.

  Примеры

Создайте файл конфигурации Terraform flavor.tf c описанием нужного типа ВМ:

Скопировать
data "vkcs_compute_flavor" "basic" {  name = "STD2-4-4"}

Указанный в файле тип ВМ будет использоваться для создания инстансов в вашем проекте Terraform.

Создайте файл конфигурации Terraform network.tf с описанием сетевой инфраструктуры для кластера:

Скопировать
data "vkcs_networking_network" "default" {  name = "default"  sdn = "neutron"}

1. Поместите файлы конфигурации Terraform в одну директорию:

   • vkcs_provider.tf;
   • main.tf;
   • registry.tf;
   • flavor.tf (если создавался);
   • network.tf(если создавался).

2. Перейдите в эту директорию.

3. Убедитесь, что конфигурационные файлы корректны и содержат нужные изменения:

   Скопировать
   terraform validate && terraform plan

4. Примените изменения:

   Скопировать
   terraform apply

   При запросе подтверждения введите yes.

5. Дождитесь завершения операции.

Убедитесь, что кластер Spark был успешно создан:

1. Перейдите в личный кабинет VK Cloud.
2. Перейдите в раздел ML Platform → Инстансы. Убедитесь, что кластер Spark создан и активен.

Если созданные с помощью Terraform ресурсы вам больше не нужны, удалите их:

1. Перейдите в директорию с файлами конфигурации Terraform.

2. Выполните команду:

   Скопировать
   terraform destroy

   При запросе подтверждения введите yes.

3. Дождитесь завершения операции.