VK Cloud logo
Updated atMarch 20, 2024   06:18 AM

Configuring the Replication FactorBeta

VK Cloud поддерживает изменение фактора репликации на разных уровнях:

  1. Подключитесь к master-узлу с плавающем адресом с помощью SSH.

  2. (Опционально) Уточните текущее число копий:

    hdfs dfs -stat

    Пример вывода команды:

    1hdfs fsck /user/admin/data.csv
    2/user/admin/data.csv:  Under replicated BP-1014754436-192.168.99.119-1532095262675:blk_1073743175_2396. Target Replicas is 3 but found 1 live replica(s), 0 decommissioned replica(s) and 0 decommissioning replica(s).
    3Status: HEALTHY
    4 Total size: 2878934 B
    5 Total dirs: 0
    6 Total files:   1
    7 Total symlinks:             0
    8 Total blocks (validated):   1 (avg. block size 2878934 B)
    9 Minimally replicated blocks:   1 (100.0 %)
    10 Over-replicated blocks:     0 (0.0 %)
    11 Under-replicated blocks:    1 (100.0 %)
    12 Mis-replicated blocks:      0 (0.0 %)
    13 Default replication factor: 1
    14 Average block replication:  1.0
    15 Corrupt blocks:             0
    16 Missing replicas:           2 (66.666664 %)
    17 Number of data-nodes:       1
    18 Number of racks:            1
    19FSCK ended at Mon Jul 23 17:20:46 UTC 2018 in 1 milliseconds
    20The filesystem under path '/user/admin/data.csv' is HEALTHY
  3. Измените фактор репликации для отдельного файла с помощью команды:

    hdfs dfs -setrep 3 <путь к файлу>

    Чтобы изменить параметр рекурсивно, добавьте в команду флаг -R.