Updated at: March 20, 2024 06:18 AM
Configuring the Replication FactorBeta
VK Cloud поддерживает изменение фактора репликации на разных уровнях:
Существующие файлы кластера
Новые файлы кластера
Новые кластера проекта
-
Подключитесь к master-узлу с плавающем адресом с помощью SSH.
-
(Опционально) Уточните текущее число копий:
hdfs dfs -stat
Пример вывода команды:
1hdfs fsck /user/admin/data.csv 2/user/admin/data.csv: Under replicated BP-1014754436-192.168.99.119-1532095262675:blk_1073743175_2396. Target Replicas is 3 but found 1 live replica(s), 0 decommissioned replica(s) and 0 decommissioning replica(s). 3Status: HEALTHY 4 Total size: 2878934 B 5 Total dirs: 0 6 Total files: 1 7 Total symlinks: 0 8 Total blocks (validated): 1 (avg. block size 2878934 B) 9 Minimally replicated blocks: 1 (100.0 %) 10 Over-replicated blocks: 0 (0.0 %) 11 Under-replicated blocks: 1 (100.0 %) 12 Mis-replicated blocks: 0 (0.0 %) 13 Default replication factor: 1 14 Average block replication: 1.0 15 Corrupt blocks: 0 16 Missing replicas: 2 (66.666664 %) 17 Number of data-nodes: 1 18 Number of racks: 1 19FSCK ended at Mon Jul 23 17:20:46 UTC 2018 in 1 milliseconds 20The filesystem under path '/user/admin/data.csv' is HEALTHY
-
Измените фактор репликации для отдельного файла с помощью команды:
hdfs dfs -setrep 3 <путь к файлу>
Чтобы изменить параметр рекурсивно, добавьте в команду флаг
-R
.