VK Cloud logo
Обновлена13 ноября 2023 г. в 10:32

КомпонентыBeta

Доступные компоненты

При ручной настройке вы можете выбрать набор компонентов, устанавливаемых в кластер:

  • ADCM — возможность подключения к Edge-узлу и к Head-узлу.
  • HBASE — нереляционная (NoSQL) распределенная база данных.
  • HDFS — распределённая файловая система Apache Hadoop.
  • HIVE — система хранения данных (data warehouse) для анализа больших наборов данных и ad-hoс запросов при помощи SQL.
  • MAPREDUCE — система на основе YARN для параллельной обработки больших наборов данных.
  • SPARK — платформа для обработки больших массивов данных.
  • MYSQL — реляционная система управления базами данных компании Oracle.
  • SQOOP — инструмент для передачи данных между Hadoop и реляционными базами данных или мэйнфреймами.
  • YARN — структура для планирования заданий и управления ресурсами кластера.
  • ZEPPELIN — интерактивный веб-блокнот, который поддерживает этапы работы с данными в Data Science, от извлечения до визуализации, в том числе интерактивный анализ и совместное использование документов.
  • ZOOKEEPER — сервис-координатор, который обеспечивает распределенную синхронизацию небольших по объему данных (конфигурационная информация, пространство имен) для группы приложений.
  • SOLR — поисковая платформа с открытым исходным кодом, построенная на Apache Lucene.
  • KERBEROS — сетевой протокол аутентификации, основанный на концепции мандатов (tickets). Позволяет узлам, обменивающимся данными по незащищенному каналу, безопасно идентифицировать друг друга.
  • AIRFLOW — платформа для создания, планирования и мониторинга рабочих процессов.
  • FLINK — фреймворк для statefull вычислений над потоками данных.

Шаблоны наборов компонентов

В рамках сервиса Cloud Big Data доступны шаблонные наборы компонентов для кластера.

  • Data Science:

    • HDFS,
    • YARN,
    • MapReduce 2,
    • Tez,
    • Hive,
    • Spark 2,
    • Sqoop,
    • flink,
    • Airflow,
    • Hbase,
    • Zeppelin.
  • EDW Analytics:

    • HDFS,
    • YARN,
    • MapReduce 2,
    • Tez,
    • Hive,
    • Spark 2.
  • EDW ETL:

    • HDFS,
    • YARN,
    • MapReduce 2,
    • Tez,
    • Hive,
    • Spark 2,
    • Sqoop,
    • Flink,
    • Airflow.
  • DATA Science + GPU:

    • HDFS,
    • YARN,
    • MapReduce 2,
    • Tez,
    • Hive,
    • Spark 2,
    • Sqoop,
    • Flink,
    • Airflow,
    • Hbase,
    • Zeppelin.