О сервисе^Beta

Apache Spark — ядро для обработки больших данных. Оно состоит из API-интерфейсов на Java, Scala, Python и R, а также инструментов обработки Spark SQL для SQL, pandas API, MLlib для машинного обучения, GraphX для обработки графиков и Structured Streaming для потоковой обработки. Чаще всего Spark используется в составе Hadoop-кластера.

Cloud Spark — решение на базе Apache Spark Operator и PaaS Kubernetes от VK Cloud. Оно позволяет развернуть Spark внутри Kubernetes с помощью образа из Docker Registry, без использования Hadoop-кластера.

• Распределенная обработка больших данных.
• Чтение данных из объектного хранилища с их дальнейшим экспортом в БД для обработки (ClickHouse / Greenplum / PostgreSQL). Также возможна передача данных из БД в объектное хранилище.
• Распределенное обучение ML-моделей с использованием больших данных.
• Графовые вычисления с применением компонента GraphX.

• Развертывание кластера Spark внутри Kubernetes.
• Автоматическая настройка master-узлов разворачиваемых кластеров.
• Подключение заранее собранного образа Spark через Docker Registry.
• Горизонтальное и вертикальное масштабирование кластера с поддержкой автомасштабирования.
• Разграничение доступов с помощью токенов и ролевой модели.
• Автоудаление или перевод кластера в спящий режим по расписанию.
• Управление сервисом с помощью API.