Большие данные от Mail.Ru Cloud Solutions

Масштабируемый PaaS-сервис для анализа больших данных (big data) на базе Apache Hadoop и Apache Spark

Рассчитать стоимость
Замените дорогую и неэффективную локальную инфраструктуру обработки больших данных, которая нужна всего несколько часов в неделю, на мощную облачную инфраструктуру на основе Apache Hadoop и Apache Spark.

Об Apache Hadoop и Apache Spark

Apache Hadoop и Apache Spark — платформы с открытым кодом для надежной и быстрой обработки огромных объемов слабоструктурированных данных из разнородных источников.

Вы можете использовать Hadoop для анализа «озер данных» (data lake), индексации веб-сайтов, финансового анализа, научных исследований. Spark оптимален для создания шины микросервисов и анализа в реальном времени, например — сегментации посетителей сайтов, fraud detection, мониторинга транспорта.

Большие данные от Mail.Ru Cloud Solutions: преимущества

  • Создание кластера за несколько минут. Сервис берет на себя создание машин и кластеров, настройку Hadoop, оптимизацию производительности
  • Можно добавлять модули, создавать нетиповые конфигурации кластера благодаря root-доступу к каждому узлу и к административному интерфейсу
  • Управление кластером через веб-интерфейс, командную строку, API
  • Гибкая масштабируемость вычислительных ресурсов и объёма хранения — от пары до сотен серверов и обратно за 10 минут
  • Поддержка на русском языке
  • Оплата посекундно, за фактически потребленный дисковый объем
  • Не нужно платить за RAM и CPU остановленных виртуальных машин
  • Кластер Hadoop из 10 узлов — 39 ₽/час
  • С сервисами Mail.Ru Cloud Solutions: S3-совместимым объектным хранилищем, виртуальными машинами, кластерами Kubernetes, вычислениями на базе GPU
  • Приватная сеть с компонентами Hadoop и другими сервисами в вашей IT-системе для создания гибридного облака
  • Лёгкая миграция приложений для Hadoop с аналогичных облачных решений, таких как Amazon AWS, Microsoft Azure, Google Cloud
  • Сервис создан на основе глубокой экспертизы команды Mail.Ru в использовании Hadoop и Spark
  • Хранение данных строго на территории РФ, в ЦОДах уровня TIER III, с тройной репликацией и непрерывным мониторингом безопасности

Области применения

Hadoop

Анализ агрегированных данных
  • Машинное обучение

    Машинное обучение

    Нейронные сети, глубокое обучение, распознавание образов, ИИ
  • Исследования

    Исследования

    Поиск ископаемых, медицина, геномика, социология, астрономия, численные методы, классификация
  • Финансы и банки

    Финансы и банки

    Финансовый анализ, кредитный скоринг

Spark

Агрегация данных, анализ в реальном времени
  • Денежные переводы

    Денежные переводы

    Fraud detection в операциях с картами
  • Фильтрация спама

    Фильтрация спама

    Выявление спама в письмах и комментариях, автоматическое удаление
  • Индустрия и IoT

    Индустрия и IoT

    Мониторинг и анализ состояния бизнес-процесса

Hadoop + Spark

  • Анализ операционной деятельности компании

    Анализ операционной деятельности компании

    Агрегация data lake, ETL-обработка, оценка решений, анализ возможностей на рынке
  • Транспорт

    Транспорт

    Мониторинг, отчеты, перераспределение транспортной нагрузки
  • Диджитал-маркетинг

    Диджитал-маркетинг

    Сегментация пользователей по действиям на сайте, в приложении

Конфигурация кластера

Выберите подходящий предустановленный шаблон
  • Hadoop

    Для широкого спектра задач по обработке больших данных при помощи технологии MapReduce. Шаблон ориентирован на пакетную (batch) обработку данных.
  • Spark

    Для параллельной обработки больших данных в памяти. Шаблон ориентирован на быструю обработку данных в режиме, близком к реальному времени.
Если вы опытный пользователь, вы можете задействовать собственную конфигурацию и установить нужные компоненты с помощью веб-интерфейса.

Стоимость

  • Тип Head-сервера
    Standard-4-16-50 4 vCPU, 16 ГБ RAM, 50 ГБ SSD
    • Standard-4-16-50 4 vCPU, 16 ГБ RAM, 50 ГБ SSD
    • Advanced-8-16-100 8 vCPU, 16 ГБ RAM, 100 ГБ SSD
    • Advanced-8-16-160 8 vCPU, 16 ГБ RAM, 160 ГБ SSD
    • Advanced-8-32-50 8 vCPU, 32 ГБ RAM, 50 ГБ SSD
    • Advanced-16-32-50 16 vCPU, 32 ГБ RAM, 50 ГБ SSD
    • Advanced-16-64-50 16 vCPU, 64 ГБ RAM, 50 ГБ SSD
    • Expert-32-64-50 32 vCPU, 64 ГБ RAM, 50 ГБ SSD
    • Expert-32-128-50 32 vCPU, 128 ГБ RAM, 50 ГБ SSD
  • Тип Worker-сервера
    Standard-2-8-50 2 vCPU, 8 ГБ RAM, 50 ГБ SSD
    • Standard-2-8-50 2 vCPU, 8 ГБ RAM, 50 ГБ SSD
    • Standard-4-8-80 4 vCPU, 8 ГБ RAM, 80 ГБ SSD
    • Standard-4-16-50 4 vCPU, 16 ГБ RAM, 50 ГБ SSD
    • Advanced-8-16-100 8 vCPU, 16 ГБ RAM, 100 ГБ SSD
    • Advanced-8-16-160 8 vCPU, 16 ГБ RAM, 160 ГБ SSD
    • Advanced-8-32-50 8 vCPU, 32 ГБ RAM, 50 ГБ SSD
    • Advanced-16-32-50 16 vCPU, 32 ГБ RAM, 50 ГБ SSD
    • Advanced-16-64-50 16 vCPU, 64 ГБ RAM, 50 ГБ SSD
    • Expert-32-64-50 32 vCPU, 64 ГБ RAM, 50 ГБ SSD
    • Expert-32-128-50 32 vCPU, 128 ГБ RAM, 50 ГБ SSD
  • Стоимость в месяц
    7 620
  • Стоимость в час
    10,58
Нужна нестандартная конфигурация?

Вопросы-ответы

  • Какие модули поддерживаются?

    HDFS, YARN, MapReduce2, Tez, Hive, HBase, Pig, ZooKeeper, Storm, Kafka, Spark2, Zeppelin Notebook, Sqoop, Oozie, Falcon, Flume, Accumulo, Ambari Infra, Ambari Metrics, Atlas, Knox, Log Search, Ranger, Ranger KMS, SmartSense, Spark, Druid, Kerberos, Mahout, Slider, Superset.

    Вы можете создать кластер уникальной конфигурации для вашей задачи, подключив нужные модули.

  • Какой состав у шаблонов Hadoop и Spark?
    Модули Шаблон
    Hadoop Spark
    Ambari X X
    HDFS X X
    Hive X X
    Jupyter X
    Livy X
    MapReduce2 X X
    Oozie X X
    Pig X X
    Slider X
    Spark2 X
    Sqoop X X
    Tez X X
    YARN X X
    Zeppelin X
    ZooKeeper X X
    Подробнее о шаблонах

Не нашли ответ на свой вопрос?

Задайте его через форму обратной связи
Задать вопрос
На большинство вопросов о настройке можно найти ответ в нашей документации
Перейти к документации
  • 20 лет опыта развития и поддержки собственной инфраструктуры Mail.Ru Group
  • 100+ млн пользователей всех сервисов Mail.Ru Group по всему миру
Облачная платформа от Mail.Ru Group. Мы использовали опыт управления собственной IT-инфраструктурой с миллионами пользователей, чтобы создать гибкие и удобные облачные сервисы с высоким уровнем безопасности и оптимальной стоимостью для современного бизнеса.