Истории успеха клиентов Mail.ru Cloud Solutions

Пилотный проект по обработке высокоплотных сейсмических данных с использованием платформы MCS

Компания ООО НПЦ «Геостра» с помощью сервиса MCS провела камеральную обработку сейсмической информации — 40 Тб высокоплотной съёмки МОГТ-3D на инфраструктуре из 2072 вычислительных ядер. О реализации, нюансах и результатах проекта будет рассказано в данной статье.
Компания
ООО НПЦ «Геостра»
Отрасль
Обработка и интерпретация данных
Сотрудников
277
Технологии в облаке

Компания ООО НПЦ «Геостра» с помощью сервиса MCS провела камеральную обработку сейсмической информации — 40 Тб высокоплотной съёмки МОГТ-3D на инфраструктуре из 2072 вычислительных ядер. О реализации, нюансах и результатах проекта будет рассказано в данной статье.

Промышленная добыча нефти в Республике Башкортостан началась ещё в 1932 году. Но по мере увеличения геолого-геофизической изученности региона, стандартные методики полевых и камеральных сейсморазведочных работ уже не позволяли находить новые нефтяные залежи в требуемых объёмах. Поэтому перед нефтяными компаниями встал вопрос более подробного изучения геологической среды.

Для исследований с необходимым уровнем детальности недропользователи вынуждены заказывать как полевые, так и камеральные сейсморазведочные работы с применением усложнённых методик. При этом объём получаемых данных существенно увеличивается, и для их обработки и интерпретации требуются значительные вычислительные ресурсы.

Сервисные геофизические компании, в свою очередь, находятся в постоянном поиске способов оптимизации ресурсов и наращивания вычислительных мощностей. Одним из перспективных направлений сегодня являются облачные технологии.

Параметры и формат проекта

Площадь участка, который изучался в рамках пилотного проекта, составляла 47 км2. В качестве методики полевых наблюдений была выбрана технология, позволяющая в сжатые сроки провести регистрацию высокоплотных сейсмических наблюдений МОГТ-3D. Для этого была усовершенствована методико-технологическая база как Департамента разведочной геофизики АО «Башнефтегеофизика», специалисты которого отвечали за выполнение полевой стадии проекта, так и компании ООО НПЦ «Геостра», экспертные группы которой выполняли камеральные работы.

Этапы обработки сейсмических данных

В данной статье акцент будет сделан на камеральной части проекта. А именно, на специфике реализации технической части блока обработки сейсмических данных, которая включала в себя, помимо типовых работ, ещё и специальную технологию — полноазимутальную миграцию.

Объём исходных данных для циклического выполнения расчётов составлял 40 Тб. С учётом пространственной плотности сейсмотрасс, при пересчёте на стандартную систему полевых наблюдений для региона работ этот объём данных соответствует съёмке около 2500 км2 (при стандартных площадях покрытия в 200-400 км2). Вычислительный центр НПЦ «Геостра» рассчитан на решение задач подобных объемов. Однако, резервирование кластерной системы под решение задачи высокоплотной съёмки не было запланировано на период реализации проекта. Согласно расчётам, требовалось задействовать не менее 2000 дополнительных физических ядер, для каждого из которых требовалось по 16 Гб оперативной памяти.

Облачные же сервисы позволяют оперативно менять используемый объём вычислительных ресурсов в зависимости от конкретной задачи. Соответственно, можно ускорить обработку данных, оперативно увеличивая объём ресурсов, и при этом оптимизировать расходы, отказываясь от части серверов при решении задач, не требующих выхода на полную мощность.

Необходимо отметить, что на реализацию проекта накладывались определенные ограничения, которые помогли нарисовать портрет компании, предоставляющей услуги в облачном сервисе:

  • Серверы располагаются на территории РФ. Работа со стратегически важной информацией — геофизическими данными, которые закон запрещает передавать за пределы страны.
  • Эксклюзивный доступ к ресурсам. Рабочие нагрузки должны иметь максимальный приоритет и не делить пул облачных ресурсов с другими клиентами провайдера.
  • Совместимость софта и железа. Геофизическое ПО должно стабильно работать в среде виртуализации. По этому вопросу были сомнения, так как изначально софт был написан под стек определённых процессоров. Информации о том, как он поведет себя в эмуляторе, крайне мало.

Одно только первое требование — хранение данных в РФ — сильно сузило круг поиска подходящего поставщика услуг. В результате отбора кандидатов MCS как один из лидеров на рынке облачного сервиса в России стал партнером НПЦ «Геостра» при выполнении тестового проекта. MCS оперативно предоставил необходимые мощности, тестовую среду и эксклюзивный доступ к вычислительным ресурсам. Соответствие требованию по совместимости – как специализированный софт поведет себя в среде виртуализации, возможно было проверить только на практике.

Перенос геофизического ПО на облачную платформу

Специалистами НПЦ «Геостра» предварительно было определено, что для выполнения тестового проекта в плановые сроки потребуется 2000 ядер. На практике оказалось, что из-за особенностей софта отсутствует линейная связь скорости обработки и суммарной мощности. Если один сервер решает задачу за час, то для десятикратного ускорения может не хватить и десяти серверов. В сотрудничестве со специалистами из MCS была подготовлена инфраструктура из 2072 вычислительных ядер. Для сложных расчетов использовались облачные вычисления на базе GPU с графическими процессорами NVIDIA Tesla V100. Также применялась система хранения MCS, которую обслуживало полсотни терабайтных SSD-накопителей. Кроме того, была предоставлена виртуальная сетевая инфраструктура с пропускной способностью не менее 1 Гбит/c между любыми двумя серверами.

Глубинно-скоростная модель среды

С миграцией геофизического софта в облако больших проблем не было. Однако во время тестирования возникло узкое место — производительность дисковой подсистемы. Специалистам MCS и НПЦ «Геостра» удалось почти вдвое увеличить скорость доступа к данным на облачных дисках. Также геофизический софт работал на редкой версии операционной системы, которая не позволяла использовать виртуальную сеть на 100 %. Совместная работа специалистов обеих компаний по тонкой настройке операционной системы привела к решению и этой проблемы.

Таким образом, специализированное программное обеспечение, которое изначально разрабатывалось под физическое оборудование, заработало на виртуальных мощностях. К успеху пилотного проекта длительностью 1,5 месяца привел и тот факт, что проблемные ситуации были решены ещё на этапе тестирования.

Итоги

Пилотный проект оказался успешным. Облачные вычислительные мощности справились с обработкой высокоплотных сейсмических данных. Компания НПЦ «Геостра» получила большой опыт в работе с геофизическим софтом на облачных ресурсах, что позволит применить его в будущих крупных проектах.

О перспективах облачных сервисов в нефтеразведке

Нефтяные компании вплотную подошли к тому, чтобы использовать современные технологии для разведки новых месторождений. Стало понятно, что в эпоху big-data существенно выросли требования к вычислительным мощностям как самих нефтяных компаний, так и нефтесервисных предприятий.

Таким образом, нефтяная отрасль оказалась перед выбором: продолжать наращивать свои вычислительные мощности (непрерывно заниматься модернизацией, развитием и содержанием) или арендовать вычислительные мощности по мере необходимости в виде услуги, например, в виде облачных сервисов. Опыт производства данного проекта показал, что облака способны успешно реализовывать высокие требования специализированного программного обеспечения.

Источник: https://habr.com/ru/company/mailru/blog/484662/

Хотите попробовать сервисы MCS?
20 лет
опыта поддержки высоконагруженных сервисов
100+ млн
пользователей по всему миру
5 лет
экспертизы развития облачной инфраструктуры