Easy Freezy: как с помощью VK Testers мы выявили и устранили 180 багов на сайте перед релизом

Easy Freezy — служба доставки замороженных продуктов в Санкт-Петербурге и области

Компания предлагает все виды замороженных продуктов: от мороженого, десертов и выпечки до ягод, рыбы и стейков. Наш основной канал взаимодействия с клиентами — сайт, на нем пользователи оставляют заказы и оформляют доставку. Доступность сайта и его корректная работа влияют на лояльность клиентов и успешность бизнеса.

В 2022 году мы начали разработку сайта силами сторонних разработчиков. Перед релизом нам было важно убедиться, что он работает корректно и не содержит критических уязвимостей, способных повлиять на бизнес.

Зачем нам понадобилось стороннее бета-тестирование

Первичное тестирование сайта провели силами своей команды — проверили его доступность, правильность наполнения и отображения информации, отсутствие технических ошибок.

В итоге поняли, что на сайте есть ошибки и не стоит релизить его в текущем виде. Решили привлечь профессиональных тестировщиков.

Сформулировали требования к бета-тестированию сайта:

1. Независимые эксперты. Разработчики сайта проводили тесты, но был риск, что они заинтересованы быстрее сдать проект, а не гарантировать отсутствие багов. Хотелось привлечь к тестированию специалистов, нацеленных именно на поиск ошибок.
2. Комплексное исследование. На лояльность клиентов влияет все — от доступности сайта и удобства пользовательского интерфейса до отсутствия ошибок. Поэтому нам было важно протестировать сайт на всех уровнях — от интерфейса до кода.
3. Оперативное тестирование. Мы стремились сократить простой сайта, поэтому скорость бета-тестирования стала важным критерием. Чтобы спешка не повлияла на качество и глубину проверки, мы хотели привлечь максимально возможное число тестировщиков.
4. Интерпретируемость результатов. Нам было важно устранить недочеты. Для этого нужны понятные и подробные отчеты, на основании которых можно составить техническое задание на доработку.

Исходя из этого, мы сформулировали требования к подрядчику:

• может одновременно привлечь к тестированию множество компетентных специалистов;
• есть собственный баг-трекер для сбора и обработки сообщений об ошибках;
• обеспечивает безопасность и конфиденциальность данных во время тестирования;
• предоставляет поддержку и консультации после тестирования.

В итоге решили воспользоваться VK Testers — платформой для крауд-тестирования ИТ-продуктов с большим сообществом бета-тестировщиков.

Результат: выявили и устранили 180 багов до релиза

Мы пообщались с менеджером сервиса и выработали план тестирования с учетом наших пожеланий. По итогам внутренних проверок мы понимали, на что нужно обратить особое внимание.

Команда VK Testers подготовила сайт к тестированию: настроила баг-трекер, обучила модераторов и подобрала 344 тестировщика. Вот что они делали:

• проверили пользовательский интерфейс — корректность наполнения, отсутствие ошибок в тексте, правильность отображения элементов сайта;
• провели исследовательское тестирование — проверили, что алгоритм заказа на сайте понятен, а функциональность работает без сбоев;
• изучили код и выполнили тестирование на проникновение (пентест) — искали уязвимости и возможности для взлома сайта.

Тестирование проводилось в два этапа: сначала на тестовом домене, после — на основном. Каждый из этапов занял два-три дня.

По итогам бета-тестирования специалисты, привлеченные VK Testers, обнаружили 180 багов. Среди них было 16 уязвимостей, которые позволяли перехватить управление сайтом и получить доступ к конфиденциальным данным.

Воспользовавшись VK Testers, мы решили две задачи.

• Исключили на сайте ошибки. По каждой из выявленных проблем нам предоставили подробный отчет. Это позволило оперативно приступить к их устранению.
• Улучшили сайт с учетом реального пользовательского опыта. В VK Testers можно обсудить результаты с тестировщиками. Обратная связь помогла нам понять, как сделать сайт более удобным и интуитивно понятным.

Планы на будущее

Из-за специфики бизнеса нам нужно постоянно обновлять сайт — расширять каталог, актуализировать информацию в карточках товаров, добавлять новые категории. Поэтому периодическое тестирование сайта — обязательная часть стратегии развития. Так что мы продолжим пользоваться сервисом VK Testers на регулярной основе.