Перфоманс Лаб находилась у истоков внедрения SAP в Х5 Retail Group и участвовала в становлении тестирования в крупнейшем ритейловом гиганте
Сегодня на рынке обеспечения качества ИТ-систем не так много компаний, имеющих экспертизу в SAP-тестировании, и Перфоманс Лаб – одна из немногих, кто этим занимается. Специалисты Перфоманс Лаб за многие годы наработали богатый опыт в ритейле (среди клиентов компании – М-Видео, Эльдорадо, ГК Виктория, Черкизово и другие), благодаря которому компания более 10 лет успешно помогала X5 Retail с поддержкой внутренних ИТ-систем, начиная с самого первого внедрения SAP платформы.
Организация нагрузочного тестирования SAP-систем в X5 Retail
В начале этого большого пути команде SAP Basis хватало ресурсов на вопросы производительности SAP-систем, но компания активно развивалась, системы усложнялись, а нагрузка на системы увеличивалась пропорционально росту retail-сети. Тем самым, повышалась и загруженность специалистов SAP Basis. Было принято решение выделить из числа штатных тестировщиков отдельного инженера, проводящего нагрузочное тестирование SAP.
На пару лет проблема была решена – ключевые аспекты производительности SAP-систем были под присмотром, но в определенный момент сыграл bus-factor – инженер-нагрузочник уволился из X5 Retail, и пришлось оперативно искать замену. На помощь вновь пришла команда Перфоманс Лаб, предоставив компетентных специалистов в нужный момент.
Изюминкой ситуации оказался так называемый «высокий сезон» – характерный для ритейла промежуток времени осенью, когда заметно повышается спрос и общая покупательская активность. Во время «высокого сезона» ИТ-системы такого гиганта, как X5 Retail, испытывают колоссальные нагрузки, обрабатывая огромные потоки информации для правильной работы тысяч и тысяч продуктовых (и не только) магазинов по всей стране.
Придя к заказчику в момент аврального роста продуктивных нагрузок, инженеры Перфоманс Лаб получили разрозненные документы, неполные, устаревшие на несколько лет инструкции и старую методику НТ. По большому счету команда была вынуждена выстраивать весь процесс заново, собирая по крупицам актуальную информацию и приводя в порядок документацию. Параллельно с этим то и дело приходилось разбираться с продуктивными инцидентами, критическими дефектами по части НТ, которые в высокий сезон были обычным делом – оборудование в ЦОД-ах уже давно не обновлялось и в такие пиковые периоды работало на пределе своих возможностей. При этом торговая сеть постоянно расширялась, так что дело начало принимать угрожающий оборот.
Специфика НТ SAP в X5 Retail
Основная работа на тестовом контуре у клиента предполагала настройку и тестирование внутренних тяжелых и интенсивных бизнес-процессов SAP: обновление ценников в торговых точках, ежедневный расчет скидок, ежедневный расчет логистики по развозу продуктов на основе информации, которую все магазины посылают в единый центр (запасы продуктов, прогнозы по остатку товаров в соответствии со сроками годности и многое другое). Таким образом, в тестовом контуре с высокой точностью необходимо было воспроизводить и анализировать максимально приближенную к продуктивной нагрузку от тысяч магазинов торговых сетей клиента, а также имитировать работу тысяч сотрудников-пользователей SAP и все это на фоне десятков тяжелых процессов, которые выполняли другие важные бизнес-задачи. Также среди них было важно не потерять слабо «светящиеся» в статистике «тяжелых», но крайне чувствительные для бизнеса процессы, обязательно включив их в профиль нагрузочного тестирования. Постоянно добавлялись новые процессы, старые изменялись, требовалось оперативно корректировать профиль нагрузки, особенно для срочных задач по тестированию в рамках исправления критических дефектов, «прилетающих» с продуктива. Отдельно добавляла жару необходимость делить тестовый контур с командами ФТ, АТ и SAP-консультантами, что требовало повышенной внимательности и тонкой организации процесса тестирования.
В ходе работы нашей команды была актуализирована методика нагрузочного тестирования, разработаны свежие инструкции, подробные чек-листы для настройки системы в тестовом контуре после копирования из бекапа, для генерации тестовых данных, для подготовки к запуску НТ, для остановки НТ и сбора результатов по завершении. В отсутствие на тот момент у заказчика возможности внедрить инструментарий Grafana была внедрена собственная, разработанная в Перфоманс Лаб, система мониторинга – Express Report, с помощью которой, в том числе, собирались и сравнивались логи. Был внедрен инструментарий сравнительного анализа метрик как основных (многопоточных) бизнес-процессов, так и их дочерних заданий. Анализировались AWR отчеты, был выстроен контроль точности генерации тестовых данных, была привнесена трассировка для тяжелых заданий («выхватывание» некоторых дочерних заданий и максимальный их анализ «на лету»). Все эти действия в дальнейшем были максимально автоматизированы нашей командой.
Помимо обычной работы наши специалисты занимались нагрузочным тестированием различных смежных систем, таких, к примеру, как сервера WFD и шина PI. Не было проблемой и решение необычных задач: как-то раз мы уточняли профиль нагрузки и добавили воспроизведение заданий бизнес-пользователей SAP, которые не очень тяжелые, но их очень много в дневное время, так что свои несколько процентов нагрузки они вносят. Мы поняли, что надо переименовать варианты программ, создаваемые бизнес-пользователями SAP во время ручных запусков заданий – все они автоматически именовались системой и начинались с символа «&», что делает невозможным запуск программы с этим вариантом штатными способами системы SAP. В результате была разработана Java программа, которая выгружала из SAP по RFC все необходимые варианты в json формате и переименовывала как надо, так что в итоге был получен достаточно точный профиль нагрузки.
Результаты
Командой Performance Lab практически заново был выстроен качественный и гибкий процесс нагрузочного тестирования, который помог крупнейшей ритейл-компании успешно справиться с кризисом высокого сезона, наложившимся на опаздывающий апгрейд серверных мощностей.