Перфоманс Лаб

тестирование
8 октября, 2019

Почему ваша ракета не взлетела?

Время чтения: 10 мин.
8 октября, 2019

Наша компания уже более 10 лет на рынке тестирования, и часто проект по нагрузочному тестированию или автоматизации начинается еще до выхода специалистов на площадку. Эта статья про то, что предваряет основную работу, но часто является определяющим фактором для многих заказчиков —  подача заявок на тендер. Ведь именно от того, кто в конечном счете станет исполнителем и будет выполнять проекты зависит их качество. 

Статья посвящена разбору типичных ошибок при подаче заявок на тендеры. Рассматриваемые вопросы актуальны в первую очередь для тендеров в сфере информационных технологий (разработка и тестирование программного обеспечения), однако будут полезны к изучению и для специалистов, занимающихся тендерами в других сферах.

Подача заявки на тендер в чём-то сравнима с запуском ракеты: делаете множество подготовительных действий, планируете, рассчитываете, потом запуск. Но не всегда этот запуск проходит удачно: иногда ракета может взорваться ещё на старте. В тендерах, как и в запуске ракет, достаточно одной небольшой ошибки, чтобы испортить всё дело.

Часть 1. Генерал Фейлор или взрыв на старте

Почему мы делаем ошибки? Во многом причина в невнимательности и в излишней спешке. Иногда одно незамеченное предложение в конкурсной документации или одна некорректно истолкованная фраза могут кардинально поменять судьбу вашей заявки. Также в документации могут быть неточности, которые вы, опять же в силу невнимательности и спешки, можете не заметить.

Ниже примеры таких досадных ситуаций.

Ситуация 1 — Подачи заявок “на бумаге” постепенно уходят в прошлое, но тем не менее данная ситуация всё ещё актуальна. В документации и на электронной торговой площадке (ЭТП) указаны разные адреса подачи заявки. Также может быть такой вариант, когда в самой конкурсной документации указано 2 разных адреса подачи заявки. Бывают такие конкурсы, где заказчик и организатор — это разные юрлица (актуально в госсекторе), следовательно всегда нужно в первую очередь ориентироваться  именно на конкурсную документацию, всегда проверять её на актуальность (об этом далее) и отвозить заявку именно на “адрес вскрытия конвертов”.

Ситуация 2 — В документации и на ЭТП указано разное время завершения приёма заявок. Был такой случай: часы на компьютере были настроены на другой часовой пояс и показывали на 1 час больше, а ЭТП как раз данный параметр использовала для отображения времени, оставшегося до конца подачи. В итоге “за 1 час” до завершения подачи ЭТП сообщает, что подача завершена, заявки больше не принимаются. Ракета снова взорвалась. Вывод — всегда внимательно читаем документацию, ориентируемся на сроки, указанные в ней.

Ситуация 3 — Документация будет доступна только по запросу и только в ограниченное время. Некоторые особо конфиденциальные заказчики выдают техническую часть документации (ТЗ и прочие документы, необходимые для оценки стоимости проекта) только после подписания Соглашения о неразглашении (NDA), причём срок подписания такого NDA может быть ограничен, например 2 дня. Не успели — в конкурсе не участвуете.  Чтобы ваша ракета не взорвалась на этом шаге, внимательно читайте документацию/извещение, этот момент обязательно там описан, правда не всегда на самом видном месте.

Ситуация 4 — Подача заявки под конец срока приёма. Потребность в такой подаче может возникнуть, например, чтобы конкуренты не увидели вашу цену слишком рано и не успели переподать свои заявки. Но здесь же кроется и опасность для вас:  сбой компьютера, проблемы с Интернет, внезапный отказ ЭТП, ошибка электронной цифровой подписи (ЭЦП), ошибки по загрузке файлов на площадку (например, файлы слишком “большие” или их слишком много) — всё это очень сложно будет устранить, когда счётчик тикает и время почти на исходе. Чтобы подстраховаться и повысить успех мероприятия по подаче в такой ситуации, заранее подготовьте как минимум 1 резервный компьютер, проверьте работу ЭЦП, настройте резервный канал Интернет (например, мобильный). Обычно на ЭТП есть возможность загрузить заявку и сохранить её как черновик, не подавая на рассмотрение Заказчику. Рекомендую воспользоваться этой возможностью.

Часть 2. Взлёт и падение

Допустим, вы удачно подали заявку и с нетерпением ждёте когда будут результаты. Затем заказчик публикует Протокол рассмотрения 1 частей  заявок (он же Протокол вскрытия конвертов), а там сюрприз — заявка отклонена. Ниже разберём ситуации, почему происходят такие досадные недоразумения.

Ситуация 1 — Забыли о чём-то важном: в заявке отсутствует обязательный с точки  зрения конкурсной документации документ. Это может быть доверенность на подписанта, Банковская гарантия, Выписка из ЕГРЮЛ. Возможно по ошибке загрузили не тот файл, например устаревшую версию. Также это могут быть какие-то документы, которые указаны в документации неявно, например, в документацию вложено ТЗ и там также прописаны документы, которые необходимо предоставить в составе Заявки.

Ситуация 2 — Заказчик внезапно обновляет документацию, спустя какое-то время после публикации закупки. Полностью погрузившись в  подготовку заявки, Вы совершенно не подозреваете, что в этот самый момент все требования могут быть переработаны. Поданная по устаревшей документации заявка обречена на провал. 

Ситуация 3 — Оказалось, что закупка, в которой Вы решили поучаствовать предназначена для узкого круга участников: субъекты малого предпринимательства (СМП) или обладатели специальных сертификатов или прочие подобные ограничения. Такие моменты нужно выявлять в документации на этапе первичного анализа. Нужно в первую очередь изучить разделы “Требования к участникам” и “Ограничения к участию”. Не заметите таких  ограничений вовремя — можете забыть о своей ракете, т.к. крушение гарантировано.

Ситуация 4 — Во всём виноват Excel. Бывают такие случаи, когда расчёт выполняется в Excel, затем эти данные  подставляются в заявку. Особенность Excel, в том что по умолчанию выполняется округление значений: после 2-го знака после запятой числа визуально не отображаются, но фактически учитываются при расчётах. Таким образом, в Excel на выходе расчёта получаем одно значение, а если эти же цифры взять из Excel и подставить в Word и перемножить на калькуляторе — получим совсем другое значение. Приоритет в этом случае за последним. Поэтому всегда рекомендуется перепроверять расчёт из Excel.

Ситуация 5 — Лучше недолёт, чем перелёт. В документации указывается максимальная возможная цена или норматив по трудозатратам или срокам как в целом по проекту, так и по отдельно взятым этапам. Не заметили и случайно превысили — падение ракеты гарантировано.

Ситуация 6 — Досадные неточности. В некоторых особенно важных документах ошибки недопустимы. Некорректно оформленная банковская гарантия или платёжное поручение с неверно указанным назначением платежа сведёт на нет все труды по подготовке заявки.

Ситуация 7 — Некорректное оформление заявки в целом. Например, заявка на бумаге не прошита или где-то отсутствует подпись/печать.  Печально, но и такое случается.

Ситуация 8 — Блок-факторы и их последствия. В конкурсной документации прописаны требования, которым в обязательном порядке должен соответствовать каждый участник закупки. Заявка будет отклонена, если  хотя бы по 1 из параметров не будет соответствовать требованиям. Это могут быть специфические договоры, сертификаты или наличие у компании особого статуса. Данные параметры используются для блокирования заведомо неконкурентных заявок, собственно, поэтому эти параметры и названы блок-факторы. Нужно научиться очень внимательно анализировать требования, чтобы понимать, в каком случае отсутствие опыта/квалификации приведёт лишь к снижению итоговой оценки заявки, а в каком случае — к отклонению заявки в целом.

Часть 3. Пролетая мимо цели. Или главное победа, а не участие

Заявка принята, и всё отлично, но в итоговом протоколе напротив строки “Победитель” почему-то значится совсем не ваша компания. Судя по всему, в результате совокупной оценки заявки, конкурсная комиссия решила присудить победу конкуренту, который показал себя лучше вас. Общая рекомендация в данном случае — составить таблицу распределения оценок заявки по критериям и весам. Требуется четко понимать, за что конкурсная комиссия начислит больше баллов, а за что меньше и сопоставить это с вашими сильными и слабыми сторонами (а в идеале смоделировать аналогичные ситуации для потенциальных конкурентов).

Ситуация 1 — Сбалансированные показатели оценки. Ориентировочно 30% — цена, 40% — опыт (наличие договоров), 30% — наличие квалифицированных сотрудников. Распространенный вариант.  Если есть предел (ограничение) по критериям “Опыт” и “Квалификация”, то есть хорошие шансы на победу, если заявить хорошую цену и если располагаете достаточным количеством выполненных договоров и квалифицированных сотрудников.

Ситуация 2 — Цена решает всё. Если в конкурсной документации заявлено, что оценка по критерию “Цена” составляет 60 и более процентов от общей оценки заявки, нужно в первую очередь думать, как оптимизировать ценовое предложение: снизить издержки, часть работ запараллелить, перераспределить команду, применить более дешёвые подходы/технологии. В данном случае нужно начать разработку стратегии минимизации стоимости работ уже на этапе подготовки заявки на тендер. Однако следует помнить, что зачастую цена на 25% ниже максимальной потребует дополнительного подтверждения добросовестности участника: может потребоваться предоставить в 2 раза большее обеспечение контракта и/или предоставить дополнительные договоры для подтверждения опыта выполнения аналогичных работ.

Ситуация 3 — Перевес в сторону качества. В документации присутствует критерий “Качество” и оценка по данному критерию составляет 50 и более процентов. Непростая ситуация: чтобы подготовить Предложение о качестве, которое и будет предметом оценки конкурсной комиссии, необходимо иметь представление об объекте выполнения работ и комплект документации, а после объявления закупки, заказчик предоставить такую информацию не может (особенно госзаказчик). В данном случае можно попытаться заранее, до объявления закупки, назначить с заказчиком встречу. Для этого нужно проанализировать уже отыгранные заказчиком конкурсы по вашей тематике и найти по ним контракты (по госзаказчикам они в открытом доступе), которые скоро заканчиваются. Соответственно, завершение одного контракта подразумевает инициацию конкурса для подписания нового контракта, и в этот период времени можно будет получить ту самую недостающую информацию. 

Вариант 2: подаваться заранее понимая, что по критерию “Качество” будет минимальный балл. В этом случае нужно рассчитывать только на критерии “Цена”, “Квалификация” и “Опыт” — обеспечив там максимально выгодное предложение.

Ситуация 4 — Критерии не ясны. Если в документации не прописаны критерии оценки не прописаны и заказчик не предоставляет никакой информации по их разъяснению, то с большой долей вероятности можно предположить, что по данному тендеру не придётся рассчитывать на объективную оценку. Подавать заявку на такой тендер стоит только в том случае, если у вас есть действительно веское преимущество, которое при неявных критериях сможет выгодно сыграть на фоне конкурентов.

Часть 4. Полёт прошёл удачно, но есть проблемы

По итогам конкурса, ваша заявка победила, и заказчик готов подписать контракт. Но вдруг выясняются детали договора, которые могут омрачить радость победы. 

Ситуация 1 — Срок подписания контракта и предоставления обеспечения контракта. Вопрос обеспечения контракта, особенно банковской гарантии, требуется прорабатывать ещё до подачи заявки, так как возможны трудности с оформлением данного документа. Уточните заранее возможность оформить банковскую гарантию именно с теми параметрами, что вам требуется: сумма, длительность, формулировки. После победы в тендере время на предоставление банковской гарантии ограничено 10 календарными днями (для госзакупок), поэтому возможные сложности лучше выявить и проработать заранее.

Ситуация 2 — Невыгодные условия договора. До подачи заявки обязательно ознакомьтесь с проектом договора. Возможно вам захочется внести изменения в договор, а после подачи заявки сделать это будет невозможно.

Ситуация 3 — В конкурсной документации прописано, что на проект должна быть выведена именно та команда, что указана в заявке. Также в документации может быть прописан запрет на использование сведений о сотрудниках, поданных в составе заявки на этот конкурс на другие конкурсы данного заказчика. К этой же категории событий можно отнести требования по обязательному привлечению в качестве подрядчиков субъектов малого предпринимательства или социально-ориентированных некоммерческих организаций.  Внимательно читаем документацию, заранее думаем как минимизировать риски.

Ситуация 4 — В Техническом задании прописан так называемый “Подготовительный этап”. Подготовительный этап — это краткий по длительности этап работ, за который необходимо представить Заказчику конкретный результат, требуемый для осуществления работ в дальнейшем, например, предоставить разработанную функциональность или документацию. Наличие такого этапа в договоре — это серьёзный повод задуматься и заранее просчитать возможность реализации указанных там работ в обозначенный срок. Ведь невыполнение данного этапа может грозить полным  расторжением договора. 

Ситуация 5 — В финальном коммерческом предложении вышли нереалистичные показатели. Предположим вы настолько увлеклись торгами и целью победить любой ценой, что процесс оптимизации КП превратился в азартную игру: трудозатраты и стоимости тают на глазах.  Такой подход таит в себе множество рисков, и в первую очередь риск получить на выходе убыточный договор. Помимо наличия согласованных минимальных параметров по цене, трудозатратам и срокам работ, необходимо убедиться в реалистичности получившихся в итоговом КП данных. Например, может получиться такой расчёт, в котором при соблюдении всех согласованных норм по цене и трудозатратам, работа, которая обычно выполняется  4 дня, должна быть выполнена за 1 день или вместо обычной команды из 3-х человек, потребуется команда из 10 человек, чтобы сдать этап работ в срок. Сюда же можно отнести и ситуацию, когда не обратили внимания, что работы необходимо проводить на территории заказчика, который находится в другом регионе, а расходы на командировку и проживание в другом регионе не заложены в бюджет проекта.

Часть 5. Отставить запуск. Или почему не стоит участвовать в некоторых торгах

Иногда следует отказаться от участия в заведомо невыигрышном тендере, например, чтобы направить усилия на другие актуальные задачи.

Ситуация 1 — Вам пришёл “холодный запрос” с предложением поучаствовать в тендере. В данном случае нужно постараться экспертно оценить заинтересованность Заказчика заказать работы именно у вас. Если Заказчик легко идёт на контакт, предоставляет все необходимые разъяснения “обычным”, а не “канцелярским” языком, есть вероятность в успехе мероприятия. В противном случае, вас просто пригласили поучаствовать в вечеринке, где главным героем является кто-то из ваших конкурентов.  

Ситуация 2 — Неформализованное Техническое задание. Из конкурсной документации и технического задания совершенно не ясно, что требуется выполнить, детализированного ТЗ у Заказчика нет, и другие документы он также отказывается предоставлять. Если нет возможности получить ясное представление о составе, условиях выполнения и результатах работ, есть 2 варианта решения: 1 — закладываем в оценку все возможные риски, которые могут “выстрелить” в таком проекте и подаём получившуюся цену. 2 — не участвуем, ищем что-то  более подходящее. По опыту: выиграть в 1 варианте возможно в случае, если никто больше не подался или все заявки кроме вашей были отклонены.

Ситуация 3 — Плохая “развесовка” по критериям оценки заявки. В части 3 я уже упоминал про этот момент на примере с перевесом в сторону качественного критерия и сложностей с его реализацией. Также неблагоприятный фактор — нет ограничения на максимальное количество/сумму договоров, подаваемых для подтверждения опыта. Так как баллы начисляются относительно заявки с максимальным количеством поданных договоров, более крупный игрок в легкую “задавит” своими договорами мелкого. Аналогичная ситуация, если не ограничено максимальное число квалифицированных сотрудников в штате — тут снова априори победа за крупным игроком. 

Ситуация 4 — Сильно сжатые сроки подачи заявки. Срок подачи заявки 3-4 дня, при этом требуется подготовить огромное количество документов, включая копии договоров, сертификаты, всевозможные справки из ФНС и техническое предложение. Судя по всему заказчику куда-то очень торопится или кто-то уже все подготовил и с нетерпением ждёт начала подачи.

Выводы и рекомендации

Самый главный вывод — необходимо внимательно читать документацию и уметь увидеть в ней все особенности и риски. Чтобы достичь такого результата рекомендуется:

  1. Читать документацию и параллельно составлять список документов для заявки (чек-лист). Затем рекомендуется провести проверку чек-листа, в идеале дать посмотреть документацию и чек-лист 2 специалисту, который ещё не читал её.
  2. Составить глобальный список проверок для всех заявок и “прогонять” документы перед подачей по этому списку — прямо как при запуске ракеты.
  3. Заранее просчитывать все возможные исходы рассмотрения заявок и варианты оценок заявок по критериям (помогут Excel таблицы).
  4. Проверять итоговые расчёты в КП, в идеале проверку расчётов следует выполнять 2 специалистами, у которых глаз “не замылен”.
  5. Заранее продумать вопросы, связанные с обеспечением заявки, подписанием договора, его обеспечением и дальнейшей реализацией. 

Заключение

Выиграть тендер — это еще не конец, а только начало большой истории. Тем не менее, для многих компаний, работающих по принципу «Главное ворваться, а там на месте разберемся», победа в тендере является самоцелью. Но не стоит идти по такому пути: ввязавшись в сложный проект, не имея необходимых знаний и умений, или просто с нехваткой кадров, можно подвести и себя и заказчика.

Нашей компании есть чем похвастаться — это наши компетенции. И пусть область тестирования очень специализированная, мы можем не только рассказать про интересные кейсы в реальных проектах, но и научить, и показать как на самом деле работает обеспечение качества. 

Если вы хотите познакомится с лучшими практиками в QA, но не знаете с чего начать, приходите к нам на техническую конференцию по нагрузочному тестированию perfconf.ru, которая проходит ежегодно в Москве.

Чтобы узнать подробнее о наших услугах