Как сравнивать решения, когда каждый поставщик оценивает себя сам

Сравнительные таблицы, собранные из материалов поставщиков, показывают одно и то же: у всех всё есть. Разница выясняется на внедрении, когда менять решение уже поздно.

Почему презентации не сравнимы

Каждый поставщик описывает продукт в своей терминологии и демонстрирует его на своём сценарии. Одна и та же функция у двух вендоров может означать разные вещи, а демонстрация всегда идёт на данных, подготовленных под показ. Сложение таких описаний в таблицу создаёт видимость сравнения.

Что делает сравнение содержательным

• Единый набор сценариев, одинаковый для всех участников и составленный заказчиком.
• Собственные данные, а не демонстрационные, включая заведомо неудобные случаи.
• Одинаковые условия по времени и по доступу к поддержке поставщика.
• Оценка по заранее заданной шкале, а не общее впечатление после показа.
• Отдельная оценка стоимости владения на три года, а не цены лицензии.

Что оценивать помимо функций

Функциональное покрытие сходится у лидеров рынка довольно быстро. Различия дают другие вещи: устойчивость поставщика, скорость реакции поддержки, доступность специалистов на рынке труда, наличие внедрений в схожем контуре, порядок обновлений и возможность уйти с продукта. Последний пункт стоит проверять до покупки, а не в момент, когда решение принято.

Кто участвует в оценке

Оценивать должны те, кто будет работать в системе, а не только проектная команда. Практика, при которой решение выбирает ИТ-служба, а пользуются им в трёх подразделениях, приводит к тому, что через год система считается неудачной. Достаточно двух-трёх представителей от каждого затронутого подразделения, работающих по одинаковым сценариям.

Веса критериев назначаются до испытаний, а не после. Если веса обсуждаются, когда результаты уже известны, обсуждение превращается в подгонку под заранее выбранный вариант.

Как оценивать рынок вокруг

Помимо самих продуктов полезно понимать положение поставщиков: кто растёт, кто теряет команду, у кого меняется собственник. Такой разбор мы делаем в рамках конкурентного анализа и используем как дополнительный фильтр при отборе.

Сроки и трудоёмкость

Полноценное сравнение трёх или четырёх решений занимает от четырёх до восьми недель, из которых половина уходит на подготовку сценариев и данных. Попытка сократить этот срок за счёт подготовки приводит к тому, что сравнение снова превращается в оценку презентаций.

Что делаем мы

Составляем сценарии, организуем сопоставимые испытания и собираем итоговую оценку с расчётом стоимости владения. Услуга описана на странице сравнения и бенчмаркинга решений, предварительное сужение круга кандидатов в подборе программных решений.