Независимая оценка ИИ-пилота: продолжать, переделать или закрыть

Когда это нужно

Пилот закончился, а решение о продуктиве принять не на чем. Подрядчик показывает точность 95% и предлагает переходить к масштабированию, финансовая служба просит обосновать бюджет, а внутри компании никто не может независимо проверить ни цифры, ни выводы.

Такая ситуация типична для рынка. По данным TAdviser и MWS AI, около 89% проектов генеративного ИИ в России остаются на стадии пилота. По исследованию BCG AI Radar 2026 (опрошено 2400 руководителей), ожидаемую отдачу дают только 25% ИИ-инициатив, а до уровня всего предприятия доходят 16%. Руссофт в июле 2026 зафиксировал ещё более показательный факт: у компаний, применяющих генеративный ИИ, выручка росла медленнее, 7,5% против 14,1% у не применяющих.

Закрытие пилота в такой ситуации относится к нормальным исходам проверки и экономит бюджет следующего года.

Что проверяем

• Метрики на корректной выборке. Перепроверяем качество на отложенных и свежих данных. Высокая точность часто получена на удобной выборке или на признаках, которые в момент принятия решения в реальности недоступны
• Устойчивость. Поведение на редких случаях, при смене сезона, при пропусках в данных; дрейф качества с момента запуска
• Вклад именно модели. Отделяем эффект модели от прочих изменений в процессе: без этого модели приписывается результат, которого она не давала
• Полная стоимость владения. Лицензии, инфраструктура и GPU, инференс при росте нагрузки, дообучение, поддержка, время сотрудников
• Зависимости. Воспроизводимость обучения, версионирование данных и моделей, привязка к одному человеку или одному подрядчику
• Готовность к регулированию. Применим ли к вашему сценарию 243-ФЗ, что потребуется к 01.03.2027, как это ложится на ГОСТы ТК-164

Что вы получаете

Три сценария с ценой, сроком и рисками каждого:

1. В продуктив: что нужно доделать до промышленной эксплуатации и сколько это стоит
2. Доработать: перечень исправлений с оценкой трудоёмкости и вероятностью, что они дадут результат
3. Закрыть: что из наработок можно переиспользовать и как выйти из договора с минимальными потерями

Отдельным блоком идёт расчёт эффекта диапазоном с указанием допущений. Такой расчёт выдерживает проверку финансовой службой, в отличие от одной цифры без методики.

Почему независимая оценка

Мы не разрабатывали проверяемое решение, не продаём лицензии и не входим в партнёрские программы вендоров. У нас нет интереса в определённом выводе. Поэтому заключение «этот проект не нужно масштабировать» для нас такой же нормальный результат работы, как и рекомендация выводить в продуктив.

Сроки

Обычно 2–3 недели на одно решение. Техническую часть ведёт Центр компетенций по искусственному интеллекту.

Частые вопросы

Подрядчик не отдаёт код и данные. Возможна проверка «по чёрному ящику»: контрольные наборы и анализ поведения модели. Ограничения такой проверки фиксируем в отчёте. Нежелание открывать модель само по себе служит сигналом и попадает в выводы.

Мы уже вложились, не поздно ли проверять? Понесённые затраты не вернуть, но проверка позволяет не потратить бюджет следующего этапа. Проверка стоит доли процента от стоимости масштабирования.

Это испортит отношения с подрядчиком? Добросовестному подрядчику независимая проверка выгодна: она подтверждает результат перед вашим руководством. Сопротивление проверке само по себе является значимой информацией.

Смежные услуги

Аудит ИИ-решения и оценка эффекта · Экспертиза договора с ИИ-вендором · Аудит и спасение проблемного ИТ-проекта · Расчёт экономического эффекта

С чего начать

Расскажите, какое решение проверяем, в каком процессе оно работает и что вызывает сомнения. Предложим объём проверки и срок.