Независимая оценка ИИ-пилота: продолжать, переделать или закрыть

Когда это нужно

Пилот закончился, а решение о продуктиве принять не на чем. Подрядчик показывает точность 95% и предлагает переходить к масштабированию, финансовая служба просит обосновать бюджет, а внутри компании никто не может независимо проверить ни цифры, ни выводы.

Это не редкий случай, а норма рынка. По данным TAdviser и MWS AI, около 89% проектов генеративного ИИ в России остаются на стадии пилота. По исследованию BCG AI Radar 2026 (опрошено 2400 руководителей), ожидаемую отдачу дают только 25% ИИ-инициатив, а до уровня всего предприятия доходят 16%. Руссофт в июле 2026 зафиксировал ещё более неудобную вещь: у компаний, применяющих генеративный ИИ, выручка росла медленнее — 7,5% против 14,1% у не применяющих.

Это значит, что «закрыть пилот» — не провал, а один из нормальных исходов, и он экономит бюджет следующего года.

Что проверяем

• Метрики на честной выборке. Перепроверяем качество на отложенных и свежих данных. Высокая точность часто получена на удобной выборке или на признаках, которые в момент принятия решения в реальности недоступны
• Устойчивость. Поведение на редких случаях, при смене сезона, при пропусках в данных; дрейф качества с момента запуска
• Вклад именно модели. Отделяем эффект модели от прочих изменений в процессе — иначе улучшению приписывается заслуга, которой у него нет
• Полная стоимость владения. Лицензии, инфраструктура и GPU, инференс при росте нагрузки, дообучение, поддержка, время сотрудников
• Зависимости. Воспроизводимость обучения, версионирование данных и моделей, привязка к одному человеку или одному подрядчику
• Готовность к регулированию. Применим ли к вашему сценарию 243-ФЗ, что потребуется к 01.03.2027, как это ложится на ГОСТы ТК-164

Что вы получаете

Три сценария с ценой, сроком и рисками каждого:

1. В продуктив — что нужно доделать до промышленной эксплуатации и сколько это стоит
2. Доработать — перечень исправлений с оценкой трудоёмкости и вероятностью, что они дадут результат
3. Закрыть — что из наработок можно переиспользовать и как выйти из договора с минимальными потерями

Отдельным блоком — расчёт эффекта диапазоном с указанием допущений. Такой расчёт выдерживает проверку финансовой службой, в отличие от одной цифры без методики.

Почему независимая оценка

Мы не разрабатывали проверяемое решение, не продаём лицензии и не входим в партнёрские программы вендоров. У нас нет интереса в определённом выводе — поэтому «этот проект не нужно масштабировать» для нас такой же нормальный результат работы, как и рекомендация выводить в продуктив.

Сроки

Обычно 2–3 недели на одно решение. Техническую часть ведёт Центр компетенций по искусственному интеллекту.

Частые вопросы

Подрядчик не отдаёт код и данные. Возможна проверка «по чёрному ящику»: контрольные наборы и анализ поведения модели. Ограничения такой проверки честно фиксируем в отчёте. Само по себе нежелание открывать модель — сигнал, который тоже попадает в выводы.

Мы уже вложились, не поздно ли проверять? Потраченное вернуть нельзя, а вот следующий бюджет — ещё можно не потратить. Проверка стоит доли процента от стоимости масштабирования.

Это испортит отношения с подрядчиком? Добросовестному подрядчику независимая проверка выгодна: она подтверждает результат перед вашим руководством. Сопротивление проверке — само по себе информация.

Смежные услуги

Аудит ИИ-решения и оценка эффекта · Экспертиза договора с ИИ-вендором · Аудит и спасение проблемного ИТ-проекта · Расчёт экономического эффекта

С чего начать

Расскажите, какое решение проверяем, в каком процессе оно работает и что вызывает сомнения, — предложим объём проверки и срок.