Пилот останавливается не из-за модели, а из-за того, что критерии приёмки не были записаны до старта.
По отраслевым оценкам подавляющее большинство пилотов с генеративными моделями не переходит в промышленную эксплуатацию, а ожидаемую отдачу приносит примерно четверть внедрений. Причина обычно не в модели. Пилот останавливается там, где выясняется, что никто не договорился заранее, по каким признакам он считается удачным.
До запуска фиксируются три вещи: измеримый показатель процесса, его текущее значение и порог, при котором решение тиражируется. Порог назначает владелец процесса, а не разработчик. Дополнительно описывается, что делать при результате между текущим значением и порогом: доработка, повторный замер или закрытие.
Такой контур занимает несколько дней подготовки и снимает большую часть последующих споров. Мы собираем его в рамках независимой оценки ИИ-пилота, в том числе для пилотов, которые уже идут и по которым непонятно, что делать дальше.
Ответов обычно три: продолжать с изменённой постановкой, переделать под другой процесс, закрыть. Худший вариант это четвёртый, когда пилот формально не закрыт, ресурс продолжает расходоваться, а решение откладывается. Отдельная оценка со стороны нужна именно для того, чтобы этот вариант не стал сценарием по умолчанию.
Качество модели и эффект для бизнеса это разные величины. Модель может показывать высокую точность и не давать эффекта, если её результат не встроен в решение, которое кто-то принимает. Разбор этой связки мы делаем через аудит ИИ-решения и оценку эффекта.
Промышленная эксплуатация требует того, чего в пилоте нет: мониторинга качества, порядка обновления модели, регламента действий при отказе и обучения тех, кто с ней работает. Эта часть закладывается в внедрение ИИ в бизнес-процессы и продолжается в поддержке и мониторинге ИИ-систем. Пропуск этого этапа даёт результат, который держится ровно до первого изменения входных данных.
