Аудит ИИ-решения и оценка эффекта

Когда это нужно

Подрядчик отчитался о точности 95%, а в процессе результат не чувствуется. Или наоборот: решение работает, но защитить эффект перед финансовой службой нечем. Ещё случай — проверка ИИ-актива перед сделкой или перед решением о масштабировании на всю группу.

Что проверяем

• Качество модели. Перепроверяем метрики на отложенных и свежих данных: часто высокая точность получена на удобной выборке или на данных, которые в реальности недоступны в момент решения
• Устойчивость. Как модель ведёт себя на редких случаях, при смене сезона, при пропусках в данных; есть ли дрейф с момента запуска
• Смещения и риски. Систематические ошибки на отдельных группах, объяснимость решений, действия при отказе сервиса
• Инженерная часть. Воспроизводимость обучения, версионирование данных и моделей, мониторинг, зависимость от одного человека или одного подрядчика
• Соответствие требованиям. Закон об ИИ, отраслевые нормы, режим обучающих данных и маркировка результата

Как считаем эффект

1. Восстанавливаем базовый сценарий: как процесс работал без модели и сколько он стоил
2. Отделяем вклад модели от прочих изменений в процессе — иначе эффект приписывается ИИ незаслуженно
3. Считаем полную стоимость владения: лицензии, инфраструктура, дообучение, поддержка, время сотрудников
4. Даём диапазон, а не одну цифру, и указываем допущения — такой расчёт выдерживает проверку финансовой службой

Что вы получаете

Отчёт с оценкой качества и рисков, расчётом эффекта и понятной рекомендацией: масштабировать, дорабатывать или останавливать. Отдельным блоком — перечень исправлений с оценкой трудоёмкости.

Мы не разрабатывали проверяемое решение и не продаём лицензии, поэтому у нас нет интереса в определённом выводе. Оценку ведёт Центр компетенций по искусственному интеллекту.

Частые вопросы

Подрядчик не отдаёт код и данные. Возможен аудит «по чёрному ящику»: проверка на контрольных наборах и анализ поведения. Ограничения такой проверки фиксируем в отчёте.

Сколько занимает? Обычно 2–4 недели на одно решение.

Смежные услуги

Расчёт экономического эффекта внедрения · Технологический Due Diligence · Комплаенс закона об ИИ · Экспертиза ИТ-контрактов

С чего начать

Расскажите, какое решение и в каком процессе используется, — предложим объём проверки и сроки.