Аудит ИИ-решения и оценка эффекта

Когда это нужно

Подрядчик отчитался о точности 95%, а в процессе результат не чувствуется. Или наоборот: решение работает, но защитить эффект перед финансовой службой нечем. Отдельный случай: проверка ИИ-актива перед сделкой или перед решением о масштабировании на всю группу.

Что проверяем

• Качество модели. Перепроверяем метрики на отложенных и свежих данных: часто высокая точность получена на удобной выборке или на данных, которые в реальности недоступны в момент решения
• Устойчивость. Как модель ведёт себя на редких случаях, при смене сезона, при пропусках в данных; есть ли дрейф с момента запуска
• Смещения и риски. Систематические ошибки на отдельных группах, объяснимость решений, действия при отказе сервиса
• Инженерная часть. Воспроизводимость обучения, версионирование данных и моделей, мониторинг, зависимость от одного человека или одного подрядчика
• Соответствие требованиям. 243-ФЗ и готовящееся регулирование ИИ, отраслевые нормы, ГОСТы ТК-164, режим обучающих данных и маркировка, с учётом поэтапного вступления обязанностей до 01.03.2027

Как считаем эффект

1. Восстанавливаем базовый сценарий: как процесс работал без модели и сколько он стоил
2. Отделяем вклад модели от прочих изменений в процессе, иначе эффект приписывается ИИ необоснованно
3. Считаем полную стоимость владения: лицензии, инфраструктура, дообучение, поддержка, время сотрудников
4. Приводим диапазон значений вместо единственной цифры и указываем допущения: такой расчёт выдерживает проверку финансовой службой

Что вы получаете

Отчёт с оценкой качества и рисков, расчётом эффекта и понятной рекомендацией: масштабировать, дорабатывать или останавливать. Отдельным блоком идёт перечень исправлений с оценкой трудоёмкости.

АНО не участвовала в разработке проверяемого решения и не распространяет лицензии, поэтому не заинтересована в заранее определённом выводе. Оценку ведёт Центр компетенций по искусственному интеллекту.

Частые вопросы

Подрядчик не отдаёт код и данные. Возможен аудит «по чёрному ящику»: проверка на контрольных наборах и анализ поведения. Ограничения такой проверки фиксируем в отчёте.

Сколько занимает? Обычно 2–4 недели на одно решение.

Смежные услуги

Независимая оценка ИИ-пилота · Расчёт экономического эффекта внедрения · Экспертиза договора с ИИ-вендором · Технологический Due Diligence · Комплаенс закона об ИИ

С чего начать

Расскажите, какое решение и в каком процессе используется. Эксперты предложат объём проверки и сроки.