Безопасность ИИ-систем

Когда это нужно

Компания начинает пользоваться языковыми моделями и ИИ-сервисами, а служба безопасности не может определить порядок действий: полный запрет вредит делу, разрешение без правил создаёт риски. Отдельный случай: собственное решение, работающее с чувствительными данными.

Какие риски разбираем

• Утечка через запросы. Сотрудник отправляет во внешний сервис договор или персональные данные; фрагменты остаются у поставщика
• Атаки на входные данные. Специально подобранный вход заставляет модель принять нужное злоумышленнику решение: скоринг, пропускной контроль, модерация
• Отравление обучающей выборки. Искажение данных, на которых модель дообучается; эффект проявляется отложенно
• Подмена и кража модели. Доступ к весам, восстановление модели по ответам, использование чужого решения под своим брендом
• Цепочка поставки. Внешние модели, библиотеки и наборы данных неизвестного происхождения
• Организационные риски. Отсутствие правил, теневое использование сервисов, размытая ответственность за решения модели

Что делаем

1. Инвентаризация: какие ИИ-сервисы уже используются в компании, кем и с какими данными. Обычно это самый показательный шаг
2. Оценка рисков по каждому сценарию с учётом отраслевых требований
3. Меры защиты: разграничение доступа, фильтрация данных на входе и выходе, журналирование запросов, работа моделей в закрытом контуре
4. Политика использования ИИ: что разрешено, что запрещено, куда обращаться за согласованием. Документ рассчитан на практическое применение
5. Обучение сотрудников правилам, см. обучение команды

Как это устроено

Работу ведут специалисты Центра компетенций по искусственному интеллекту вместе с профильными экспертами по безопасности. Требования закона об искусственном интеллекте и отраслевых норм учитываются отдельным блоком, см. комплаенс закона об ИИ.

Частые вопросы

Проще запретить внешние сервисы? Запрет без альтернативы переводит использование в тень. Рабочий путь: разрешённый внутренний инструмент и понятные правила.

Нужен ли закрытый контур? Не всегда: для части задач достаточно фильтрации данных и договорных гарантий поставщика. Решаем по классу данных.

Смежные услуги

Комплаенс закона об ИИ · Аудит ИИ и оценка эффекта · Поддержка ИИ-систем · Кибергра­мотность руководителей

С чего начать

Расскажите, какие ИИ-сервисы уже используются и какие данные в них попадают. Эксперты предложат порядок разбора рисков.