Безопасность ИИ-систем

Когда это нужно

Компания начинает пользоваться языковыми моделями и ИИ-сервисами, а служба безопасности не может ответить, что с этим делать: запрещать целиком — вредно для дела, разрешать без правил — рискованно. Отдельный случай — собственное решение, работающее с чувствительными данными.

Какие риски разбираем

• Утечка через запросы. Сотрудник отправляет во внешний сервис договор или персональные данные; фрагменты остаются у поставщика
• Атаки на входные данные. Специально подобранный вход заставляет модель принять нужное злоумышленнику решение — скоринг, пропускной контроль, модерация
• Отравление обучающей выборки. Искажение данных, на которых модель дообучается, — эффект проявляется отложенно
• Подмена и кража модели. Доступ к весам, восстановление модели по ответам, использование чужого решения под своим брендом
• Цепочка поставки. Внешние модели, библиотеки и наборы данных неизвестного происхождения
• Организационные риски. Отсутствие правил, теневое использование сервисов, размытая ответственность за решения модели

Что делаем

1. Инвентаризация: какие ИИ-сервисы уже используются в компании, кем и с какими данными — обычно это самый показательный шаг
2. Оценка рисков по каждому сценарию с учётом отраслевых требований
3. Меры защиты: разграничение доступа, фильтрация данных на входе и выходе, журналирование запросов, работа моделей в закрытом контуре
4. Политика использования ИИ: что можно, что нельзя, куда идти за разрешением — документ, который реально работает, а не запрет ради галочки
5. Обучение сотрудников правилам — см. обучение команды

Как это устроено

Работу ведут специалисты Центра компетенций по искусственному интеллекту вместе с профильными экспертами по безопасности. Требования закона об искусственном интеллекте и отраслевых норм учитываются отдельным блоком — см. комплаенс закона об ИИ.

Частые вопросы

Проще запретить внешние сервисы? Запрет без альтернативы переводит использование в тень. Рабочий путь — разрешённый внутренний инструмент и понятные правила.

Нужен ли закрытый контур? Не всегда: для части задач достаточно фильтрации данных и договорных гарантий поставщика. Решаем по классу данных.

Смежные услуги

Комплаенс закона об ИИ · Аудит ИИ и оценка эффекта · Поддержка ИИ-систем · Кибергра­мотность руководителей

С чего начать

Расскажите, какие ИИ-сервисы уже используются и какие данные в них попадают, — предложим порядок разбора рисков.