Доверяй, но проверяй: как искусственный интеллект создает новые риски информационной безопасности

В марте 2026 года американский апелляционный суд оштрафовал двух адвокатов в общей сложности на 30 тысяч долларов за процессуальные документы с десятками несуществующих судебных ссылок. Судьи обнаружили признаки использования генеративного ИИ, а отвечать за результат пришлось людям. Примерно в то же время у меня состоялся похожий разговор. Только вместо суда была промышленная среда, а вместо вымышленного прецедента — программный пакет, которого не должно было существовать.

Я работаю в компании Смарт-Софт, которая разрабатывает российский межсетевой экран нового поколения Traffic Inspector Next Generation. Когда ежедневно занимаешься защитой корпоративных сетей, анализом сетевого трафика и предотвращением киберугроз, постепенно вырабатывается полезная профессиональная привычка: не доверять ничему только потому, что оно выглядит убедительно.

Но искусственный интеллект проверяет эту привычку на прочность.

У меня есть коллега (назовем его Игорь), который однажды за полчаса до дедлайна выполнил команду pip install для пакета, предложенного нейросетью. Название звучало идеально: логично, профессионально и по-библиотечному скучно. Никакого «super-hacker-virus-final-v2».

Пакет установился.

Только это оказался не тот инструмент, который имела в виду модель, а код, размещенный под правдоподобным именем кем-то, кто узнал о привычках ИИ раньше Игоря.

После этого разговора я и решил написать статью. Не о том, что искусственный интеллект «врет». Это уже слышали все. Гораздо интереснее понять, как использовать AI-инструменты в разработке и информационной безопасности, не превращая каждую команду install в лотерею.

Модель не врет. Она убедительно ошибается

Искусственный интеллект не пытается специально ввести пользователя в заблуждение. Он строит наиболее вероятный ответ на основе обучающих данных, контекста запроса и найденных закономерностей.

Иногда наиболее вероятным оказывается то, чего в действительности никогда не существовало: библиотека, судебное решение, научная статья, цитата или DOI.

Особенно неприятно, что разные модели способны независимо предлагать одинаковые вымышленные названия пакетов. В исследовании 2026 года были обнаружены 127 несуществующих названий, которые повторяли все пять протестированных моделей. Авторы рассматривают это как устойчивую поверхность атаки на цепочку поставок программного обеспечения — slopsquatting.

Для злоумышленника схема выглядит почти неприлично просто:

1. определить название, которое регулярно придумывают нейросети;
2. зарегистрировать его в PyPI (Python Package Index) или npm (Node Package Manager);
3. дождаться, когда разработчик или AI-агент выполнит установку.

Иными словами, атакующий не взламывает систему. Он просто заранее ставит ловушку в том месте, где ИИ посоветует пройти.

Любая зависимость от ИИ — это предложение, а не готовое решение

Первое практическое правило: не устанавливайте библиотеку только потому, что ее название появилось в уверенно написанном ответе.

Откройте официальный реестр и проверьте:

• существует ли проект;
• кто его сопровождает;
• когда опубликована первая версия;
• есть ли история обновлений;
• сколько у пакета загрузок;
• не появился ли он несколько дней назад под подозрительно удобным названием.

Пять минут проверки выглядят избыточными только до первого инцидента.

ИИ-код требует не меньшего, а более внимательного ревью

Генеративный ИИ действительно ускоряет программирование. Он хорошо создает шаблонный код, тесты, функции, запросы и конфигурации.

Но синтаксически правильный код не обязательно безопасен.

По данным Cloud Security Alliance, результаты исследований AI-generated code заметно различаются в зависимости от методики, однако доля примеров, не проходящих проверки безопасности, в ряде работ составляет от 45% до 70%. Среди типичных проблем называются ошибки авторизации, отсутствие контроля доступа и жестко заданные учетные данные.

Поэтому ревью ИИ-кода не должно становиться короче только потому, что код появился быстрее.

Скорость генерации — это характеристика инструмента.

Безопасность результата — ответственность человека.

Одного сканера недостаточно

В современной кибербезопасности используются SAST, DAST, анализ зависимостей, контроль секретов, ручное ревью и проверка поведения приложения во время исполнения.

Каждый инструмент видит свою часть проблемы.

Поэтому запуск одного SAST-сканера и зеленая отметка в интерфейсе еще не означают, что AI-сгенерированный код безопасен. Это означает только то, что конкретный инструмент не нашел известную ему проблему в конкретной конфигурации.

Уверенность отчета не равна полноте анализа. У ИИ, кстати, та же особенность.

Проверяйте одну конкретную деталь

Если нейросеть подготовила аналитический материал, юридическую справку, отчет или научный обзор, не начинайте с перепроверки всего документа.

Возьмите один проверяемый элемент:

• дату;
• номер закона;
• название судебного дела;
• DOI;
• цитату;
• статистический показатель;
• наличие цифровой подписи или хеш-суммы у предлагаемого артефакта;
• ссылку на первоисточник.

Если эта деталь не подтверждается независимо от ответа модели, перед вами не источник, а красиво оформленная гипотеза.

Сегодня существуют уже сотни задокументированных судебных дел, в которых суды зафиксировали использование вымышленных ссылок, цитат и иных материалов, созданных генеративным ИИ. Специализированная база Damien Charlotin учитывает только те случаи, где использование галлюцинированного содержания было прямо установлено или подразумевалось судом либо трибуналом.

Отделяйте новые зависимости от доверенной среды

В компаниях с выстроенным процессом безопасной разработки AI-предложенные зависимости имеет смысл пропускать через отдельный барьер:

• локальное зеркало проверенных пакетов;
• allowlist разрешенных библиотек;
• software composition analysis;
• контроль происхождения компонентов;
• блокировку недавно появившихся или неизвестных зависимостей;
• проверку цифровых подписей и хеш-сумм.

Это не паранойя. Это обычная защита цепочки поставок программного обеспечения.

Просто раньше неизвестный пакет предлагал случайный пользователь с форума. Теперь его может предложить модель с прекрасной грамматикой.

Где здесь NGFW

Работая с решениями класса NGFW (Next Generation Firewall), быстро привыкаешь искать угрозы в сетевом трафике.

Современный межсетевой экран нового поколения может использовать контроль приложений, фильтрацию трафика, IDS/IPS, глубокую инспекцию пакетов DPI, управление доступом и другие механизмы защиты корпоративной сети.

Российский NGFW Traffic Inspector Next Generation решает именно задачи сетевой безопасности: контролирует соединения, приложения и попытки доступа, помогает выявлять подозрительную активность и ограничивать распространение угроз.

В контексте AI-угроз возможности глубокой инспекции пакетов (DPI) и систем обнаружения вторжений (IDS/IPS) особенно ценны. Они позволяют зафиксировать подозрительный исходящий тракт после установки скомпрометированной библиотеки или попытку передачи данных, даже если сам код был сгенерирован нейросетью и прошел поверхностное ревью.

Но есть принципиальная граница.

NGFW способен остановить вредоносное соединение, заблокировать запрещенное приложение или обнаружить признаки атаки. Однако если сотрудник самостоятельно установил неизвестную библиотеку, запустил непроверенный скрипт или передал ИИ конфиденциальный код, угроза уже получила помощь изнутри.

Галлюцинация ИИ — это не всегда внешняя атака.

Иногда это дверь, которую человек открывает сам, потому что надпись на ней выглядит убедительно.

Игорь тогда откатил изменения примерно за сорок минут. Не потому, что был параноиком, а потому, что за годы работы в информационной безопасности выработал простую привычку: особенно внимательно проверять именно то, что выглядит наиболее правдоподобно.

Возможно, искусственный интеллект со временем станет ошибаться значительно реже.

Но человеку все равно придется проверять его ответы.

Потому что самая опасная галлюцинация сегодня — это мысль, что проверять уже необязательно.

Источники и материалы по теме

1. Aleksandr Churilov. The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort. Исследование повторяющихся вымышленных названий пакетов и угрозы slopsquatting. Июнь 2026.
2. Cloud Security Alliance. Vibe Coding Security Debt: AI-Generated Vulnerabilities at Scale. Обзор рисков AI-сгенерированного кода, уязвимостей и долгов безопасности. Апрель 2026.
3. Veracode. Springhttps://www.damiencharlotin.co... 2026 GenAI Code Security Update. Исследование безопасности кода, созданного генеративными моделями. Март 2026. 
4. Damien Charlotin. AI Hallucination Cases Database. Международная база судебных решений, связанных с галлюцинациями генеративного ИИ. 
5. Reuters. US appeals court fines lawyers $30,000 in latest AI-related sanction. Материал о санкциях за использование несуществующих судебных ссылок. Март 2026.
6. International AI Safety Report 2026. Международный обзор возможностей ИИ, рисков кибератак и использования моделей для обнаружения и эксплуатации уязвимостей. Февраль 2026.

Экспертная серия "Отдел здорового недоверия Смарт-Софт"

Другие материалы серии "Отдел здорового недоверия Смарт-Софт"

1. ИИ не кусается. Кусаются его права доступа

Протестируйте бесплатно