ИИ против ИИ: как нейросети используются для защиты и атак одновременно

Искусственный интеллект — это технология, которая умеет анализировать данные, делать выводы и выполнять задачи: писать текст, искать ошибки, распознавать закономерности. Важно понимать, что ИИ сам по себе не бывает «хорошим» или «плохим» — он делает то, чему его научили.

Одни модели используются для защиты: они распознают угрозы, анализируют трафик и находят уязвимости. Другие помогают создавать фишинговые сообщения, искать слабые места в коде и автоматизировать атаки. Формально эти задачи может выполнять одна и та же модель: всё зависит не от типа ИИ, а от того, на каких данных, примерах и инструкциях она обучалась.

Получается, что ИИ может быть как инструментом защиты, так и оружием в руках злоумышленников — всё зависит от того, кто и как его использует.

С развитием искусственного интеллекта фишинг стал более опасным. Если раньше мошенников выдавали ошибки в тексте, странный стиль письма или подозрительные формулировки, то теперь ИИ научился писать так же, как настоящие сотрудники компании.

ИИ может:

• анализировать стиль корпоративных писем;
• копировать тон конкретного человека;
• подбирайте подходящий контекст («переделайте отчёт», «пройдите проверку безопасности», «обновите пароль»).

Пример фишинга с использованием ИИ
Злоумышленник загружает в ИИ подборку писем компании, найденных в открытых источниках. Нейросеть генерирует письмо «от службы безопасности» с просьбой пройти проверку по ссылке. Сотрудник переходит на поддельный сайт, который полностью копирует реальный, и вводит корпоративный пароль. Так пароль попадает к мошенникам, и они могут войти в систему, чтобы украсть данные, шантажировать компанию или нанести ущерб бизнесу или его клиентам.

ИИ может анализировать репозиторий проекта и находить уязвимости, которые упустил разработчик. Злоумышленник получает готовый технический отчёт, который фактически заменяет работу младшего пентестера.

Что ИИ делает за хакера:

• ищет небезопасные функции;
• проверяет библиотеки на наличие известных уязвимостей;
• предлагает эксплойты;
• моделирует возможные атаки.

Пример автоматизации поиска уязвимостей в коде
Хакер находит открытый бэкенд-проект на GitHub и загружает код в нейросеть. ИИ выявляет отсутствие проверки входных данных и генерирует строку для SQL-инъекции. Злоумышленнику остаётся только вставить её в запрос, чтобы получить доступ к базе данных проекта. Целью может быть кража личной информации для продажи, наблюдение за системой изнутри для подготовки более масштабной атаки, захват сервиса, нанесение ущерба проекту.

ИИ используют не только для атак на IT-проекты, но и для мошеннических схем с кражей денег у людей.

ИИ может:

• подстроиться под манеру общения;
• генерировать диалоги;
• создавать фейковые голосовые сообщения (дипфейки);
• имитировать реальные инструкции от руководства.

Пример мошенничества с использованием ИИ
Сотрудник получает голосовое сообщение от «директора» с просьбой срочно перевести деньги. Нейросеть обучили на интервью и записях выступлений руководителя — голос звучит естественно, с привычными интонациями. Сотрудник не сомневается в подлинности сообщения и переводит деньги.

Когда ИИ встроен в сервисы поддержки, анализа данных или корпоративные инструменты, злоумышленники атакуют сам ИИ.

Два основных метода атак на ИИ

• Внедрение подсказки — внедрение скрытой команды, которая заставляет ИИ нарушать правила или раскрывать конфиденциальные данные.
• Отравление данных — подмена обучающих данных, чтобы ИИ принимал неверные решения.

Пример атаки на ИИ
Мошенник отправляет сообщение в чат-бот службы поддержки. Внешне это обычный текст, но внутри злоумышленник спрятал скрытую команду — например, с помощью невидимых HTML‑тегов или специальных символов, которые человек не замечает, но ИИ всё равно считывает. Для чат-бота эта скрытая команда выглядит как часть запроса, и он «думает», что пользователь действительно просит выдать данные из базы. В итоге ИИ нарушает свои правила и может раскрыть информацию, которую выдавать нельзя.

Крупные компании генерируют огромные объёмы логов и сетевого трафика, которые невозможно проанализировать вручную. ИИ замечает отклонения от нормы и сигнализирует о возможной атаке. ИИ анализирует:

• частоту запросов;
• перемещения по системе;
• время активности пользователя;
• скачивание данных.

Пример аномального поведения в сети и его обнаружения ИИ
Сотрудник, который обычно работает днём и имеет ограниченные права, внезапно начинает скачивать архивы базы данных ночью. ИИ распознаёт это как аномалию и блокирует доступ.

ИИ активно используется в процессах DevOps. Он помогает писать более безопасный код и предупреждает разработчиков о потенциальных угрозах. ИИ способен:

• подсвечивать небезопасные библиотеки;
• проверять параметры функций;
• объяснять ошибку;
• предложить альтернативное безопасное решение.

Пример поиска уязвимостей
Разработчик пишет API для оплаты подписки. ИИ замечает устаревший метод шифрования и рекомендует перейти на современный алгоритм, устойчивый к возможным атакам.

ИИ может определить вредоносное поведение по внутренней структуре файла. Он проверяет:

• последовательность команд;
• обращения к системным функциям;
• характер сетевой активности.

Пример подозрительного файла и его обнаружения ИИ
Приходит письмо с файлом «финансовый отчёт». ИИ замечает, что файл пытается загрузить дополнительный код с внешнего сервера, и блокирует запуск, предотвращая заражение.

ИИ анализирует сайты и письма лучше классических фильтров, потому что замечает не только технические признаки, но и поведенческие паттерны. ИИ проверяет:

• стиль письма;
• домен отправителя;
• структуру текста;
• подозрительные ссылки.

Пример защиты от фишинга и поддельных сайтов
Письмо от «банка» выглядит идеальным, но ИИ сравнивает его стиль с предыдущими рассылками и замечает несоответствия: слишком много маркетинговых фраз, другой формат записи номера клиента. Письмо отправляется в спам.

Хотя искусственный интеллект стал мощным инструментом в сфере кибербезопасности, полагаться только на него нельзя. ИИ — это модель, которая делает выводы на основе данных, а не «понимания» ситуации. Если данные неточные, устаревшие или намеренно искажённые, нейросеть может принять неправильное решение. Кроме того, хакеры всё чаще создают атаки, нацеленные именно на обход систем ИИ, то есть учатся «обманывать» защитные алгоритмы.

ИИ — мощный помощник, но лучше всего он работает в сочетании с другими мерами безопасности. Чтобы защита была надёжной, важно использовать несколько уровней контроля: технический, организационный и человеческий.

Ключевые инструменты и практики

• Двухфакторная аутентификация (2FA): даже если ИИ пропустит фишинговое письмо или кражу пароля, злоумышленник не сможет войти в систему без второго фактора — смс-кода, токена или аппаратного ключа.
• Регулярные обновления и исправления: ИИ не сможет защитить систему с устаревшими уязвимыми компонентами. Обновления ПО и библиотек — основа безопасности.
• Человеческий контроль (SOC‑аналитика): решения ИИ следует проверять вручную, особенно если они блокируют доступ пользователей или влияют на работу критически важных сервисов. Человек помогает понять контекст и избежать ложных срабатываний.
• Защитные фильтры и WAF (брандмауэр веб-приложений): ИИ может обнаружить подозрительный запрос, но WAF блокирует технические атаки, такие как SQL-инъекции, подбор паролей или внедрение вредоносного кода.
• Сквозное логирование и мониторинг: необходимо записывать все действия пользователей и системы. Логи позволяют понять, что происходило до и после срабатывания ИИ, выявить закономерности атак и улучшить работу модели.
• Настройка прав доступа: ИИ не заменяет базовые правила безопасности. Важно правильно настроить доступ к ресурсам. Даже если ИИ заметит подозрительную активность, злоумышленник с избыточными правами сможет нанести ущерб.
• Регулярное обучение сотрудников: человеческий фактор остаётся самым слабым звеном. Если сотрудники умеют распознавать фишинг и подозрительные сообщения, вероятность успешной атаки снижается.
• Проверка кода и решений, предложенных ИИ: никогда не внедряйте автоматически сгенерированный ИИ код в продакшн без проверки. Используйте ИИ как помощника: для анализа уязвимостей, отработки сценариев атак (моделирования угроз), создания тестов.
• Комплексный подход. ИИ лучше всего работает в сочетании с другими инструментами анализа:

1. SAST — статический анализ кода;
2. DAST — динамическое тестирование;
3. SCA — анализ используемых библиотек;
4. ручной анализ.

Понимание ИИ и его возможностей требует профессионального подхода. Только обучение и практика позволяют разработчикам создавать безопасный код, правильно применять нейросети и минимизировать риски атак. Начать можно с курса по разработке или тестированию с гарантией трудоустройства. Выбирайте направление: Java, Go, 1С, фронтенд-разработка или ручное тестирование. Уже через 5–9 месяцев вы сможете начать работать в сфере IT. Внести основную часть оплаты за обучение можно после выхода на работу. Подробности на сайте.