Любая технология может использоваться как во благо, так и во вред. Искусственный интеллект не является исключением. Злоумышленники активно используют ИИ, помещая в него незадекларированные возможности и дообучая модели под свои цели. Пока в крупных компаниях идет процесс переосмысления ландшафта угроз из-за внедрения ИИ, лучшим оружием против недоброжелателей остается просвещение.
В начале марта 2025 г. «Лаборатория Касперского» и «Сбер» «договорились о создании уникальных решений на базе искусственного интеллекта (ИИ) для усиления кибербезопасности бизнеса и россиян». При детальном рассмотрении анонса выясняется, что «Сбер» проводит крупнейший в Европе проект по импортозамещению бэк-офисной системы на базе SAP на собственную разработку, построенную в абсолютно новой парадигме. Ее особенность заключается не только в использовании ИИ-центричной системы на базе элементов генеративного ИИ, но и в масштабе использования ИИ-агентов, ранее не встречавшемся. По утверждению руководства банка, скоро вся финансово-кредитная организация станет полностью ИИ-центричной.
Это обстоятельство и привело к сотрудничеству банка с «Лабораторией Касперского»: стороны запускают совместный проект по исследованию возможностей применения средств, способных эффективно защищать ИИ-агентов с использованием прототипа системы «Сбера», созданной для автоматизации проверки защищенности инфраструктуры с использованием генеративного ИИ.
Что не так с безопасностью ИИ?
В ходе мероприятия для прессы в конце марта 2025 г., организованном MTS AI (дочерней структурой МТС, деятельность которой посвящена ИИ), «Сбером» и «Лабораторией Касперского», эксперты дали понять, что в области защиты искусственного интеллекта от киберугроз есть над чем поработать.
Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения «Лаборатории Касперского», поделился экспертизой в этой части, накопленной в компании. По его словам, в работе по выявлению вредоносного кода, спама, дипфейков и т. д. давно используются нейросети и большие языковые модели (Large Language Model — LLM). Однако при их обучении из-за некачественных наборов данных все равно приходится проводить файн-тюнинг — процесс точной настройки, позволяющий адаптировать обученные алгоритмы под конкретные задачи.
Побочным явлением этого процесса и иных методов дообучения моделей является выявление в них, как говорят в мире информационной безопасности, незадекларированных возможностей, например, закладок, активизирующихся при определенном входном наборе слов. В модель могут быть зашиты и иные деструктивные возможности, например, генерация вредоносного программного обеспечения или кода с критическими ошибками и уязвимостями.
Если не проводить процесс точной настройки, нейросеть может превратиться из бизнес-инструмента в галлюцинирующее нечто, которое, как утверждают в «Яндексе», может найти рецепты приготовления «свиных крылышек», и даже назвать цену этого блюда в ресторанах — 350 руб. за порцию.
Ранее, когда для обучения LLM требовались существенные технологические ресурсы, файн-тюнинг в обязательном порядке проводился разработчиками самостоятельно, причем, с учетом специфики той или иной страны. В процессе использования этой LLM злоумышленники специально искали описанные выше дефекты обучения, а также дообучали модели под свои цели.
С появлением китайского ИИ DeepSeek и его аналогов, запускающихся уже на персональных компьютерах и некоторых смартфонах, целенаправленное дообучение LLM со свободной лицензией хакерами приобретает массовый масштаб, особенно для атак на цепочку поставок для создания бэкдоров. В теории LLM могут запускать код на машине, на которой они установлены. А что именно он будет исполнять — вопрос риторический.
Отдельная угроза исходит от использования ИИ с открытым исходным кодом, встроенного в корпоративные приложения. Зная все о самом приложении, о его окружении и защите, а также собирая информацию о пользователях, ИИ из помощника легко превращается в шпиона или сборщика данных для создания дипфейка, к примеру, руководителя корпорации. В 2021 г., например, имитируя голос директора банка в ОАЭ с помощью нейросети, мошенники похитили из финансового учреждения $35 млн.
ИИ-агенты, как в меньшей степени защищенные узлы ИИ-сети, в этой ситуации могут стать не просто жертвой хакерской атаки, но и превратиться либо в зомби, либо в активного бота. Ни в «Лаборатории Касперского» , ни в «Сбере» ни фактов, ни масштабов бедствия не раскрывают, но при этом работают над потенциальной проблемой.
Что конкретно известно?
Владислав Тушканов, не углубляясь в детали, рассказал о том, как прямо здесь и сейчас злоумышленники пользуются общедоступными LLM и беспечностью их пользователей. Зачем ломать хорошо защищенный банк, если можно много чего узнать и украсть у доверчивых людей? Для этого достаточно создать чат-бот в Telegram и подключить его к тому же DeepSeek. Что даст администратору этого бота доступ ко всей переписке пользователя с этим ИИ.
А если этот ИИ-сервис создан самим злоумышленником благодаря свободной лицензии на DeepSeek и отсутствию контроля над такой опцией в Telegram, то в руках умелого продавца программного обеспечения сервис может стать, например, юридическим Copilot в некоей организации. Подобные варианты развития событий вызывают большую тревожность у руководителей организаций.
Роман Резников, аналитик направления аналитических исследований компании Positive Technologies, приводит и иные примеры использования ИИ в преступных целях, особенно у новичков.
«Если киберпреступник обойдет ограничения безопасности на вывод неприемлемого контента или воспользуется специально созданной для злоумышленников LLM, то сможет получить ответы и на сложные вопросы. Например, злоумышленник сможет уточнить, не упустил ли он чего-то в своем плане проведения атаки, или изучить различные подходы к проведению определенного шага», — утверждает эксперт.
ИИ, кроме всего прочего — отличный помощник злоумышленников в профилировании потенциальной жертвы благодаря социальным сетям и другим источникам данных, пригодных для разведки по открытым источникам, помогая найти сведения о поле, возрасте, семейном положении, месте проживания и рождения, образовании, профессии, доходах и т. д. Имея все это, не составляет труда создать цифрового двойника жертвы для продажи маркетологам или для шантажа и социальной инженерии.
Что же в итоге? В крупных корпорациях и банках уже идет процесс переосмысления характера ландшафта угроз из-за внедрения ИИ как в собственные бизнес-процессы, так и в инструментарий киберпреступности. Уже появились отдельные кейсы, показывающие всю мощь современных технологий в руках опытных хакеров. Средний и малый бизнес ждет доступных для них технологий безопасности, которые смогли бы тиражировать на массовый рынок крупные бизнес-игроки и ИБ-вендоры.
Пока ведущие игроки рынка обсуждают угрозы и способы им противостоять, лучшим оружием против недоброжелателей продолжает оставаться просвещение. И бизнесу, и простым людям необходимо понять и принять тот факт, что ИИ может быть небезопасен. А значит, как и в случае с обычными вирусными угрозами, следует строго следовать правилам ИБ- и ИИ-гигиены.