Искусственный интеллект и социальная инженерия: новая угроза
Как ИИ становится мастером обмана
Искусственный интеллект становится пугающе хорош в освоении человеческой стороны компьютерного взлома. Недавняя попытка обмана продемонстрировала это, когда на экране ноутбука появилась сообщение с предложением сотрудничества по тематике, связанной с децентрализованным обучением для робототехники.
Сообщение было специально разработано для привлечения внимания: упоминались известные проекты и интересы получателя, такие как OpenClaw и исследования в области многокомпонентных систем. В сообщении предлагалось подключиться к боту в Telegram для дальнейшей коммуникации и тестирования проекта.
Однако, несмотря на интересный контекст, несколько деталей вызывали сомнения. Не удалось найти упоминаний о проекте Darpa, и необходимость подключения к Telegram боту казалась подозрительной. В итоге выяснилось, что это была часть социальной инженерной атаки, созданной с помощью модели открытого исходного кода DeepSeek-V3.
Компания Charlemagne Labs разработала инструмент, позволяющий моделировать подобные атаки, используя AI как для нападения, так и для демонстрации потенциальной угрозы. Инструмент показал, как модели, такие как Anthropic’s Claude 3 Haiku и OpenAI’s GPT-4o, могут генерировать сложные сценарии, чтобы обмануть пользователей.
Использование AI для автоматизации мошеннических схем становится все более доступным, что несет в себе серьезные риски. Совсем недавно модель под названием Mythos от Anthropic уже продемонстрировала свои возможности в области кибербезопасности, находя уязвимости «нулевого дня».
Специалисты, такие как Джереми Филип Галлен из Charlemagne Labs, подчеркивают, что значительная часть современных атак на предприятия начинается с человеческого фактора. AI модели способны использовать свои коммуникативные навыки для создания реалистичных сценариев обмана.
В условиях, когда AI модели становятся все более совершенными, возникает вопрос об их использовании в открытом доступе. Возможно, важнейшую роль в защите придется отвести на сторону мощных моделей, обученных противодействовать таким угрозам. Именно на это делает ставку Charlemagne Labs, развивая сообщество с открытым исходным кодом.
