Исследователи представили новый тип компьютерного вируса, который использует возможности больших языковых моделей (LLM), чтобы избежать обнаружения и распространяться самостоятельно.
Этот "синтетический рак", как его называют создатели, представляет собой, возможно, новую эру вредоносных программ.
Дэвид Золликофер из Цюрихского технологического института и Бенджамин Циммерман из Университета штата Огайо разработали эту вредоносную программу в рамках своей заявки на участие в конкурсе. Швейцарская премия за безопасность искусственного интеллекта.
Их создание, подробно описанное в бумага для предварительной печати Статья под названием "Синтетический рак - дополнение червей LLM" демонстрирует возможности использования искусственного интеллекта для создания новых, очень сложных кибератак.
Вот подробная информация о том, как это работает:
- Установка: Изначально вредоносная программа доставляется через вложения электронной почты. После выполнения она может загружать дополнительные файлы и потенциально шифровать данные пользователя.
- Репликация: На интересном этапе используется GPT-4 или аналогичные LLM. Червь может взаимодействовать с этими моделями ИИ двумя способами: а) через вызовы API к облачным сервисам, таким как GPT-4 от OpenAI. Или б) запуская локальный LLM (что может стать обычным явлением в будущих устройствах).
- Использование GPT-4/LLM: Золликофер объяснил New ScientistМы просим ChatGPT переписать файл, сохранив семантическую структуру, но изменив имена переменных и немного изменив логику". Затем LLM генерирует новую версию кода с измененными именами переменных, реструктурированной логикой и, возможно, даже с другим стилем кодирования, сохраняя при этом исходную функциональность.
- Распространение: Червь сканирует историю электронной почты жертвы в Outlook и передает этот контекст искусственному интеллекту. Затем LLM генерирует контекстно-значимые ответы на электронные письма, дополненные тактикой социальной инженерии, призванной побудить получателей открыть вложенную копию червя.
Как мы видим, вирус использует искусственный интеллект в двух целях: для создания кода для самовоспроизведения и написания фишингового контента для дальнейшего распространения.
Более того, tособность червя переписывать собственный код представляет собой особенно сложную проблему для экспертов по кибербезопасности, поскольку может сделать традиционные антивирусные решения на основе сигнатур неактуальными.
"У стороны атаки сейчас есть некоторые преимущества, потому что в этом направлении было проведено больше исследований", - отмечает Золликофер.
В марте исследователи из Корнеллского технологического института сообщили о похожем черве, управляемом искусственным интеллектом. Бен Насси и его команда создал червяка которые могут атаковать почтовые помощники с искусственным интеллектом, похищать конфиденциальные данные и распространяться на другие системы.
Команда Насси нацелилась на почтовые ассистенты на базе GPT-4 от OpenAI, Gemini Pro от Google и модель LLaVA с открытым исходным кодом.
"Это могут быть имена, номера телефонов, кредитных карт, SSN - все, что считается конфиденциальным". Насси рассказал WiredЭто подчеркивает возможность массовых утечек данных.
Если червь Насси был нацелен в первую очередь на AI-помощников, то творение Золликофера и Циммермана пошло дальше: они напрямую манипулируют кодом вредоносной программы и пишут фишинговые письма автономно.
Кибербезопасность искусственного интеллекта вызывает опасения
Это были бурные несколько дней для кибербезопасности в контексте ИИ. Disney пострадал от утечки данных от рук группы хактивистов.
Группа заявила, что борется с технологическими компаниями, представляя интересы авторов, чьи работы, защищенные авторским правом, были украдены или их ценность была снижена иным образом.
Не так давно, OpenAI был подвержен за то, что в 2023 году произошел взлом, который они пытались скрыть. А не так давно OpenAI и Microsoft выпустила доклад признав, что хакерские группы из России, Северной Кореи и Китая использовали свои инструменты искусственного интеллекта для разработки стратегий кибератак.
Авторы исследования Золликофер и Циммерман предприняли ряд мер для предотвращения злоупотреблений, в том числе не выкладывали код в открытый доступ и намеренно оставляли конкретные детали неясными в своей работе.
"Мы полностью осознаем, что в этой статье представлен тип вредоносного ПО с большим потенциалом для злоупотреблений", - заявляют исследователи в своем сообщении. "Мы публикуем ее из лучших побуждений и в попытке повысить осведомленность".
Между тем, Насси и его коллеги предсказали, что черви ИИ могут начать распространяться в дикой природе "в ближайшие несколько лет" и "вызовут значительные и нежелательные последствия".
Учитывая стремительный прогресс, который мы наблюдаем всего за четыре месяца, эти сроки кажутся не только правдоподобными, но и потенциально консервативными.
