ChatGPT создает мутирующее вредоносное ПО, которое уклоняется от обнаружения EDR

Oct 29, 2023

Света Шарма

Старший писатель, CSO |

Популярность ChatGPT как среди потребителей, так и среди ИТ-специалистов стала глобальной сенсацией с момента его первого выпуска в конце прошлого года. Она породила кошмары в области кибербезопасности о том, как его можно использовать для использования уязвимостей системы. Эксперты по кибербезопасности продемонстрировали, что ключевой проблемой является способность ChatGPT и других больших языковых моделей (LLM) генерировать полиморфный или мутирующий код для обхода систем обнаружения и реагирования конечных точек (EDR).

Недавняя серия атак, подтверждающих концепцию, показывает, как можно создать безобидный на первый взгляд исполняемый файл, который при каждом запуске будет вызывать API-интерфейс ChatGPT. Вместо того, чтобы просто воспроизводить примеры уже написанных фрагментов кода, ChatGPT может предлагать генерировать динамические, изменяющиеся версии вредоносного кода при каждом вызове, что затрудняет обнаружение возникающих в результате уязвимостей с помощью инструментов кибербезопасности.

«ChatGPT снижает планку для хакеров, злоумышленников, использующих модели искусственного интеллекта, можно считать современными «Script Kiddies», — сказала Маккензи Джексон, защитник разработчиков в компании по кибербезопасности GitGuardian. «Вредоносное ПО, созданное ChatGPT, далеко не новаторское, но по мере того, как модели становятся лучше, потребляют больше выборочных данных и на рынок выходят различные продукты, ИИ может в конечном итоге создавать вредоносное ПО, которое смогут обнаружить только другие системы ИИ. Какая сторона победит в этой игре, остается только догадываться».

Были различные доказательства концепций, демонстрирующих потенциал этого инструмента для использования его возможностей при разработке сложных и полиморфных вредоносных программ.

ChatGPT и другие LLM имеют фильтры контента, которые запрещают им подчиняться командам или запросам для создания вредоносного контента, например вредоносного кода. Но фильтры контента можно обойти.

Почти все зарегистрированные эксплойты, которые потенциально могут быть реализованы с помощью ChatGPT, достигаются с помощью так называемой «быстрой разработки» — практики изменения входных запросов для обхода фильтров содержимого инструмента и получения желаемого результата. Первые пользователи обнаружили, например, что они могли заставить ChatGPT создавать контент, который он не должен был создавать — «взломав» программу — создавая подсказки как гипотетические, например, прося его сделать что-то, как если бы он был не искусственным интеллектом, а злонамеренный человек, намеревающийся причинить вред.

«ChatGPT ввел в систему несколько ограничений, таких как фильтры, которые ограничивают объем ответов, которые ChatGPT предоставляет путем оценки контекста вопроса», — сказал Эндрю Джозефидес, директор по исследованиям безопасности в KSOC, компании по кибербезопасности, специализирующейся на Kubernetes. «Если бы вы попросили ChatGPT написать вам вредоносный код, он бы отклонил этот запрос. Если бы вы попросили ChatGPT написать код, который мог бы выполнять эффективную функцию вредоносного кода, который вы собираетесь написать, однако ChatGPT, скорее всего, создаст этот код для тебя».

С каждым обновлением ChatGPT становится все труднее обмануть и превратить в вредоносный, но по мере выхода на рынок различных моделей и продуктов мы не можем полагаться на фильтры контента, чтобы предотвратить использование LLM в вредоносных целях, сказал Джозефидес.

Возможность обманом заставить ChatGPT использовать вещи, которые он знает, но которые скрыты за фильтрами, — это то, что может заставить пользователей генерировать эффективный вредоносный код. Его можно использовать для рендеринга полиморфного кода, используя возможности инструмента изменять и точно настраивать результаты для одного и того же запроса, если он выполняется несколько раз.

Например, на первый взгляд безобидный исполняемый файл Python может генерировать запрос для отправки в ChatGPT API для обработки другой версии вредоносного кода каждый раз при запуске исполняемого файла. Таким образом, вредоносное действие выполняется вне функции exec(). Этот метод можно использовать для создания мутирующей полиморфной вредоносной программы, которую трудно обнаружить сканерами угроз.