Искусственный интеллект (ИИ) может стать эффективным оружием в руках хакеров при составлении фишинговых писем — об этом предупредили эксперты. Уже сегодня ИИ может всего за пять минут создать максимально убедительное фишинговое послание, в то время как людям требуется на выполнение аналогичного задания целых 16 часов. Подробности о том, как хакеры могут использовать искусственный интеллект в социальной инженерии и как защититься от подобных угроз, — в материале «Известий».
Источник:
Выяснить, может ли ИИ превзойти человека в искусстве обмана и манипуляций, недавно решили исследователи из команды IBM X-Force. Специалисты задумали сравнить навыки искусственного интеллекта (ChatGPT) и людей в написании фишинговых писем.
Перед обеими сторонами поставили одну и ту же задачу: создать максимально убедительное послание, которое с высокой долей вероятности подтолкнет пользователя кликнуть на вредоносную ссылку. В итоге ChatGPT справилась всего за пять минут, в то время как людям потребовалось для выполнения аналогичного задания целых 16 часов.
Правда, итоговые результаты оказались не в пользу нейросети — созданное людьми письмо показало большую эффективность. Оно продемонстрировало кликабельность на уровне в 14%, в то время как у ChatGPT этот показатель оказался на 3% ниже. Как считают эксперты, выиграть людям помогли эмоциональный подход и тщательный анализ целевой аудитории.
Кроме того, сыграло свою роль и грамотное построение текста. Пускай сегодня по скорости работы человек сильно уступает ИИ, он всё еще опережает его в психологических тонкостях. В то же время специалисты прогнозируют, что в перспективе искусственный интеллект сначала сравняется, а затем и превзойдет хакеров в социальной инженерии, что станет новым вызовом для специалистов по кибербезопасности.
Источник:
Основная задача злоумышленников, составляющих фишинговые письма, — это придумать текст, который будет интересным, лаконичным и правдоподобным, чтобы завлечь потенциальную жертву. Как говорит в беседе с «Известиями» главный специалист отдела комплексных систем защиты информации компании «Газинформсервис» Дмитрий Овчинников, для этого нужно знать актуальный информационный повод и желательно, чтобы он был локализован под регион, по которому будут распространяться фишинговые сообщения.
— Человеку для этого надо зайти на страницы справочников, посмотреть ближайшие даты событий, проанализировать, какие из них популярны или какие акции и с какой частотой проводятся крупными магазинами, — говорит эксперт. — Но ИИ делает всё это намного быстрее.
По словам Овчинникова, главное для злоумышленников — правильно задать критерии составления сообщения, а также иметь готовую и обученную модель поведения искусственного интеллекта. Сегодня спрос на такого рода услуги постепенно растет: пример тому — модель Cybercrime-as-a-serviсe со встроенными конструкторами фишинговых писем.
Как говорит эксперт, подобные услуги можно с легкостью найти в даркнете, что неудивительно: сейчас свой собственный ИИ может развернуть любой специалист после небольшой подготовки. Но развернуть мало — его еще нужно обучить. Пока мощность преступных ИИ упирается лишь в то, что на подобное обучение надо потратить очень много человеко-часов.
— ChatGPT в течение долгого времени тренируют миллионы пользователей, а сотня IT-специалистов настраивает его поведение на правильную модель, — объясняет Овчинников. — У преступников таких ресурсов нет, поэтому нет и предложений, сопоставимых с качеством ChatGPT.
Кроме того, эксперт указывает на то, что человек лучше продумывает иррациональную, психологическую составляющую сообщений, а потому результаты составления фишинговых писем у живого преступника будут выше, чем у машины. Впрочем, на этот счет есть и альтернативные мнения.
Источник:
По мнению основателя и СЕО Mirey Robotics, эксперта по ИИ и нейросетям Андрея Наташкина, эксперимент, проведенный командой IBM X-Force, показал, что ChatGPT в целом неплохо и очень быстро справляется с задачей составления фишинговых писем. При этом стоит учитывать, что исследователи тестировали одну из самых умных нейросетей на сегодняшний день, но подобные задачи — это не ее специализация.
— Поэтому логично предположить, что нейросеть, обученная написанию фишинговых писем, сделает это намного эффективнее, — отмечает собеседник «Известий».
По мнению Дмитрия Овчинникова, в ближайшем будущем киберпреступники будут неизбежно активно пытаться применять ИИ в своих схемах. Поэтому рано или поздно ИИ будет обучен умению составлять фишинговые письма. А их эффективность (количество переходов) не будет уступать фишинговому письму, составленному живым человеком.
Как объясняет backend-разработчик и руководитель продукта факультета программирования университета «Синергия» Николай Щербатенко, в перспективе хакерские ИИ-инструменты станут точнее анализировать контекст, в котором находятся их потенциальные жертвы. С помощью искусственного интеллекта хакеры будут получать доступы к профилям пользователей и очень точечно на них давить, используя многофакторный анализ.
— Например, человек публикует в соцсети пост о том, что он прямо сейчас отдыхает на Мальдивах, — рассказывает эксперт. — Используя ИИ-инструменты, хакер отправляет туристу сообщение от имени туроператора или менеджмента гостиницы.
Так, туристу могут сообщить, что ему дарят бесплатный коктейль в баре, и предложить перейти по ссылке, которая на самом деле является вредоносной. А поскольку потенциальная жертва доверяет той гостинице, в которой отдыхает, она с большой долей вероятности перейдет по этой ссылке. В итоге пользователь не только не получит бесплатный коктейль, но и, сам того не желая, передаст свои персональные данные (а возможно, и деньги) злоумышленнику.
Сегодня владельцы законопослушных ИИ активно борются с проблемой использования нейросетей злоумышленниками. К примеру, как говорит Дмитрий Овчинников, совсем недавно была закрыта лазейка с использованием языка зулусов для выполнения нелегитимных запросов в нейросетях.
— Над решением подобных задач работает отдельная команда IT-специалистов, поскольку это входит в общие работы по обслуживанию и обучению ИИ, — отмечает собеседник «Известий».
В свою очередь, Андрей Наташкин указывает на то, что в настоящее время искусственный интеллект активно внедряется в различные сферы для борьбы с мошеннической деятельностью. Например, идентификация мошеннических действий — это одна из перспективных задач для нейросетей в разрезе банковской отрасли.
Уже сегодня ИИ осуществляет финансовый мониторинг, сканирует в режиме нон-стоп огромный массив данных, выявляя при этом нехарактерное поведение физических и юридических лиц. Кроме того, нейросети идентифицируют факты кибератак. По мнению Дмитрия Овчинникова, к тому моменту, когда хакеры научатся по-настоящему эффективно использовать их для составления фишинговых писем, ИИ в антиспам-системах уже научится распознавать подобные угрозы.
— Конечно, ИИ облегчит проведение атак и упростит работу злоумышленников, но он не станет тем ультимативным оружием, которое перевернет игровую доску и полностью поменяет правила игры на рынке информационной безопасности, — подчеркивает специалист.
Источник:
Как объясняет Андрей Наташкин, именно перспективность использования решений на основе искусственного интеллекта для обмана пользователей актуализирует необходимость регулирования систем ИИ. Одним из позитивных примеров такого регулирования является закон Европейского союза об искусственном интеллекте. В соответствии с этим документом любой искусственный интеллект оценивается с точки зрения рисков. Всего есть четыре группы подобных рисков: минимальный, ограниченный, высокий и неприемлемый.
— Использование нейросетей с неприемлемым риском запрещено, а к системам с высоким риском предъявляются особые требования по оценке, — заключает эксперт. — Соответственно, любая нейросеть, способная на обман пользователей с помощью фишинговых писем, должна автоматически относиться к категории неприемлемых.
Игра на скорость
Источник:
Выяснить, может ли ИИ превзойти человека в искусстве обмана и манипуляций, недавно решили исследователи из команды IBM X-Force. Специалисты задумали сравнить навыки искусственного интеллекта (ChatGPT) и людей в написании фишинговых писем.
Перед обеими сторонами поставили одну и ту же задачу: создать максимально убедительное послание, которое с высокой долей вероятности подтолкнет пользователя кликнуть на вредоносную ссылку. В итоге ChatGPT справилась всего за пять минут, в то время как людям потребовалось для выполнения аналогичного задания целых 16 часов.
Правда, итоговые результаты оказались не в пользу нейросети — созданное людьми письмо показало большую эффективность. Оно продемонстрировало кликабельность на уровне в 14%, в то время как у ChatGPT этот показатель оказался на 3% ниже. Как считают эксперты, выиграть людям помогли эмоциональный подход и тщательный анализ целевой аудитории.
Кроме того, сыграло свою роль и грамотное построение текста. Пускай сегодня по скорости работы человек сильно уступает ИИ, он всё еще опережает его в психологических тонкостях. В то же время специалисты прогнозируют, что в перспективе искусственный интеллект сначала сравняется, а затем и превзойдет хакеров в социальной инженерии, что станет новым вызовом для специалистов по кибербезопасности.
Механика фишинга
Источник:
Основная задача злоумышленников, составляющих фишинговые письма, — это придумать текст, который будет интересным, лаконичным и правдоподобным, чтобы завлечь потенциальную жертву. Как говорит в беседе с «Известиями» главный специалист отдела комплексных систем защиты информации компании «Газинформсервис» Дмитрий Овчинников, для этого нужно знать актуальный информационный повод и желательно, чтобы он был локализован под регион, по которому будут распространяться фишинговые сообщения.
— Человеку для этого надо зайти на страницы справочников, посмотреть ближайшие даты событий, проанализировать, какие из них популярны или какие акции и с какой частотой проводятся крупными магазинами, — говорит эксперт. — Но ИИ делает всё это намного быстрее.
По словам Овчинникова, главное для злоумышленников — правильно задать критерии составления сообщения, а также иметь готовую и обученную модель поведения искусственного интеллекта. Сегодня спрос на такого рода услуги постепенно растет: пример тому — модель Cybercrime-as-a-serviсe со встроенными конструкторами фишинговых писем.
Как говорит эксперт, подобные услуги можно с легкостью найти в даркнете, что неудивительно: сейчас свой собственный ИИ может развернуть любой специалист после небольшой подготовки. Но развернуть мало — его еще нужно обучить. Пока мощность преступных ИИ упирается лишь в то, что на подобное обучение надо потратить очень много человеко-часов.
— ChatGPT в течение долгого времени тренируют миллионы пользователей, а сотня IT-специалистов настраивает его поведение на правильную модель, — объясняет Овчинников. — У преступников таких ресурсов нет, поэтому нет и предложений, сопоставимых с качеством ChatGPT.
Кроме того, эксперт указывает на то, что человек лучше продумывает иррациональную, психологическую составляющую сообщений, а потому результаты составления фишинговых писем у живого преступника будут выше, чем у машины. Впрочем, на этот счет есть и альтернативные мнения.
Перспективные угрозы
Источник:
По мнению основателя и СЕО Mirey Robotics, эксперта по ИИ и нейросетям Андрея Наташкина, эксперимент, проведенный командой IBM X-Force, показал, что ChatGPT в целом неплохо и очень быстро справляется с задачей составления фишинговых писем. При этом стоит учитывать, что исследователи тестировали одну из самых умных нейросетей на сегодняшний день, но подобные задачи — это не ее специализация.
— Поэтому логично предположить, что нейросеть, обученная написанию фишинговых писем, сделает это намного эффективнее, — отмечает собеседник «Известий».
По мнению Дмитрия Овчинникова, в ближайшем будущем киберпреступники будут неизбежно активно пытаться применять ИИ в своих схемах. Поэтому рано или поздно ИИ будет обучен умению составлять фишинговые письма. А их эффективность (количество переходов) не будет уступать фишинговому письму, составленному живым человеком.
Как объясняет backend-разработчик и руководитель продукта факультета программирования университета «Синергия» Николай Щербатенко, в перспективе хакерские ИИ-инструменты станут точнее анализировать контекст, в котором находятся их потенциальные жертвы. С помощью искусственного интеллекта хакеры будут получать доступы к профилям пользователей и очень точечно на них давить, используя многофакторный анализ.
— Например, человек публикует в соцсети пост о том, что он прямо сейчас отдыхает на Мальдивах, — рассказывает эксперт. — Используя ИИ-инструменты, хакер отправляет туристу сообщение от имени туроператора или менеджмента гостиницы.
Так, туристу могут сообщить, что ему дарят бесплатный коктейль в баре, и предложить перейти по ссылке, которая на самом деле является вредоносной. А поскольку потенциальная жертва доверяет той гостинице, в которой отдыхает, она с большой долей вероятности перейдет по этой ссылке. В итоге пользователь не только не получит бесплатный коктейль, но и, сам того не желая, передаст свои персональные данные (а возможно, и деньги) злоумышленнику.
Механизмы защиты
Сегодня владельцы законопослушных ИИ активно борются с проблемой использования нейросетей злоумышленниками. К примеру, как говорит Дмитрий Овчинников, совсем недавно была закрыта лазейка с использованием языка зулусов для выполнения нелегитимных запросов в нейросетях.
— Над решением подобных задач работает отдельная команда IT-специалистов, поскольку это входит в общие работы по обслуживанию и обучению ИИ, — отмечает собеседник «Известий».
В свою очередь, Андрей Наташкин указывает на то, что в настоящее время искусственный интеллект активно внедряется в различные сферы для борьбы с мошеннической деятельностью. Например, идентификация мошеннических действий — это одна из перспективных задач для нейросетей в разрезе банковской отрасли.
Уже сегодня ИИ осуществляет финансовый мониторинг, сканирует в режиме нон-стоп огромный массив данных, выявляя при этом нехарактерное поведение физических и юридических лиц. Кроме того, нейросети идентифицируют факты кибератак. По мнению Дмитрия Овчинникова, к тому моменту, когда хакеры научатся по-настоящему эффективно использовать их для составления фишинговых писем, ИИ в антиспам-системах уже научится распознавать подобные угрозы.
— Конечно, ИИ облегчит проведение атак и упростит работу злоумышленников, но он не станет тем ультимативным оружием, которое перевернет игровую доску и полностью поменяет правила игры на рынке информационной безопасности, — подчеркивает специалист.
Источник:
Как объясняет Андрей Наташкин, именно перспективность использования решений на основе искусственного интеллекта для обмана пользователей актуализирует необходимость регулирования систем ИИ. Одним из позитивных примеров такого регулирования является закон Европейского союза об искусственном интеллекте. В соответствии с этим документом любой искусственный интеллект оценивается с точки зрения рисков. Всего есть четыре группы подобных рисков: минимальный, ограниченный, высокий и неприемлемый.
— Использование нейросетей с неприемлемым риском запрещено, а к системам с высоким риском предъявляются особые требования по оценке, — заключает эксперт. — Соответственно, любая нейросеть, способная на обман пользователей с помощью фишинговых писем, должна автоматически относиться к категории неприемлемых.
