В статье анализируются полезные и вредные боты, их роль в интернет-трафике и методы защиты от хакерских атак.
Технологии могут использованы как во благо, так и во вред. Это утверждение справедливо и для роботов, вернее – для ботов, программ, которые выполняют заранее настроенные алгоритмы. Они получили широкое распространение в Сети.
При этом слово «бот» приобрело негативный оттенок, поскольку, в точном соответствии с известным утверждением, они используются в том числе и для различных хакерских атак.
Будь боты только зловредными, их можно было бы просто блокировать. Но, помимо плохих, злых ботов, используемых злоумышленниками, существует множество полезных или, по крайней мере, нейтральных, которые никакой угрозы пользователям и интернет-ресурсам. И это обстоятельство заметно усложняет защиту от ботов-вредителей.
По нашим данным, в 2022 году 40,5% всего трафика в рунете генерировалось ботами. При этом на долю хороших ботов пришлось порядка 17,5% общего трафика, а число вредоносных ботов составило 23%.
Существует масса разновидностей добрых и нейтральных ботов. Самая известная – боты-краулеры, которые занимаются индексированием веб-страниц. Их используют поисковые системы, а результаты работы этих ботов используется затем в поисковых выдачах. Такие боты не просто не несут никакого вреда, – их деятельность полезна всем, в первую очередь– обычным пользователям, которые получают благодаря добрым краулерам ответы на свои запросы в Google или «Яндекс».
Еще одна разновидность добрых ботов – сканеры, которые используются для поиска уязвимостей. Они «обходят» сайты, имитируя действия киберпреступников, но не создавая реальных угроз. Таким образом выявляются незащищенные места, а администраторы сайтов получают уведомления о найденных уязвимостях. Чаще всего используются добрые сканеры в файерволах веб-приложений.
Для маркетинговой аналитики собирают данные боты-индексаторы. Они используются различными консалтинговыми и маркетинговыми структурами для изучения параметров какой-то категории сайтов или даже отдельного сайта. Эти боты хорошо известны по «именам»: AhrefsBot, SemRushBot, DataForSEO, Serpstatbot.
К добрым и нейтральным ботам относятся и мониторы доступности. Такие боты, как ping-admin или uptimebot с заданным интервалом проверяют доступность интернет-сайта, за которым они наблюдают, и, если не получают от него ответа, сигнализируют администратору о выявленной проблеме.
Кроме того, добрые боты помогают сохранять содержимое веб-страниц. Это – боты-архиваторы, которые заняты наполнением Internet Archive или телеграм-боты, при помощи которых ведется мониторинг новостных ресурсов или автоматический перевод новостных лент. Эти же боты могут применяться для организации различных сервисов. Например, они позволяют записываться на прием в визовые центры.
Стоит отметить, что все эти боты могут относится как к добрым, так и к нейтральным. Зависит это от того, в чьих интересах они работают. Например, те же мониторы, которые проверяют работоспособность сайта, будут добрыми для компании, которая сайтом управляет, и нейтральными для всех остальных.
Есть и разновидности ботов, которые относятся к «серой» зоне, то есть могут определяться исключительно как нейтральные. Это – боты-индексаторы, которые запускают независимые исследователи. Результаты их работы находят отражение только в отчетах исследовательских компаний, которые чаще всего распространяются на коммерческой основе. Но и вреда такие боты не приносят, поскольку принадлежат нейтральным, ни с кем не аффилированным структурам.
При этом любая компания может принять решение о том, защищаться ей от нейтральных ботов, или нет. В этом случае можно использовать те же методы, которые применяются для защиты от плохих ботов.
Наиболее известны в «черной» категории несколько разновидностей злых ботов. Боты-угонщики применяются в брутфорс-атаках при подборе логинов и паролей для того, чтобы угнать аккаунты пользователей, не использующих двухфакторную аутентификацию. В качестве примера их работы можно привести атаки на программы лояльности, когда аккаунты реальных пользователей используются в мошеннических действиях. Ущерб крупных ритейлеров от таких атак оценивается в 3 млн рублей каждый месяц.
Интерес для хакеров могут представлять и публичные данные, которые можно собрать в таблицу и в дальнейшем перепродать. Собирают такие данные боты-скреперы.
Распространен такой вид атаки, как автоматическая скупка лимитированных товаров (это может быть лимитированная серия новой одежды, гаджетов или мультимедиа). Занимаются этим боты-скупщики, а вред они наносят скорее покупателям, чем компаниям-продавцам.
В прошлом году ущерб от мошеннических действий с интернет-рекламой в 81 млрд долларов. Механизм такой атаки достаточно прост. Рекламные боты «скликивают» рекламные обновления, а компания-жертва вынуждена оплачивать бесполезные показы.
Есть еще одна «популярная» область применения злых ботов – исчерпание бюджетов на двухфакторную авторизацию. Для этого используется SMS-фрод: боты имитируют попытку авторизации, вызывая массовую рассылку sms с подтверждением. В результате бюджет компании-жертвы на услуги телеком-операторов просто исчерпывается. Потери могут гигантскими. Социальная сеть Twitter в результате таких атак потратила зря порядка 60 млн долларов. В России, к примеру, в ходе таких компаний число рассылаемых сообщений в сутки достигало десятка миллионов.
Наиболее «привлекательной» для атак при помощи ботов в третьем квартале текущего года стала сфера беттинга. На нее пришлось, , почти 40% бот-атак. Кроме того, хакеры нацеливались на ритейл (23,9%), фармацевтику (9,5%) и сферу финансов (1,3%). А всего за третий квартал 2023 года было заблокировано 3,8 млрд бот-запросов.
Прежде всего, бота необходимо проверить на легитимность, верифицировать. При этом приходится преодолевать средства защиты от таких проверок, поскольку хакеры стремятся выдать ботов за легитимных пользователей, используя сигнатуры самых авторитетных сервисов. Поэтому необходимы не только глубокая проверка, в том числе по DNS или IP, но и применение других методов. Это – поведенческий анализ, проверка DOM (динамического содержимого), проверка бота на подмену параметров браузера и ОС, цифровой отпечаток устройства. Наконец, помочь выявить бота может сравнение запроса с теми, которые были ранее зарегистрированы как запросы от злых ботов.
Этот сложный характер защиты делает наиболее действенным инструментом специализированные решения, которые позволяют выявить в трафике плохих ботов, заблокировать их и при этом не замедлить реакцию сервисов на запросы от легитимных пользователей.
В качестве примера можно рассмотреть схему работы решения Qrator.AntiBot. Оно проверяет среду защищенных браузеров и создает для них «отпечаток пальца» – cookie-файл. При этом специально помечаются браузеры, которые используют приложения для веб-парсинга или скриптовых ботов, и доступ к ресурсу для таких пользователей ограничивается.
Обеспечивается и защита для мобильных API, которая подразумевает аутентификацию пользователей во время входа в систему на основе браузера (проверяются среда и браузер, используемый для запроса) и проверку токенов безопасности, которые применяются для подписания пользовательских запросов.
Эта схема защиты – скрытая или явная (captcha) проверка пользователя при его первом обращении и анализ последующего поведения – с разными вариациями используется в разных решениях, применяемых для защиты от плохих ботов. Решают детали: процесс оценки запросов, использование механизмов машинного обучения для совершенствования алгоритмов, точность классификаторов, реализация скоринга и т.д. Все эти факторы влияют на основные характеристики решения – надежность защиты, которая не пропускает вредоносный бот-трафик, и быстродействие, позволяющее ресурсу оставаться быстрым и удобным для легитимных пользователей.
Технологии могут использованы как во благо, так и во вред. Это утверждение справедливо и для роботов, вернее – для ботов, программ, которые выполняют заранее настроенные алгоритмы. Они получили широкое распространение в Сети.
При этом слово «бот» приобрело негативный оттенок, поскольку, в точном соответствии с известным утверждением, они используются в том числе и для различных хакерских атак.
Будь боты только зловредными, их можно было бы просто блокировать. Но, помимо плохих, злых ботов, используемых злоумышленниками, существует множество полезных или, по крайней мере, нейтральных, которые никакой угрозы пользователям и интернет-ресурсам. И это обстоятельство заметно усложняет защиту от ботов-вредителей.
По нашим данным, в 2022 году 40,5% всего трафика в рунете генерировалось ботами. При этом на долю хороших ботов пришлось порядка 17,5% общего трафика, а число вредоносных ботов составило 23%.
Добрые и нейтральные боты
Существуют две категории ботов, которые не несут вреда. Одни из них создаются для решения бизнес-задач, нацеленных на то, чтобы различные интернет-ресурсы работали более эффективно. Это – хорошие, или добрые боты. Другие нельзя назвать добрыми, но и к категории злых они никак не могут быть отнесены, поскольку никому не вредят, хотя и особой пользы не приносят. Эти боты – нейтральные, или по-другому, серые. Провести четкую границу между добрыми и нейтральными ботами невозможно, оценка зависит от многих факторов и даже от угла зрения конкретного эксперта на роль бота. Поэтому логично рассмотреть обе этих категории вместе.Существует масса разновидностей добрых и нейтральных ботов. Самая известная – боты-краулеры, которые занимаются индексированием веб-страниц. Их используют поисковые системы, а результаты работы этих ботов используется затем в поисковых выдачах. Такие боты не просто не несут никакого вреда, – их деятельность полезна всем, в первую очередь– обычным пользователям, которые получают благодаря добрым краулерам ответы на свои запросы в Google или «Яндекс».
Еще одна разновидность добрых ботов – сканеры, которые используются для поиска уязвимостей. Они «обходят» сайты, имитируя действия киберпреступников, но не создавая реальных угроз. Таким образом выявляются незащищенные места, а администраторы сайтов получают уведомления о найденных уязвимостях. Чаще всего используются добрые сканеры в файерволах веб-приложений.
Для маркетинговой аналитики собирают данные боты-индексаторы. Они используются различными консалтинговыми и маркетинговыми структурами для изучения параметров какой-то категории сайтов или даже отдельного сайта. Эти боты хорошо известны по «именам»: AhrefsBot, SemRushBot, DataForSEO, Serpstatbot.
К добрым и нейтральным ботам относятся и мониторы доступности. Такие боты, как ping-admin или uptimebot с заданным интервалом проверяют доступность интернет-сайта, за которым они наблюдают, и, если не получают от него ответа, сигнализируют администратору о выявленной проблеме.
Кроме того, добрые боты помогают сохранять содержимое веб-страниц. Это – боты-архиваторы, которые заняты наполнением Internet Archive или телеграм-боты, при помощи которых ведется мониторинг новостных ресурсов или автоматический перевод новостных лент. Эти же боты могут применяться для организации различных сервисов. Например, они позволяют записываться на прием в визовые центры.
Стоит отметить, что все эти боты могут относится как к добрым, так и к нейтральным. Зависит это от того, в чьих интересах они работают. Например, те же мониторы, которые проверяют работоспособность сайта, будут добрыми для компании, которая сайтом управляет, и нейтральными для всех остальных.
Есть и разновидности ботов, которые относятся к «серой» зоне, то есть могут определяться исключительно как нейтральные. Это – боты-индексаторы, которые запускают независимые исследователи. Результаты их работы находят отражение только в отчетах исследовательских компаний, которые чаще всего распространяются на коммерческой основе. Но и вреда такие боты не приносят, поскольку принадлежат нейтральным, ни с кем не аффилированным структурам.
При этом любая компания может принять решение о том, защищаться ей от нейтральных ботов, или нет. В этом случае можно использовать те же методы, которые применяются для защиты от плохих ботов.
Злые боты
Именно благодаря злым ботам слово «бот» приобрело негативную коннотацию. Не случайно: плохие боты используются злоумышленниками для организации атак. Часто такие боты не имеют названий, ведь хакеры стремятся выдать их за добрых ботов или даже реальных пользователей. Это необходимо для того, чтобы плохие боты могли обходить защиту.Наиболее известны в «черной» категории несколько разновидностей злых ботов. Боты-угонщики применяются в брутфорс-атаках при подборе логинов и паролей для того, чтобы угнать аккаунты пользователей, не использующих двухфакторную аутентификацию. В качестве примера их работы можно привести атаки на программы лояльности, когда аккаунты реальных пользователей используются в мошеннических действиях. Ущерб крупных ритейлеров от таких атак оценивается в 3 млн рублей каждый месяц.
Интерес для хакеров могут представлять и публичные данные, которые можно собрать в таблицу и в дальнейшем перепродать. Собирают такие данные боты-скреперы.
Распространен такой вид атаки, как автоматическая скупка лимитированных товаров (это может быть лимитированная серия новой одежды, гаджетов или мультимедиа). Занимаются этим боты-скупщики, а вред они наносят скорее покупателям, чем компаниям-продавцам.
В прошлом году ущерб от мошеннических действий с интернет-рекламой в 81 млрд долларов. Механизм такой атаки достаточно прост. Рекламные боты «скликивают» рекламные обновления, а компания-жертва вынуждена оплачивать бесполезные показы.
Есть еще одна «популярная» область применения злых ботов – исчерпание бюджетов на двухфакторную авторизацию. Для этого используется SMS-фрод: боты имитируют попытку авторизации, вызывая массовую рассылку sms с подтверждением. В результате бюджет компании-жертвы на услуги телеком-операторов просто исчерпывается. Потери могут гигантскими. Социальная сеть Twitter в результате таких атак потратила зря порядка 60 млн долларов. В России, к примеру, в ходе таких компаний число рассылаемых сообщений в сутки достигало десятка миллионов.
Наиболее «привлекательной» для атак при помощи ботов в третьем квартале текущего года стала сфера беттинга. На нее пришлось, , почти 40% бот-атак. Кроме того, хакеры нацеливались на ритейл (23,9%), фармацевтику (9,5%) и сферу финансов (1,3%). А всего за третий квартал 2023 года было заблокировано 3,8 млрд бот-запросов.
Как защититься от злых ботов
Есть хорошая новость: при всей распространенности злых ботов и при всей их активности методы защиты хорошо известны и вполне доступны бизнесу. Правда, при организации защиты от ботов придется использовать сочетание различных методов, поскольку применение только одного из них «выплеснет ребенка вместе с водой».Прежде всего, бота необходимо проверить на легитимность, верифицировать. При этом приходится преодолевать средства защиты от таких проверок, поскольку хакеры стремятся выдать ботов за легитимных пользователей, используя сигнатуры самых авторитетных сервисов. Поэтому необходимы не только глубокая проверка, в том числе по DNS или IP, но и применение других методов. Это – поведенческий анализ, проверка DOM (динамического содержимого), проверка бота на подмену параметров браузера и ОС, цифровой отпечаток устройства. Наконец, помочь выявить бота может сравнение запроса с теми, которые были ранее зарегистрированы как запросы от злых ботов.
Этот сложный характер защиты делает наиболее действенным инструментом специализированные решения, которые позволяют выявить в трафике плохих ботов, заблокировать их и при этом не замедлить реакцию сервисов на запросы от легитимных пользователей.
В качестве примера можно рассмотреть схему работы решения Qrator.AntiBot. Оно проверяет среду защищенных браузеров и создает для них «отпечаток пальца» – cookie-файл. При этом специально помечаются браузеры, которые используют приложения для веб-парсинга или скриптовых ботов, и доступ к ресурсу для таких пользователей ограничивается.
Обеспечивается и защита для мобильных API, которая подразумевает аутентификацию пользователей во время входа в систему на основе браузера (проверяются среда и браузер, используемый для запроса) и проверку токенов безопасности, которые применяются для подписания пользовательских запросов.
Эта схема защиты – скрытая или явная (captcha) проверка пользователя при его первом обращении и анализ последующего поведения – с разными вариациями используется в разных решениях, применяемых для защиты от плохих ботов. Решают детали: процесс оценки запросов, использование механизмов машинного обучения для совершенствования алгоритмов, точность классификаторов, реализация скоринга и т.д. Все эти факторы влияют на основные характеристики решения – надежность защиты, которая не пропускает вредоносный бот-трафик, и быстродействие, позволяющее ресурсу оставаться быстрым и удобным для легитимных пользователей.
