«Грязный» бот: как отделить ботов от пользователей

Продуктовая аналитика позволяет анализировать и интерпретировать данные цифрового продукта, однако «грязные» данные могут существенно повлиять на результаты и выводы аналитиков. Backend-разработчик B2B-маркетплейса BirdsBuild Марина Филанович рассказала, как именно боты искажают данные, и какие меры стоит принять. Подробнее в материале IT Speaker. 

Марина Филанович

Backend-разработчик BirdsBuild

Продуктовая аналитика — это сбор, анализ и интерпретация данных, связанных с развитием цифрового продукта. Этот процесс дает понять, как пользователи взаимодействуют с продуктом и как улучшать продукт, чтобы закрывать их потребности и получать прибыль. Данные — основа анализа и делятся в свою очередь на «чистые» и «грязные». Грязные данные могут существенно повлиять на результаты и выводы, имея ошибки, пропуски, дубликаты или несоответствия. Одним из факторов искажения данных являются — боты («бот», сокращение от «робот» – это программа, выполняющая автоматически настроенные повторяющиеся действия. — прим. IT Speaker). 

Аспекты, на которые они влияют:

• Фальшивый трафик. Боты могут генерировать значительное количество фальшивого трафика на веб-сайтах, что приводит к завышению показателей посещаемости и активности пользователей. 

• Искажение показателей. Боты могут влиять на такие метрики, как количество просмотров страниц, время на сайте, коэффициент конверсии и другие ключевые показатели эффективности (KPI). Это может привести к неправильным выводам и решениям. 

• Атаки и мошенничество. Некоторые боты могут быть использованы для проведения DDos-атак или мошенничества (например, кликовый фрод в контекстной рекламе). Это может привести в свою очередь к финансовым потерям и снижению доверия к аналитическим данным. 

• Влияние на модели машинного обучения. Наличие бот-трафика в данных может снизить точность моделей машинного обучения, так как модели будут обучаться на искаженных данных и могут делать неправильные прогнозы.

  

Изучив виды ботов и их влияние, появляется вопрос о защите и снижении влияния искусственных показателей. Для очистки данных от действий ботов и получения более чистых данных о поведении пользователей, которые будут использоваться аналитиками, применяют следующие методы: 

• Анализ логов сервера: изучите логи сервера на предмет подозрительной активности, например, необычно высокая частота запросов с одного IP-адреса или нестандартные заголовки User-Agent. 

• Ограничение частоты запросов (Rate Limiting): настройте ограничение частоты запросов для предотвращения спама и атак ботов. CAPTCHA: Используйте CAPTCHA на формах и важных точках взаимодействия для отсеивания ботов. 

• Проверка на JavaScript: боты часто не выполняют JavaScript, поэтому вы можете добавить проверку, которая требует выполнения JavaScript для подтверждения, что пользователь не является ботом. 

• Скрытые поля форм (Honeypots): добавьте в формы поля, которые не видны обычным пользователям, но могут быть заполнены ботами. Если такое поле заполнено, запрос можно считать «ботовым». 

• Анализ поведения пользователя: используйте аналитические инструменты для отслеживания поведения пользователей на сайте и идентификации нехарактерных для людей шаблонов. 

• Списки IP-адресов: введите черные и белые списки IP-адресов, чтобы блокировать известных ботов и разрешать доступ проверенным пользователям. 

• Машинное обучение: разработайте модели машинного обучения, которые могут обучаться на основе данных о действиях пользователей и выявлять аномальное поведение. 

• Проверка HTTP-заголовков: анализируйте HTTP-заголовки на предмет подозрительных значений, которые могут указывать на ботов. 

• Токены безопасности: используйте токены безопасности для проверки, что запросы отправляются из вашего приложения. 

  Вас может заинтересовать: 

  Чат-боты создают ключи активации Windows 10 и Windows 11
  

У данных решений разные ресурсозатраты, начать работу можно с самых быстрых и финансово доступных. Например, небольшому лендингу для сбора заявок будет избыточно заниматься машинным обучением, во всем должен быть здравый смысл. Лучшая стратегия — комбинировать несколько методов и отслеживать результаты.

Стоит сказать и об отдельном хранении данных действий ботов. Ведение специальной таблицы позволит легко анализировать и мониторить активность ботов, а также выявить паттерны поведения ботов и разработать стратегию для их блокировки. Как можно использовать эту информацию: 

• Обучение моделей машинного обучения. Наличие отдельной таблицы с данными ботов позволяет исключить эти данные из тренировочных наборов данных для моделей машинного обучения. Это помогает повысить точность моделей и избежать неправильных прогнозов. 

• Безопасность. Хранение данных о действиях ботов может помочь в улучшении безопасности системы. Это позволяет быстрее реагировать на подозрительную активность и предотвращать потенциальные атаки. 

• Отчетность и аудит. Отдельная таблица с данными ботов может быть полезна для отчетности и аудита. Это позволяет легко предоставлять информацию о бот-активности заинтересованным сторонам и регуляторам. 

  Данные рекомендации упростят работу аналитиков и окажут влияние на улучшение и безопасность продукта.

  Вас может заинтересовать: 

  Более 40% трафика в сети генерируют боты