В Рунете могут ограничить работу иностранных ботов

Роскомнадзор (РКН) направил рекомендации хостинг-провайдерам из реестра ведомства, которым разрешено официально оказывать услуги в РФ. В них предлагается ограничить сбор информации с российских ресурсов иностранными ботами, включая поисковые и веб-сканеры Google, OpenAI и Apple, пишет «Коммерсантъ». 

Таким образом, теперь провайдеры должны провести анализ рисков на своих сетях и в случае обнаружения применить новые правила блокировки ботов. 

Изначально письмо было направлено Центром управления связью общего пользования (ЦМУ ССОП) РКН. В нем содержатся рекомендации по настройке ограничений доступа поисковых ботов к информации на российских сайтах. 

По данным «Коммерсанта», эти боты, в автоматическом режиме посещающие веб-сайты, используются для их индексации поисковиками, в интернет-рекламе, для сбора данных для обучения нейросетей и т.д. Технически такие системы могут мимикрировать под обычных посетителей сайтов, однако легитимные боты отправляют владельцам веб-сайтов идентификатор, позволяющий выявлять его предназначение. Так, «Яндекс» использует YandexBot для индексации сайтов в целом, а YandexImages — для индексации изображения для поиска по картинкам. 

Согласно письму ЦМУ ССОП, ограничение доступа иностранных ботов к российским сайтам нужно для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и анализа собранной информации. 

Получение письма от ЦМУ ССОП СМИ подтвердили в DDoS-Guard и сообщили, что принимают его к сведению. В компании рассказали, что на данный момент в «реестр блокировок» Роскомнадзора указанные боты не включены. 

Собеседник СМИ в крупной ИT-компании отметил, что список приведенных в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы ИT-систем». 

Ранее начальник управления контроля и надзора в сфере электронных коммуникаций РКН Евгений Зайцев рассказал, что РКН сейчас блокирует около 150 VPN-сервисов, а также около 700 материалов, содержащих рекламу обхода ограничения в интернете.