По информации СМИ, Роскомнадзор рекомендовал хостерам, состоящим в реестре провайдеров хостинга (по состоянию на апрель 2024 года в реестре числились 428 компании), ограничить сбор информации с российских ресурсов иностранными ботами, включая ботов компаний Google, OpenAI и Apple. В ближайшее время компаниям рекомендовано провести анализ рисков в своих сетях и применить правила блокировки, если потребуется.
«Коммерсант» пишет, что Центр управления связью общего пользования (ЦМУ ССОП) Роскомнадзора направил письмо хостерам в конце апреля 2024 года. Документ содержит рекомендации по настройке ограничений доступа для поисковых ботов к информации на российских сайтах. Речь идет об иностранных ботах, в том числе Google (Googlebot), GPTBot компании OpenAI, Apple Bot компании Apple и так далее.
В письме сообщается, что ограничение ботов необходимо для исключения сбора данных о критических уязвимостях российских ресурсов, индексировании данных россиян и последующего анализа собранной информации. Для этого провайдерам «необходимо провести анализ рисков в своей зоне ответственности и при их обнаружении применить правила блокировки сбора сведений поисковыми ботами».
Также к письму прилагается список User-agent, по которым можно отличить вредоносных роботов и сканеры уязвимостей (всего в списке 642 идентификатора). При этом журналисты отмечают, что список совпадает с публично доступным перечнем, выложенным на GitHub.
Получение письма изданию подтвердили в компании DDoS-Guard. Там сообщили, что примут документ к сведению и отметили, что на данный момент в «реестр блокировок» Роскомнадзора указанные боты не включены.
Другой собеседник издания из неназванной крупной IT-компании заметил, что список приведенных в письме идентификаторов «очень большой, и их блокировка может повлиять на стабильность работы IT-систем».
Глава хостинг-провайдера RUVDS Никита Цаплин и вовсе допустил, что в перспективе рекомендации Роскомнадзора могут стать требованиями. Он предупредил, что сбор информации и для чат-ботов, и для пользователя, делающего запрос в адресной строке браузера, осуществляют одни и те же роботы: «Следовательно, организация, которая выполнит рекомендацию, лишит себя возможности индексироваться в Google».
По словам Цаплина, для крупных компаний это серьезный риск, особенно с учетом конкуренции за трафик. Если часть трафика уйдет из Google, то бизнесу придется компенсировать это через другие доступные поисковики.
