Вчера множество крупных и мелких сайтов провели акцию протеста против SOPA и ушли в офлайн. Многие вместо привычной главной страницы выставили специальную заглушку с информацией о причинах акции. Разумеется, за такой «беспредел» сайты будут автоматически оштрафованы в выдаче поисковых систем.
Ситуация получается неоднозначная. С одной стороны, Google выступил категорически против законопроекта SOPA. С другой стороны, он вынужден штрафовать сайты, которые участвуют в протесте — ничего не поделаешь, это происходит автоматически.
Проблема в том, что поисковый краулер обходит сайты по расписанию, и если он видит там свежий контент, то скачивает его для индексации. Разумеется, старое содержимое сайта удаляется из поискового индекса.
Чтобы избежать такой ситуации, веб-мастер должен был предпринять специальные меры: сделать так, чтобы посетители сайта видели заглушку, а поисковый робот получал в ответ ошибку 503 (Service Unavailable). Но такая техника разделения трафика тоже не приветствуется алгоритмами поисковой системы, и сайт может быть оштрафован за клоакинг.
За день до акции протеста компании Google опубликовала специальные инструкции, как именно должен поступить веб-мастер, чтобы минимизировать негативный эффект в поисковой выдаче. Впрочем, в акции протеста приняли участие очень большое количество сайтов, и наверняка не все из них последовали инструкциям. И даже если вы сделали всё правильно и выдали краулеру ошибку 503, всё равно это не очень приятно, потому что после получения такой ошибки краулер уменьшит частоту посещения данного сайта, сочтя его временно неработоспособным. Значит, в среднесрочной перспективе уменьшится скорость обновления поискового индекса — и опять же, сайт потеряет часть поискового трафика. В любом случае, посещение поискового краулера во время акции протеста не сулит сайту ничего хорошего.
Чтобы хоть как-то помочь протестующим сайтам и избавиться от этой странной ситуации, компания Google всё-таки приняла правильное решение и объявила об изменении конфигурации Googlebot на один день 18 января. В этот день краулер работал в «облегчённом» режиме, посещая сайты гораздо реже.
Компания Google ещё раз выражает свою поддержку всем сайтам, которые приняли участие в акции протеста, и надеется, что никто из них не потеряет свои позиции в поисковой выдаче. Впрочем, это не относится к другим поисковым системам, особенно к Bing, ведь компания Microsoft не очень-то и протестует против SOPA, и поначалу даже поддерживала этот законопроект.