Поисковый бот Google становится умнее. С 2008 года Googlebot умеет сабмиттить GET-формы. Летом 2011-го года он научился исполнять Javascript, а полгода назад — делать POST-запросы через Ajax.
Такой функционал нужен боту, чтобы нажимать Ajax-кнопки и индексировать страницы сайта, которые спрятаны за ними.
Интеллект «гуглобота» постепенно повышается. Веб-мастер одного из сайтов сообщает, что Googlebot успешно разобрал на части сложное Ajax-меню и «понял» встроенные функции JavaScript. В логах остались такие строчки:
66.249.67.106 ... "GET /ajax/xr/ready?x=clcgvsgizgxhfzvf HTTP/1.1" ... 66.249.67.106 ... "GET /content/halloc/index.html?&x=clcgvsgizgxhfzvf ...
IP-адрес 66.249.67.106 резолвится как crawl-66-249-67-106.googlebot.com, то есть принадлежит поисковому боту Google.
В данном случае нужно отметить, что бот добавил к запросу аргумент x для конкретной функции. Таким образом, он эмулирует живых пользователей, а именно — нажимает на кнопки Ajax-меню и смотрит, какие страницы после этого открываются.
Другие веб-мастеры дополняют, что на самом деле Googlebot не только успешно исполняет скрипты, но и замеряет время отклика сайта, что тоже влияет на позицию сайта в поисковой выдаче.
