Любой более-менее знакомый с CGI-программированием чел может запросто флудить роботов-поисковиков. Для этого обычно советуют проверять на USER_AGENT и т. п. А ведь у одного только Яндекса имен роботов несколько... Да и ручная проверка тоже присутствует иногда. Что делать?
Все просто. Выдавай нужное всему диапазону IP-адресов, принадлежащих Рамблеру или там Яндексу. Вот некоторые из них:
Yandex: 213.180.194.0 - 213.180.195.255
Rambler: 81.19.64.0 - 81.19.66.255
Google: 216.239.37.0 – 216.239.51.255
