Всем доброго утра!
Буквально несколько слов предистории: в 2011 создал каталог и рейтинг сайтов похожий на все обычные... со счётчиком, который устанавливался в html код. Но это не давало всех тех возможностей, которые мне понадобились в этом году!
Теперь к делу! Имеется несколько сайтов с хорошей посещаемостью, соответственно у поисковиков и не только у них появляется интерес к ним. И каждый из них начинает заходить и просматривать сайт вне зависимости просил я его или нет. В итоге от некоторых просто нет никакого толку, результат нагрузка на сервер.
Запрет доступа через robots.tx