Search the Community
Showing results for tags 'robot'.
Found 2 results
-
Доброго времени суток, коллеги! Проверял файл робота в Яндексе и Гугле. Яндекс пишет, что все хорошо, а Гугл написал, что есть 1 ошибка и 2 предупреждения и подсветил 3 строки: Clean-Param: utm_source&utm_medium&utm_campaign, Crawl-Delay: 0.5, Crawl-Delay: 5.Как можно решить эту ситуацию? Если Яндекс поддерживает их, а Гугл нет, то стоит ли их убрать? User-agent: * Disallow: /wp-admin/ Disallow: /wp-json/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: /my-account/ Disallow: */?s= Disallow:
-
Всем доброго утра! Буквально несколько слов предистории: в 2011 создал каталог и рейтинг сайтов похожий на все обычные... со счётчиком, который устанавливался в html код. Но это не давало всех тех возможностей, которые мне понадобились в этом году! Теперь к делу! Имеется несколько сайтов с хорошей посещаемостью, соответственно у поисковиков и не только у них появляется интерес к ним. И каждый из них начинает заходить и просматривать сайт вне зависимости просил я его или нет. В итоге от некоторых просто нет никакого толку, результат нагрузка на сервер. Запрет доступа через robots.tx
