Search the Community

Доброго времени суток, коллеги! Проверял файл робота в Яндексе и Гугле. Яндекс пишет, что все хорошо, а Гугл написал, что есть 1 ошибка и 2 предупреждения и подсветил 3 строки: Clean-Param: utm_source&utm_medium&utm_campaign, Crawl-Delay: 0.5, Crawl-Delay: 5.Как можно решить эту ситуацию? Если Яндекс поддерживает их, а Гугл нет, то стоит ли их убрать? User-agent: * Disallow: /wp-admin/ Disallow: /wp-json/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: /my-account/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Disallow: /?s* Disallow: */page/ Crawl-Delay: 5 User-agent: GoogleBot Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Disallow: *utm= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif User-agent: Yandex Disallow: /wp-admin/ Disallow: /plugins/ Disallow: /search/ Disallow: /cart/ Disallow: */?s= Disallow: *sort= Disallow: *view= Allow: /plugins/*.css Allow: /plugins/*.js Allow: /plugins/*.png Allow: /plugins/*.jpg Allow: /plugins/*.gif Clean-Param: utm_source&utm_medium&utm_campaign Crawl-Delay: 0.5

Всем доброго утра! Буквально несколько слов предистории: в 2011 создал каталог и рейтинг сайтов похожий на все обычные... со счётчиком, который устанавливался в html код. Но это не давало всех тех возможностей, которые мне понадобились в этом году! Теперь к делу! Имеется несколько сайтов с хорошей посещаемостью, соответственно у поисковиков и не только у них появляется интерес к ним. И каждый из них начинает заходить и просматривать сайт вне зависимости просил я его или нет. В итоге от некоторых просто нет никакого толку, результат нагрузка на сервер. Запрет доступа через robots.txt помогает, но не всегда. Решил сделать статистику чем-то похожую на AWStats, только для любого сайта в реальном времени и чтобы места на ваших сайтах не занимала и была независима от сайта статистики. Возможно, вы замечали при установке счетчика от какого-то рейтинга, если сайт этого самого счетчика недоступен, то и на вашем сайте элементы страницы подгружаются с задержкой. Да, может кому-то это и не понравится, но счётчик нужно встроить в саму CMS (инструкция будет при добавлении сайта). Но данную статистику я реализовал именно так. По защите: код файлов, который будет размещаться у вас на сайте, написан таким образом, что при попытке изменить или получить доступ к файлам будет сразу же блокироваться при первой же попытке и без возможности снятия этих ограничений (на работу сайта это не влияет). Суть сбора статистики. Все обращения будут сохраняться у вас на сайте, наш скрипт в запланированное время (каждую минуту) будет эту статистику забирать и очищать (сайт и наш скрипт независимы друг от друга, тоесть ваш сайт живет своей жизнью, а наш своей). Возможности. После добавления сайта вы сможете просматривать статистику за последние несколько дней, неделю и месяц. Подробнее будут доступны: переходы посетителей с: доменов, страниц, IP; просмотренные страницы: посетителями, роботами; по роботам: список роботов, выявление роботов, история посещений и User-Agent и IP каждого из них; % отказов; доступность сайта (Uptime) с возможностью просмотреть какие ошибки выдал ваш сайт. И самое главное! Это возможность запрета доступа к сайту по IP, Referer и User-Agent без обращения к .htaccess. Вам не придется ломать голову как заблокировать тот же рефспам, который на сейчас частенько достаёт многие сайты. Оставляйте комментарии, задавайте вопросы, постараюсь на них ответить! Собственно сам сайт: http://gigabase.com.ua/