vektor48

Роботс для каждого сайта составляется свой. Лучше проверить мусорные ссылки, которые попали в индекс различными чекерами типа netpeak или screaming frog или в вебмастерах поисковиков смотреть. А то может получится что на 1 контент будет ссылаться 3 разных ссылки.

screaming frog seo spider нормальная программа все быстро чекает, есть возможность указывать канонические ссылки.

Здравствуйте..подскажите при проверке сайта глазами роботов на pr-cy выдаются заголовки страниц и пишет К сожалению наш робот не видит код страницы.А некоторые страницы нормально отображают содержимое. В чем может быть проблему. В Вебмастере яндекса и гугла все нормально отображается.

Статистику гугла на сайт поставьте