daranger 1 Posted March 25, 2017 Report Share Posted March 25, 2017 Google тысячами сканирует страницы типа site.ru/#!/123 Уже приняли меры в вебмастере Как избавиться от таких дублей robots.txt не помогает Link to post Share on other sites
Модератор files 2844 Posted March 25, 2017 Модератор Report Share Posted March 25, 2017 Тут дело не в роботс! Дело в движке, который генерирует эти ссылки. Вам надо проследить где они появляются на сайте и убрать их! В двух словах, на эти страницы не должно быть ссылок! daranger 1 Link to post Share on other sites
daranger 1 Posted March 25, 2017 Author Report Share Posted March 25, 2017 согласен, но как быть если они были когда то, но давно или же получается можно проспамить таким образом любой сайт!??? Link to post Share on other sites
zinalab 595 Posted March 25, 2017 Report Share Posted March 25, 2017 Это наверное платформа Wix ? Там вроде не убрать никак. Link to post Share on other sites
petroff 648 Posted March 25, 2017 Report Share Posted March 25, 2017 Идем в справку гугл и читаем про сайты на AJAX, если это ваш случай? Чтобы запретить индексацию страниц с #! нужно в роботсе для гугла прописать Disallow: /*_escaped_fragment_=DONOTCRAWL В этом случае не будут индексироваться все страницы содержащие #! daranger 1 Link to post Share on other sites
petroff 648 Posted March 25, 2017 Report Share Posted March 25, 2017 Пардон, это пример, щас попробую точный запрет найти Link to post Share on other sites
petroff 648 Posted March 25, 2017 Report Share Posted March 25, 2017 (edited) Так Disallow: /*_escaped_fragment_ Так Disallow: /*_escaped_fragment_* Или так Disallow: /?_escaped_fragment_* Чтобы закрыть конкретную страницу в вашем случае, вроде так Disallow: /*_escaped_fragment_/имя страницы Что-то должно сработать, но это как таблетка от зубной боли - кариес не вылечит и пломбу не поставит. Как написали выше, надо решать проблему в корне Edited March 25, 2017 by petroff daranger 1 Link to post Share on other sites
daranger 1 Posted March 25, 2017 Author Report Share Posted March 25, 2017 вот спасибо, надеюсь то что нужно, думаю поможет Link to post Share on other sites
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now