Kill_Mee 11 Posted July 13, 2014 Report Share Posted July 13, 2014 Проблема заключается в следующей ситуации, в роботсе сайта закрыты такие места как:Disallow: /tags/Disallow: /2014/Но гугл их игнорирует и индексирует эти страницы.Это не реклама, я просто хочу узнать в чем проблема:Ссылка на роботс - http://xn--80aph4ax.xn--p1ai/robots.txtСсылка на страницы в гугле - https://www.google.ru/search?q=site%3Axn--80aph4ax.xn--p1ai&filter=0&ie=UTF-8&oe=UTF-8&gws_rd=ssl#filter=0&newwindow=1&q=site:xn--80aph4ax.xn--p1ai&start=0 Спасибо заранее за ответы, сайт на DLE Link to post Share on other sites
Esite 83 Posted July 13, 2014 Report Share Posted July 13, 2014 Попробовать добавить именно для Гугла: User-agent: Googlebot Link to post Share on other sites
GamePost 42 Posted July 13, 2014 Report Share Posted July 13, 2014 Тоже самое Link to post Share on other sites
Модератор files 2844 Posted July 13, 2014 Модератор Report Share Posted July 13, 2014 Данные директивы: Disallow: /tags/Disallow: /2014/ вы добавили после того, как страницы вошли в индекс? Link to post Share on other sites
GamePost 42 Posted July 13, 2014 Report Share Posted July 13, 2014 @files, я - да. Что делать? Link to post Share on other sites
Kill_Mee 11 Posted July 13, 2014 Author Report Share Posted July 13, 2014 Данные директивы: вы добавили после того, как страницы вошли в индекс? Disallow: /tags/ - с самого начала Disallow: /2014/ - позже, но страниц с этим адресом я проиндексированных не видел Link to post Share on other sites
Metaarv 215 Posted July 13, 2014 Report Share Posted July 13, 2014 Я им в свое время писал по подобному поводу. Получил уникальный ответ, что видимо файл роботс был недоступен по неизвестным причинам, и волноваться по этому поводу нечего, закрытая в роботсе инфа выпадет из поиска с течением времени... Так оно и получилось через 2 месяца. Link to post Share on other sites
MyLiveIsOver 296 Posted July 13, 2014 Report Share Posted July 13, 2014 да, гугл всегда его игнорировал... Роботс это не запрет и не правило - это пожелания. Правило для полного запрета индексации выставляется на самой странице мета тэгом <meta name="robots" content="noindex"/> Link to post Share on other sites
Модератор files 2844 Posted July 13, 2014 Модератор Report Share Posted July 13, 2014 Если вы закрыли в роботс после того, как страницы были в индексе, они выпадут в течении 90 дней из индекса. Но, роботс - не гарантия (поскольку есть разные ситуации), поэтому для страховки нужно добавить на ненужные страницы <meta name="robots" content="noindex"> Например, если вы используете плагин All In One SEO Pack - то у вас примерно следующая картина в настройках: Желательно поставить галочки на всех последних 5-ти пунктах. Link to post Share on other sites
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now