Jump to content
Sign in to follow this  
Kill_Mee

Гугл игнорирует роботс?

Recommended Posts

Проблема заключается в следующей ситуации, в роботсе сайта закрыты такие места как:

Disallow: /tags/
Disallow: /2014/

Но гугл их игнорирует и индексирует эти страницы.

Это не реклама, я просто хочу узнать в чем проблема:
Ссылка на роботс - http://xn--80aph4ax.xn--p1ai/robots.txt
Ссылка на страницы в гугле - https://www.google.ru/search?q=site%3Axn--80aph4ax.xn--p1ai&filter=0&ie=UTF-8&oe=UTF-8&gws_rd=ssl#filter=0&newwindow=1&q=site:xn--80aph4ax.xn--p1ai&start=0

 

Спасибо заранее за ответы, сайт на DLE

Share this post


Link to post
Share on other sites

Данные директивы:

 

 

Disallow: /tags/
Disallow: /2014/

вы добавили после того, как страницы вошли в индекс?

Share this post


Link to post
Share on other sites

Данные директивы:

вы добавили после того, как страницы вошли в индекс?

Disallow: /tags/ - с самого начала 

Disallow: /2014/ - позже, но страниц с этим адресом я проиндексированных не видел 

Share this post


Link to post
Share on other sites

Я им в свое время писал по подобному поводу. Получил уникальный ответ, что видимо файл роботс был недоступен по неизвестным причинам, и волноваться по этому поводу нечего, закрытая в роботсе инфа выпадет из поиска с течением времени... Так оно и получилось через 2 месяца.

Share this post


Link to post
Share on other sites

да, гугл всегда его игнорировал... Роботс это не запрет и не правило - это пожелания. Правило для полного запрета индексации выставляется на самой странице мета тэгом  

<meta name="robots" content="noindex"/>

Share this post


Link to post
Share on other sites

Если вы закрыли в роботс после того, как страницы были в индексе, они выпадут в течении 90 дней из индекса.

Но, роботс - не гарантия (поскольку есть разные ситуации), поэтому для страховки нужно добавить на ненужные страницы

 

<meta name="robots" content="noindex">

 

Например, если вы используете плагин All In One SEO Pack - то у вас примерно следующая картина в настройках:

Noindex-Settings1.png

Желательно поставить галочки на всех последних 5-ти пунктах.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...