Jump to content

Гугл игнорирует роботс?


Recommended Posts

Проблема заключается в следующей ситуации, в роботсе сайта закрыты такие места как:

Disallow: /tags/
Disallow: /2014/

Но гугл их игнорирует и индексирует эти страницы.

Это не реклама, я просто хочу узнать в чем проблема:
Ссылка на роботс - http://xn--80aph4ax.xn--p1ai/robots.txt
Ссылка на страницы в гугле - https://www.google.ru/search?q=site%3Axn--80aph4ax.xn--p1ai&filter=0&ie=UTF-8&oe=UTF-8&gws_rd=ssl#filter=0&newwindow=1&q=site:xn--80aph4ax.xn--p1ai&start=0

 

Спасибо заранее за ответы, сайт на DLE

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

  • Модератор

Данные директивы:

 

 

Disallow: /tags/
Disallow: /2014/

вы добавили после того, как страницы вошли в индекс?

Link to post
Share on other sites

Данные директивы:

вы добавили после того, как страницы вошли в индекс?

Disallow: /tags/ - с самого начала 

Disallow: /2014/ - позже, но страниц с этим адресом я проиндексированных не видел 

Link to post
Share on other sites

Я им в свое время писал по подобному поводу. Получил уникальный ответ, что видимо файл роботс был недоступен по неизвестным причинам, и волноваться по этому поводу нечего, закрытая в роботсе инфа выпадет из поиска с течением времени... Так оно и получилось через 2 месяца.

Link to post
Share on other sites

да, гугл всегда его игнорировал... Роботс это не запрет и не правило - это пожелания. Правило для полного запрета индексации выставляется на самой странице мета тэгом  

<meta name="robots" content="noindex"/>

Link to post
Share on other sites
  • Модератор

Если вы закрыли в роботс после того, как страницы были в индексе, они выпадут в течении 90 дней из индекса.

Но, роботс - не гарантия (поскольку есть разные ситуации), поэтому для страховки нужно добавить на ненужные страницы

 

<meta name="robots" content="noindex">

 

Например, если вы используете плагин All In One SEO Pack - то у вас примерно следующая картина в настройках:

Noindex-Settings1.png

Желательно поставить галочки на всех последних 5-ти пунктах.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...