Jump to content
Sign in to follow this  
vladimirSPB

Попадание закрытых в robots.txt страниц в индекс Гугл

Recommended Posts

Добрый день!
Такая ситуация, может кто сталкивался:


Сайт на Joomla 1,5.
В индекс гугла постоянно попадают страницы, давно закрытые robots.txt (они находятся при поиске вида site:site.ru. В снипете написано - описание страницы недоступно из-за ограничений в файле роботс). Вроде все кривые ссылки с сайта убрали, которые шли вида ...id=XX. Но до сих пор гугл какими-то странными путями ходит, и в индекс попадают ссылки на закрытые страницы. В яндексе тоже так раньше было, но после правок всё устаканилось и ничего лишнего давно уже не попадает. Sitemap есть.

Кто-нибудь сталкивался с такой проблемой? Есть варианты как лечить?

Share this post


Link to post
Share on other sites

Гугл и яндекс лазят везде, даже в запрещенных к индексации страницах, просто их вес и контент не учитывается в выдаче. А такая проблема может возникать из-за глюка гугла, найдите еще варианты для запрета индексации или смените алгоритм в робот.тхт. п.с. ране было куча новостей про то что поисковики даже индексируют конфиденциальную инфу, к которой не так просто добраться.

Share this post


Link to post
Share on other sites

@vladimirSPB, В роботс.тхт для гугла правила прописаны отдельно, или со знаком *?

В таки случаях используют запрет индексации ненужных страниц, с помощью мета тега роботс.

Share this post


Link to post
Share on other sites

@vladimirSPB, примеры использования метатега роботс

<meta name=“robots” content=“noindex,nofollow”>

noindex - не индексировать содержимое!

nofollow - не индексировать ссылки!

 

При этом нужно убрать url на ту страницу в файле robots.txt, иначе страница все равно будет попадать в индекс!

метатег заключается в тегах.

<head> код... </head>

Пример

<html>
<head>
<meta name=“robots” content=“noindex,nofollow”>
<title>Закрываем от индекса</title>
</head>
<body>
Не индексируемое содержимое, <a href="bla-bla-bla.com">Не индексируемая ссылка</a>
</body>
</html>

Share this post


Link to post
Share on other sites

В снипете написано - описание страницы недоступно из-за ограничений в файле роботс

То есть она не участвует в выдаче, что и требуется. В чем тогда проблема, зачем выдумывать себе заботы? 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...