Jump to content

Попадание закрытых в robots.txt страниц в индекс Гугл


Recommended Posts

Добрый день!
Такая ситуация, может кто сталкивался:


Сайт на Joomla 1,5.
В индекс гугла постоянно попадают страницы, давно закрытые robots.txt (они находятся при поиске вида site:site.ru. В снипете написано - описание страницы недоступно из-за ограничений в файле роботс). Вроде все кривые ссылки с сайта убрали, которые шли вида ...id=XX. Но до сих пор гугл какими-то странными путями ходит, и в индекс попадают ссылки на закрытые страницы. В яндексе тоже так раньше было, но после правок всё устаканилось и ничего лишнего давно уже не попадает. Sitemap есть.

Кто-нибудь сталкивался с такой проблемой? Есть варианты как лечить?

Link to post
Share on other sites

Гугл и яндекс лазят везде, даже в запрещенных к индексации страницах, просто их вес и контент не учитывается в выдаче. А такая проблема может возникать из-за глюка гугла, найдите еще варианты для запрета индексации или смените алгоритм в робот.тхт. п.с. ране было куча новостей про то что поисковики даже индексируют конфиденциальную инфу, к которой не так просто добраться.

Link to post
Share on other sites

@vladimirSPB, В роботс.тхт для гугла правила прописаны отдельно, или со знаком *?

В таки случаях используют запрет индексации ненужных страниц, с помощью мета тега роботс.

Link to post
Share on other sites
  • VIP

@vladimirSPB, примеры использования метатега роботс

<meta name=“robots” content=“noindex,nofollow”>

noindex - не индексировать содержимое!

nofollow - не индексировать ссылки!

 

При этом нужно убрать url на ту страницу в файле robots.txt, иначе страница все равно будет попадать в индекс!

метатег заключается в тегах.

<head> код... </head>

Пример

<html>
<head>
<meta name=“robots” content=“noindex,nofollow”>
<title>Закрываем от индекса</title>
</head>
<body>
Не индексируемое содержимое, <a href="bla-bla-bla.com">Не индексируемая ссылка</a>
</body>
</html>
Link to post
Share on other sites

В снипете написано - описание страницы недоступно из-за ограничений в файле роботс

То есть она не участвует в выдаче, что и требуется. В чем тогда проблема, зачем выдумывать себе заботы? 

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...