Sign in to follow this  
Followers 0
vladimirSPB

Попадание закрытых в robots.txt страниц в индекс Гугл

5 posts in this topic

Добрый день!
Такая ситуация, может кто сталкивался:


Сайт на Joomla 1,5.
В индекс гугла постоянно попадают страницы, давно закрытые robots.txt (они находятся при поиске вида site:site.ru. В снипете написано - описание страницы недоступно из-за ограничений в файле роботс). Вроде все кривые ссылки с сайта убрали, которые шли вида ...id=XX. Но до сих пор гугл какими-то странными путями ходит, и в индекс попадают ссылки на закрытые страницы. В яндексе тоже так раньше было, но после правок всё устаканилось и ничего лишнего давно уже не попадает. Sitemap есть.

Кто-нибудь сталкивался с такой проблемой? Есть варианты как лечить?

Share this post


Link to post
Share on other sites

Гугл и яндекс лазят везде, даже в запрещенных к индексации страницах, просто их вес и контент не учитывается в выдаче. А такая проблема может возникать из-за глюка гугла, найдите еще варианты для запрета индексации или смените алгоритм в робот.тхт. п.с. ране было куча новостей про то что поисковики даже индексируют конфиденциальную инфу, к которой не так просто добраться.

Share this post


Link to post
Share on other sites

@vladimirSPB, В роботс.тхт для гугла правила прописаны отдельно, или со знаком *?

В таки случаях используют запрет индексации ненужных страниц, с помощью мета тега роботс.

Share this post


Link to post
Share on other sites

@vladimirSPB, примеры использования метатега роботс

<meta name=“robots” content=“noindex,nofollow”>

noindex - не индексировать содержимое!

nofollow - не индексировать ссылки!

 

При этом нужно убрать url на ту страницу в файле robots.txt, иначе страница все равно будет попадать в индекс!

метатег заключается в тегах.

<head> код... </head>

Пример

<html>
<head>
<meta name=“robots” content=“noindex,nofollow”>
<title>Закрываем от индекса</title>
</head>
<body>
Не индексируемое содержимое, <a href="bla-bla-bla.com">Не индексируемая ссылка</a>
</body>
</html>

Share this post


Link to post
Share on other sites

В снипете написано - описание страницы недоступно из-за ограничений в файле роботс

То есть она не участвует в выдаче, что и требуется. В чем тогда проблема, зачем выдумывать себе заботы? 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.